DETEKSI EMOSI DAN KETERLIBATAN SISWA DALAM EMOVIEW MENGGUNAKAN EFFICIENNETB2 DAN CNN PADA DATASET AFFECTNET

• Main Author: Faris Huwaidi, Faris Huwaidi (Author)
• Format: Book
• Published: 2023-12-27.
• Subjects: Thesis; NonPeerReviewed
• Online Access: Link Metadata
• Notes: http://repository.upi.edu/113789/1/S_RPL_1904464_Title.pdf; http://repository.upi.edu/113789/2/S_RPL_1904464_Chapter1.pdf; http://repository.upi.edu/113789/3/S_RPL_1904464_Chapter2.pdf; http://repository.upi.edu/113789/4/S_RPL_1904464_Chapter3.pdf; http://repository.upi.edu/113789/5/S_RPL_1904464_Chapter4.pdf; http://repository.upi.edu/113789/6/S_RPL_1904464_Chapter5.pdf; http://repository.upi.edu/113789/7/S_RPL_1904464_Appendix.pdf
• Keywords: QA75 Electronic computers. Computer science; QA76 Computer software; T Technology (General); TK Electrical engineering. Electronics Nuclear engineering

Valensi dan gairah dapat berpengaruh untuk mengetahui tingkat engagement (keterlibatan) siswa dalam proses belajar dengan memberikan dimensi tambahan terkait reaksi emosi siswa yang tidak hanya terfokus pada jenis emosi tetapi juga pada tingkat intensitas dan kecenderungan reaksi emosi tersebut. Saat ini terdapat aplikasi EmoView yang dapat digunakan untuk mengenali emosi siswa dalam pembelajaran daring namun belum menerapkan valensi dan arousal. Penelitian ini menerapkan model deteksi emosi menggunakan EfficientNetB2 dengan teknik down sampling dan augmentasi gambar digunakan untuk meningkatkan akurasi. Selain deteksi emosi, pengembangan model deteksi keterlibatan yang berupa valensi dan gairah juga dilakukan menggunakan CNN dengan teknik down sampling dan feature extraction. Model deteksi emosi menggunakan EfficientNetB2 dengan menerapkan teknik down sampling dan augmentasi gambar mendapatkan akurasi 60%. Sementara itu, model deteksi engagement menghasilkan nilai metrik evaluasi MAE 0.182, MSE 0.127, RMSE 0.357 untuk gairah, dan MAE 0.275, MSE 0.136, RMSE 0.368 untuk valensi. Hasil tersebut sudah mendekati penelitian sebelumnya yaitu dengan RMSE 0.356 untuk valensi dan 0.326 untuk gairah. Implementasi model pada aplikasi EmoView berhasil mendeteksi sekitar 43.92% gambar dengan benar, dengan selisih error rata-rata valensi 0.297 dan arousal 0.151. Hasil ini dipengaruhi oleh resolusi kamera, jarak, dan intensitas cahaya lingkungan partisipan. ------- Valence and arousal can influence students' level of engagement in the learning process by providing additional dimensions related to students' emotional reactions that focus not only on the type of emotion but also on the level of intensity and tendency of the emotional reaction. Currently there is an EmoView application that can be used to recognize student emotions in online learning but does not yet apply valence and arousal. This research applies an emotion detection model using EfficientNetB2 with down sampling techniques and image augmentation used to increase accuracy. Apart from emotion detection, the development of an involvement detection model in the form of valence and arousal was also carried out using CNN with down sampling and feature extraction techniques. The emotion detection model using EfficientNetB2 by applying down sampling techniques and image augmentation gets 60% accuracy. Meanwhile, the engagement detection model produces evaluation metric values of MAE 0.182, MSE 0.127, RMSE 0.357 for arousal, and MAE 0.275, MSE 0.136, RMSE 0.368 for valence. These results are close to previous research, namely with an RMSE of 0.356 for valence and 0.326 for arousal. The model implementation in the EmoView application succeeded in detecting around 43.92% of images correctly, with an average error difference of 0.297 valence and 0.151 arousal. These results are influenced by the camera resolution, distance, and light intensity of the participant's environment