ALAT PENERJEMAH BAHASA ISYARAT BERBASIS MACHINE LEARNING UNTUK KOMUNIKASI DUA ARAH BAGI PENYANDANG DISABILITAS SENSORIK (TUNARUNGU DAN TUNAWICARA)

• Main Author: Fanisa Nur Indah Sari, - (Author)
• Format: Book
• Published: 2023-08-30.
• Subjects: Thesis; NonPeerReviewed
• Online Access: Link Metadata
• Notes: http://repository.upi.edu/103003/1/S_TE_1900504_Title.pdf; http://repository.upi.edu/103003/2/S_TE_1900504_Chapter1.pdf; http://repository.upi.edu/103003/3/S_TE_1900504_Chapter2.pdf; http://repository.upi.edu/103003/4/S_TE_1900504_Chapter3.pdf; http://repository.upi.edu/103003/5/S_TE_1900504_Chapter4.pdf; http://repository.upi.edu/103003/6/S_TE_1900504_Chapter5.pdf; http://repository.upi.edu/103003/7/S_TE_1900504_Appendix.pdf
• Keywords: L Education (General); TK Electrical engineering. Electronics Nuclear engineering

Penelitian ini bertujuan untuk menciptakan alat komunikasi dua arah berupa sistem yang mampu mendeteksi bahasa isyarat melalui gerakan tangan dan suara manusia. Sistem ini dirancang untuk memberikan solusi bagi masalah komunikasi yang dihadapi oleh pengidap tunawicara dan tunarungu. Metode yang digunakan melibatkan teknologi Computer Vision dengan memanfaatkan Mediapipe Model Maker dan Tensorflow untuk mendeteksi gerakan isyarat. Selain itu, integrasi dengan NLP (Natural Language Processing) dilakukan melalui penggunaan Text-Davinci-003 pada OpenAI dan Web Speech API. Hasil pengujian menunjukkan bahwa model gerakan isyarat memiliki akurasi sebesar 95% dalam pengenalan kosakata yang diuji. Persentase keseluruhan kosakata yang berhasil dikenali mencapai 92,6% dalam pengujian berulang sebanyak 10 kali, dan waktu respon sistem berada dalam rentang 0,08s - 0,1s. Dalam pengujian berulang sebanyak 20 kali pada 12 kalimat yang disusun, total persentase keseluruhan kalimat mencapai nilai 84,6%. Meskipun terdapat kekurangan dalam sistem deteksi gerakan yang dapat mengalami kebocoran dan kepekaan yang tinggi, sistem tetap mampu menjalankan fungsinya dengan baik dalam mendukung komunikasi dua arah antara penyandang disabilitas sensorik (tunarungu-tunawicara) dengan orang normal. Adapun tanggapan pengguna terhadap sistem penerjemah bahasa isyarat secara keseluruhan sangat positif. Pengguna mengakui bahwa aplikasi ini berguna, efektif, efisien, mudah dipahami, dan memiliki tampilan yang menarik.