MENINGKATKAN AKURASI PEMBACAAN BAHASA ISYARAT ANGKA DENGAN MENGGUNAKAN MODEL LANDMARK TANGAN DAN ALGORITMA THRESHOLDING

• Main Author: Arfah Athiroh, - (Author)
• Format: Book
• Published: 2022-07-06.
• Subjects: Thesis; NonPeerReviewed
• Online Access: Link Metadata

Summary

Bahasa isyarat merupakan bahasa yang digunakan oleh komunitas tunarungu dalam berkomunikasi. Bahasa isyarat tidak hanya membahas mengenai huruf terdapat pula angka yang perlu diklasifikasi. Isyarat angka dapat digunakan untuk berbagai keperluan seperti berhitung atau menentukan suatu nominal tertentu. Tujuan penelitian ini adalah untuk meningkatkan akurasi pembacaan bahasa isyarat angka. Tujuan lainnya adalah membandingkan sistem deteksi bahasa isyarat angka menggunakan landmark tangan dengan sistem deteksi bahasa isyarat angka menggunakan landmark tangan dan thresholding. Motode yang digunakan untuk mengembangan sistem bahasa isyarat angka adalah kombinasi model landmark tangan dan algoritma thresholding. Sistem akan mendeteksi telapak tangan dengan melokalisasi 21 landmark tangan dalam koordinat 3D. Kemudian sistem akan menghitung gerakan tangan apakah jari lurus atau bengkok. Setelah itu, algoritma thresholding dilakukan untuk menentukan objek dan latar belakang. Objek akan diproses untuk memetakan status jari menjadi gerakan yang telah ditentukan sebelumnya. Keluaran dari sistem berupa teks yang ditampilkan pada layar. Sistem pembacaan bahasa isyarat berhasil dibuat dan diuji dengan percobaan awal oleh peneliti sebanyak 30 kali per angka dan pengujian oleh 10 orang sebanyak 5 kali per angka. Hasil yang didapatkan dari sistem deteksi bahasa isyarat angka menggunakan landmark tangan memiliki rata-rata akurasi sebesar 95,25% dan sistem deteksi bahasa isyarat angka menggunakan landmark tangan dan thresholding memiliki rata-rata akurasi sebesar 98,625%. Ini menunjukkan bahwa sistem pembacaan bahasa isyarat angka meningkat sebesar 3,375%. Sign language is the language used by the deaf community in communicating. Sign language does not only discuss letters, there are also numbers that need to be classified. Numerical cues can be used for various purposes such as counting or determining a certain nominal. The purpose of this study was to improve the accuracy of reading numeric sign language. Another objective is to compare a number sign language detection system using hand landmarks with a number sign language detection system using hand landmarks and thresholding. The method used to develop a numeric sign language system is a combination of hand landmark models and thresholding algorithms. The system will detect the palm by localizing 21 hand landmarks in 3D coordinates. Then the system will calculate hand movements whether the fingers are straight or bent. After that, a thresholding algorithm is performed to determine the object and background. The object will be processed to map the finger state to a predefined movement. The output of the system in the form of text that is displayed on the screen. The sign language reading system was successfully created and tested with an initial experiment by researchers 30 times per number and testing by 10 people 5 times per number. The results obtained from the number sign language detection system using hand landmarks have an average accuracy of 95.25% and the numeric sign language detection system using hand landmarks and thresholding has an average accuracy of 98.625%. This shows that the numeric sign language reading system increased by 3.375%.

Item Description

http://repository.upi.edu/74687/7/S_TE_1800636_Title.pdf
http://repository.upi.edu/74687/2/S_TE_1800636_Chapter1.pdf
http://repository.upi.edu/74687/3/S_TE_1800636_Chapter2.pdf
http://repository.upi.edu/74687/4/S_TE_1800636_Chapter3.pdf
http://repository.upi.edu/74687/5/S_TE_1800636_Chapter4.pdf
http://repository.upi.edu/74687/6/S_TE_1800636_Chapter5.pdf
http://repository.upi.edu/74687/1/S_TE_1800636_Appendix.pdf