SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN) BERBASIS SENSOR 2.5D - Permatasari, Nuraini Putri (2016)
Bahasa isyarat digunakan oleh orang tuna rungu untuk berkomunikasi satu sama lain. Jika orang tuna rungu berkomunikasi dengan orang normal terkadang sulit karena kadangkala orang normal tidak mengerti bahasa isyarat yang digunakan. Sistem penerjemah bahasa isyarat diperlukan untuk mewujudkan suatu sistem interaktif yang dapat melakukan interaksi seperti komunikasi normal. Bahasa isyarat yang ada berbeda di seluruh dunia, masing-masing memiliki kosa kata dan gerak tubuh sendiri. Di Indonesia sistem yang sekarang umum digunakan adalah Sistem Isyarat Bahasa Indonesia (SIBI) yang mengacu pada bahasa isyarat Amerika atau biasa disebut dengan AmericanSign Language (ASL). Sistem penerjemah yang dibuat difokuskan menterjemahkan tangan kanan saja. Penelitian ini bertujuan untuk mengintegrasi-kan Kinect 2.5 D sebagai perangkat pendeteksi pergerakan manusia dalam membantu pembuatan sistem penerjemah bahasa isyarat.Untuk membuat sistem ini pertama dilakukan studi literatur untuk mencari masalah dan solusi yang telah dipecahkan. Pengumpulan data dilakukan dengan menggunakan kinect berbasis video yang direkam dengan library OpenNI. Selanjutnya dilakukan proses video segmentation yaitu untuk mengubah video tersebut menjadi beberapa citra dan proses hand localization dengan mendeteksi area tangan saja. Selanjutnya pada pra proses pengolahan data, data citra di-resize menjadi ukuran 28 x 28 piksel. Pada proses training dan testing penghitungan dilakukan dengan metode deep learning, yaitu CNN (Convolutional Neural Networks).Input untuk proses CNN adalah data set beserta label data set tersebut dan output berupa kelas data. Pada tahap implementasi dilakukan pengkodean dengan memanfaatkan komputer. Pada proses uji coba dengan data set testing didapatkan akurasi keberhasilan sebesar 82,752% dan 84,418% dengan citra depth, sedangkan dengan citra grayscale adalah 86,334%dan 88,334%;--- Sign language is used by the deaf person to communicate with each other. It would be hard sometimes for them to do communication with the normal people because the normal could not understand which sign language is used by the deaf that they are facing. The system of sign language translator is needed to achieve an interactive system that be able to do interaction like normal communication. The sign languages used by each country are different. Each of them have vocabulary and body movement themselves. In Indonesia, the general sign language system which being used is called Sistem Isyarat Bahasa Indonesia (SIBI) which follows to American Sign Language (ASL) that used in America. The developed sign language system is focused to translate right hand only. This experiment goal is to integrate Kinect 2.5 D as device of human movement detector to help developing a sign language system. To build this system, firstly the state-of-the-art is studied to find problem and the solution that had been resolved. Collecting data is done by using based video Kinect recorded with OpenNi library. Then, video segmentation process is done for transforming the video to several images and hand localization by detecting person's hand area only. Then in data preprocessing, the image data is resized to 28x28 pixels. In training and testing process, the calculation process are done with deep learning method called Convolutional Neural Networks (CNN). The input data that is used to process CNN are collected dataset and the label, and the system output are data classes. In implementation, coding is done by using computer. In system testing with test data set, obtained success accuracy are 82,752% and 84,418% with the depth image, while 86,334% dan 88,334% are obtained with the grayscale image.