PERHITUNGAN TEXT SIMILARITY BERBASIS WORD EMBEDDING DENGAN WORD MOVER DISTANCE UNTUK PENILAIAN KOMENTAR OTOMATIS DALAM SISTEM ONLINE JUDGE

• Main Author: Muhammad Nabillah Fihira Rischa, - (Author)
• Format: Book
• Published: 2021-01-29.
• Subjects: Thesis; NonPeerReviewed
• Online Access: Link Metadata
• Notes: http://repository.upi.edu/59325/2/S_KOM_1603631_Title.pdf; http://repository.upi.edu/59325/3/S_KOM_1603631_Chapter1.pdf; http://repository.upi.edu/59325/4/S_KOM_1603631_Chapter2.pdf; http://repository.upi.edu/59325/5/S_KOM_1603631_Chapter3.pdf; http://repository.upi.edu/59325/6/S_KOM_1603631_Chapter4.pdf; http://repository.upi.edu/59325/7/S_KOM_1603631_Chapter5.pdf
• Keywords: L Education (General); QA75 Electronic computers. Computer science

Komentar dalam source code adalah sebuah bentuk dokumentasi inline yang dibuat programmer untuk membantu orang lain memahami fungsi programnya. Departemen Pendidikan Ilmu Komputer Universitas Pendidikan Indonesia (UPI) memiliki sistem online judge bernama Computer Science Programming Contest (CSPC). Sistem ini digunakan dosen pengampu mata kuliah Algoritma dan Pemrograman untuk menilai kebenaran output program yang dibuat para mahasiswa yang mengontrak. Namun, penilaian komentar source code masih dilakukan secara manual oleh dosen pengampu dan tim asisten dosen. Hal ini tidak efisien serta rawan bias dan ketidakkonsistenan dari masing-masing penilai. Maka dari itu, penulis mengusulkan sebuah metode penilaian komentar source code otomatis untuk sistem online judge dengan pendekatan corpus-based text similarity. Model Word2vec, GloVe, dan fastText akan digunakan untuk melakukan training vektor-vektor kata dengan Wikipedia Dump Bahasa Indonesia. Kemiripan akan diukur menggunakan Word Mover's Distance (WMD). Eksperimen dilakukan dengan menggunakan variasi-variasi epoch selama proses training. Koefisien korelasi Spearman's rho, mean average error (MAE), serta pengukuran performa dari masing-masing model akan dibandingkan. Source code comments are a form of inline documentation made by programmers to help other people understand how the program functions. The Department of Computer Science Education in Universitas Pendidikan Indonesia (UPI) has an online judge system called the Computer Science Programming Contest (CSPC). The lecturer use this online judge system to evaluate the outputs of the programs created by the students. However, evaluating the comments of the source codes is still done manually by the lecturer and lecturer's assistant. This is inefficient and also prone to bias and inconsistency of each evaluators. Therefore, we propose a method to automatically assess source code comments in an online judge system using corpus-based text similarity. Word2vec, GloVe, and fastText models are used to train the word vectors using the Indonesian Wikipedia Dump. The similarity will be calculated using Word Mover's Distance (WMD). Experiments are done by using epoch variations during training. Spearman's rho correlation coefficient, mean average error (MAE), and performance metrics from each model are compared.