AN ERROR ANALYSIS OF EFL UNDERGRADUATE STUDENTS' WRITINGS USING AN AUTOMATED WRITING EVALUATION PROGRAM - Muhamad, Nova (2018)
The development of automated writing evaluation programs seems promising to be a solution to address the lecturers' problem in evaluating students' writing. The purpose of the present study is to examine an automated writing evaluation program, namely Grammarly, as an error analyzer to investigate the types of errors detected by the program, the types of errors undetected by the program, the students' propensity of producing errors in writing, the possible causes of errors occurring in students' writings, and the program's strengths and weaknesses as an error analyzer. Being descriptive in nature, the present study identified the types of errors and the potential possible causes of errors. There were two types of data collected in this study. The first data were the errors in students' writings obtained from 48 EFL undergraduate students' writings. The errors were identified and classified with regard to Linguistics Category and Surface Structure Taxonomies in order to find the types of error, and the frequencies of error production were calculated to identify the students' propensity in producing errors. The second data were the students' clarifications on possible causes of the errors obtained through an interview. The students' responses were reduced to identify the possible causes of errors, which were classified with regard to intralingual and interlingual errors. The results show that the program could detect 21 types of errors, but left 18 types of errors undetected. It is also identified that the students tended to make six types of errors. Moreover, it is also revealed that the errors in students' writings are dominated with intralingual errors. Furthermore, the program has three strengths and five weaknesses in analyzing errors. The AWE program may help the lecturers to detect and identify students' writing errors, but the utilization of the program cannot be left standalone as the program still has several weaknesses. Thus, the utilization of this program still needs further qualitative considerations through expert judgments;--- Perkembangan dari program evaluasi tulisan otomatis terlihat meyakinkan untuk menjadi sebuah solusi terhadap permasalahan dosen dalam mengevaluasi tulisan mahasiswa. Tujuan dari studi ini adalah untuk menganalisa sebuah program evaluasi tulisan otomatis, bernama Grammarly, sebagai sebuah penganalisa kesalahan untuk menginvestigasi jenis-jenis kesalahan yang terdeteksi oleh program, jenis-jenis kesalahan yang tidak terdeteksi oleh program, kecenderungan mahasiswa dalam memproduksi kesalahan dalam tulisan, kemungkinankemungkinan penyebab dari kesalahan dalam tulisan mahasiswa, dan kelebihankelebihan serta kekurangan-kekurangan dari program ini sebagai penganalisa kesalahan. Menjadi sebuah studi deskriptif, studi ini mengidentifikasi jenis-jenis kesalahan dan potensi kemungkinan penyebab dari kesalahan-kesalahan tersebut. Terdapat dua tipe data yang dikumpulkan dalam studi ini. Data pertama merupakan kesalahan-kesalahan dalam tulisan mahasiswa yang diperoleh dari 48 tulisan mahasiswa strata satu. Kesalahan-kesalahan tersebut diidenifikasi dan diklasifikasikan sesuai dengan Linguistics Category Taxonomy dan Surface Structure Taxonomy dengan tujuan untuk menemukan jenis-jenis kesalahan, dan frekuensi produksi kesalahan dihitung untuk mengidentifikasi kecendrungan mahasiswa dalam memproduksi kesalahan. Data kedua merupakan klarifikasi yang diberikan oleh para mahasiswa terkait kemungkinan penyebab dari kesalahan yang dikumpulkan melalui sebuah wawancara. Jawaban yang diberikan oleh mahasiswa dipilah untuk mengidentifikasi kemungkinan penyebab dari kesalahan dan diklasifikasikan sesuai dengan kesalahan intralingua dan interlingua. Hasil dari analisa menunjukkan bahwa program ini dapat mendeteksi 21 jenis kesalahan, tetapi meninggalkan 18 jenis kesalahan yang tidak terdeteksi. Teridentifikasi juga bahwa para mahasiswa cenderung memproduksi enam jenis kesalahan. Selanjutnya, teridentifikasi juga bahwa kesalahan dalam tulisan mahasiswa didominasi oleh kesalahan intralingua. Kemudian, program ini memiliki tiga kelebihan dan lima kekurangan dalam menganalisa kesalahan. Program ini dapat membantu para dosen untuk mendeteksi dan mengidentifikasi kesalahan pada tulisan mahasiswa, namun penggunaannya tidak dapat dilaksanakan secara mandiri. Oleh karena itu, program ini masih memerlukan pertimbangan secara kualitatif melalui penilaian para ahli.