Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students

• Main Authors: Antonella Poce (Author), Francesca Amenduni (Author), Maria Rosaria Re (Author), Carlo De Medio (Author), Alessandra Norgini (Author)
• Format: Book
• Published: Firenze University Press, 2020-12-01T00:00:00Z.
• Subjects: article
• Online Access: Connect to this object online.
• Notes: 10.13128/form-9902; 1825-7321
• Keywords: critical thinking; assessment; natural language processing; higher education; pensiero critico; valutazione; Education; L
• Source: Formare, Vol 20, Iss 3 (2020)

Most of the attempts to develop and validate tools for the automatic assessment of Critical Thinking (CT) related-skills applied Natural Language Processing techniques (NLP) to English written texts, with a few applications in other languages. Therefore, this research was aimed at understanding which NLP features correlates with six CT sub-dimensions in essays written in Italian language. 206 Master Degree students' pre-post essays were assessed both by human evaluators and by an algorithm which automatically calculates different kinds of NLP features. We found a positive internal reliability and a medium to high inter-coder agreement of the human evaluators. Three NLP indicators significantly correlate with CT total score: Corpus Length, Syntax Complexity, and an adapted measure of Term Frequency-Inverse Document Frequency. Correlazioni tra indicatori del linguaggio naturale e sotto-dimensioni del pensiero critico in studenti universitari. La maggior parte dei tentativi di sviluppare e validare strumenti per la valutazione automatica delle competenze di Pensiero Critico (CT) ha applicato tecniche di elaborazione del linguaggio naturale (NLP) a testi scritti in inglese, con poche applicazioni in altre lingue. Pertanto, questa ricerca mira a comprendere quali indicatori NLP, estratti da saggi scritti in italiano, correlino con sei sotto-dimensioni del CT. 206 saggi pre-post di studenti di laurea magistrale sono stati valutati sia da esperti umani che da un algoritmo che calcola automaticamente alcuni indicatori NLP. È stata riscontrata una buona attendibilità interna e un accordo inter-giudice medio-alto. Tre indicatori NLP correlano in modo significativo al punteggio di CT totale: lunghezza del testo, complessità della sintassi e una versione adattata del Term Frequency-Inverse Document Frequency.