Detailansicht
Eye-movement similarity
scanpath analysis for recognizing learning disorders
Nicolò Filippucci
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Moritz Grosse-Wentrup
DOI
10.25365/thesis.79968
URN
urn:nbn:at:at-ubw:1-25919.20810.702847-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Diagnose von Lernstörungen wie Dyslexie ist aufgrund subtiler und oft unspezifischer Symptome anspruchsvoll, wodurch eine frühzeitige Erkennung durch Nicht-Expertinnen und -Experten erschwert wird. Angesichts der erheblichen Auswirkungen auf Bildungswege und persönliche Entwicklung sind Früherkennungsmethoden von zentraler Bedeutung. Frühere Eye-Tracking-Studien weisen darauf hin, dass das okulare Verhalten Rückschlüsse auf Leseschwierigkeiten erlaubt, beruhen jedoch häufig auf einzelnen Datensätzen und uneinheitlichen Analyseverfahren, was Fragen nach Stabilität und Verallgemeinerbarkeit aufwirft. Dieses Projekt verwendet PyEyeSim, eine Open-Source-Bibliothek zur umfassenden Analyse von Augenbewegungen, die sowohl Gaussian Hidden Markov Models (GHMM) als auch ein neu entwickeltes Sakkadenwinkel-Ähnlichkeitsmaß umfasst. Diese Methoden werden in Kombination mit modernen Klassifikatoren, einem Multi-Layer Perceptron (MLP) und einem Convolutional Neural Network (CNN), systematisch untersucht um den leistungsfähigsten Ansatz für ein generalisierbares diagnostisches Rahmenwerk zu identifizieren. Grundlage bilden zwei unterschiedliche Datensätze: Der erste umfasst 70 Teilnehmende (35 Kontrollpersonen, 35 Dyslexie-Betroffene), die drei längere Textstimuli lesen. Der zweite Datensatz enthält ursprünglich 200 Teilnehmende mit 36 kurzen Sätzen und wurde nach Datenbereinigung in zwei Untergruppen aufgeteilt: 88 Personen aus München (49 Kontroll-, 39 Dyslexie-Gruppe) und 83 aus Graz (60 Kontroll-, 23 Dyslexie-Gruppe), die sich in Sprache und Stimuluscharakteristik unterscheiden. Die Datenaufteilung erfolgte mittels 5-facher Kreuzvalidierung (80/20 % im ersten Datensatz, 90/10 % im zweiten). Die Einbeziehung des Sakkadenwinkel-Ähnlichkeitsmaßes als zusätzliches Eingangsmerkmal führte zu einer signifikanten Leistungssteigerung des MLP- Modells. Im ersten Datensatz verbesserte sich die durchschnittliche Genauigkeit bei Aufgabe 1 von 91.43% ± 5.35% auf 92.86% ± 4.52%, bei Aufgabe 2 blieb sie stabil (90.00% ± 7.28% auf 91.43% ± 8.33%) und bei Aufgabe 3 stieg sie von 88.57% ± 5.71% auf 90.00% ± 3.5%. Im zweiten Datensatz erreichte das erweiterte MLP eine Genauigkeit von 97.77% über 5 Folds und blieb auch über 100 Folds hinweg robust über 90%: 91.44% ± 9.54% (München) und 93.50% ± 7.39% (Graz). In allen Fällen übertraf das Modell Varianten ohne das Ähnlichkeitsmaß. Während das CNN konstant niedrigere Werte erzielte, zeigte das GHMM eine starke Genauigkeit zwischen 91.11% und 95.55% über die 5 Folds und näherte sich damit dem MLP an. Die Ergebnisse belegen, dass die Kombination fortgeschrittener Augenbewegungsmetriken mit einer angepassten MLP- Architektur ein robustes und generalisierbares Verfahren zur Früherkennung von Dyslexie über lange und kurze Textstimuli hinweg bietet. Für kurze Stimuli stellt das GHMM eine interpretierbare, einfache und zugleich leistungsfähige Alternative dar, die zusätzlich Transparenz und Erklärbarkeit in diagnostischen Anwendungen fördert.
Abstract
(Englisch)
Diagnosing learning disorders such as dyslexia is challenging due to subtle and often non specific symptoms, making early identification difficult for non-experts. Given their impact on educational attainment and personal development, early detection methods are crucial. Prior eye-tracking studies suggest that ocular behaviour reflects reading difficulties, yet many rely on single datasets and inconsistent techniques, raising concerns about stability and generalizability. This project utilizes PyEyeSim, an open-source library offering comprehensive eye- movement analysis tools, including Gaussian Hidden Markov Models (GHMM) and novel Saccade-Angle Similarity measures. We systematically evaluate these methods in conjunction with state-of-the-art classifiers, specifically, a Multi-Layer Perceptron (MLP) and a Convolutional Neural Network (CNN) to identify the most effective approach for a generalizable diagnostic framework. Our analysis spans two distinct datasets, differing in language and stimulus characteristics: the first comprises 70 subjects (35 control, 35 dyslexic) reading three long textual stimuli; while the second, initially containing 200 subjects, focuses on 36 short sentences and yields two cleaned subgroups: 88 subjects from Munich (49 control, 39 dyslexic) and 83 from Graz (60 control, 23 dyslexic). Training/testing splits followed 5-fold cross-validation (80/20% in the first dataset; 90/10% in the second). Integrating the saccade-angle similarity measure as an input feature significantly enhanced the MLP model’s performance. In the first dataset, this approach yielded notable improvements: average accuracy for Task 1 increased from 91.43% ± 5.35% to 92.86%±4.52%; Task 2 maintained a similar result from 90.00%±7.28% to 91.43%±8.33% or even 90.00% ± 5.71% (the same accuracy level but with reduced standard deviation); Task 3 instead improved from 88.57% ± 5.71% to 90.00% ± 3.5%. For the second Dataset, the MLP model, augmented with fixation features and the novel similarity score, achieved accuracies of 97.77% across the 5 folds, and remained stable above 90% considering 100 folds: 91.44% ± 9.54% for the Munich subjects and 93.50% ± 7.39% the Graz subjects. Even in this case outperformed results obtained without the similarity measure. While the CNN’s performance consistently remained below that achieved using MLP, the GHMM demonstrated strong accuracy, ranging from 91.11% to 95.55% over the 5 folds, closely approaching the MLP’s efficacy. These results show that combining advanced eye-movement metrics with a tailored MLP architecture yields a robust and generalizable framework for early dyslexia detection across both long and short textual stimuli. For short stimuli, the GHMM offers a competitive alternative with added benefits of simplicity, interpretability, and explainability.
Schlagwörter
Schlagwörter
(Deutsch)
Augenbewegung Eye tracking Dyslexie Scanpfad Analyse Sakkadenwinkelsimilarität Statistische Analyse Maschinelles Lernen Neuronales Netzwerk
Schlagwörter
(Englisch)
Eye-movement Eye tracking Dyslexia Scanpath Analysis Saccade angle similarity Statistic Analysis Machine Learning Neural Network
Autor*innen
Nicolò Filippucci 
Haupttitel (Englisch)
Eye-movement similarity
Hauptuntertitel (Englisch)
scanpath analysis for recognizing learning disorders
Publikationsjahr
2025
Umfangsangabe
xvii, 140 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Moritz Grosse-Wentrup
AC Nummer
AC17744759
Utheses ID
78673
Studienkennzahl
UA | 066 | 921 | |