Forscher der Vellore Institute of Technology haben ein KI-Modell entwickelt, das relevante Sätze aus langen Schülerantworten automatisch erkennt und extrahiert. Das System namens KSI (Key Sentence Identifier) soll Lehrkräften helfen, bei der Korrektur offener Aufgaben schneller und gezielter auf die inhaltlich relevanten Passagen zu achten. Die Studie wurde in der Fachzeitschrift Frontiers in Artificial Intelligence veröffentlicht.
Hintergrund
Die manuelle Bewertung ausführlicher Schülerantworten ist zeitaufwendig und kognitiv anspruchsvoll. Viele Schülerantworten enthalten neben relevanten auch irrelevante oder abschweifende Sätze. Bisherige automatisierte Bewertungssysteme haben Schwierigkeiten, kontextuell relevante Inhalte zuverlässig zu identifizieren. Das führt dazu, dass Lehrkräfte viel Zeit darauf verwenden müssen, irrelevante Passagen zu erkennen und zu ignorieren.
Das KSI-Modell
Das vorgeschlagene Key Sentence Identifier (KSI)-Modell arbeitet in zwei Phasen:
- Phase 1: Ein feinjustiertes BERT-Modell extrahiert domänenspezifische Schlüsselwörter aus der Schülerantwort.
- Phase 2: Ein feinjustiertes SBERT-Modell bewertet die Sätze, die diese Schlüsselwörter enthalten, auf ihre semantische und kontextuelle Relevanz.
Durch die Kombination beider Embeddings (Embedding Fusion) und eines dynamischen Schwellenwerts werden schließlich die kontextuell relevanten Sätze als „Key Sentences“ markiert. Das Modell wurde als Proof-of-Concept im Bereich Betriebssysteme (Operating Systems) entwickelt und auf einem eigens erstellten Datensatz trainiert.
Wichtige Ergebnisse
Das vollständig feinjustierte KSI-Modell (SFT BERT + SFT SBERT) erreichte einen F1-Score von 86,01 %. Damit übertraf es deutlich die Baseline-Kombination aus unfeinjustiertem BERT und SBERT (F1-Score: 50,32 %). Auch im Vergleich zu etablierten Verfahren wie TextRank, LexRank und MMR schnitt KSI deutlich besser ab.
Das Modell kann Sätze identifizieren, die sowohl thematisch relevant als auch semantisch kohärent mit der Aufgabenstellung sind – und nicht nur auf reine Stichwortübereinstimmung angewiesen sind.
Bedeutung für die Praxis
Die Forscher sehen in KSI vor allem ein Assistenzsystem für die menschliche Bewertung. Indem irrelevante Sätze ausgefiltert werden, soll der kognitive Aufwand für Lehrkräfte sinken und die Bewertungsqualität steigen. Langfristig könnte das Modell auch als Vorstufe für vollautomatisierte Bewertungssysteme dienen.
Die Autoren betonen, dass eine qualitativ hochwertige Bewertung positive Auswirkungen auf den Lernerfolg haben kann und damit indirekt zum UN-Nachhaltigkeitsziel 4 (hochwertige Bildung) beiträgt.
Ausblick
Die aktuelle Implementierung ist auf den Bereich Betriebssysteme beschränkt. Die Forscher planen, das Modell in Zukunft auf weitere Fachgebiete auszuweiten. Sie sehen KSI als ergänzendes Werkzeug, das sowohl die menschliche als auch zukünftige automatisierte Bewertung unterstützen kann.
FAQ
Was macht das KSI-Modell?
Es identifiziert und extrahiert aus langen Schülerantworten die Sätze, die inhaltlich relevant und kontextuell kohärent zur Aufgabenstellung sind.
Warum ist das hilfreich?
Lehrkräfte müssen weniger Zeit darauf verwenden, irrelevante Passagen zu lesen und zu ignorieren, und können sich stärker auf die Bewertung der relevanten Inhalte konzentrieren.
Wie gut funktioniert das Modell?
In der Studie erreichte das beste KSI-Modell einen F1-Score von 86,01 % und übertraf damit deutlich gängige Baseline-Verfahren.
Arbeitet KSI vollautomatisch?
Nein. Es ist als Assistenzsystem für die menschliche Bewertung konzipiert, kann aber künftig auch automatisierte Systeme unterstützen.
Für welches Fachgebiet wurde es entwickelt?
Als Proof-of-Concept wurde es im Bereich Betriebssysteme (Operating Systems) entwickelt. Das zugrunde liegende Verfahren ist jedoch grundsätzlich auf andere Domänen übertragbar.
