Dr.in Nadja Lindauer, Dr. Valentin Unger

Die Beurteilung von Schüler*innentexten ist sowohl in der Schreibforschung als auch im Schreibunterricht von zentraler Bedeutung. Im Forschungskontext haben sich verschiedene analytische und holistische Verfahren zur Beurteilung von Textqualität etabliert. Ein Verfahren, das international breit genutzt, im deutschen Sprachraum hingegen erst vergleichsweise wenig angewendet wird, stellt das «holistische Benchmarkrating» dar, welches dadurch gekennzeichnet ist, dass Benchmarktexte (= “Ankertexte”) und nicht – wie bei anderen Verfahren – Kriterien erste Referenz bei der Einstufung der Texte bilden (vgl. Lindauer, 2024). 

Der Workshop bietet einen umfassenden Einblick ins holistische Benchmarkrating. In einem ersten Teil wird auf die Mechanismen sowie Vorzüge und Herausforderungen des holistischen Benchmarkratings eingegangen und die Möglichkeit gegeben, das Verfahren selbst auszuprobieren und ausgewählte Lernendentexte anhand von Benchmarktexten einzustufen. In einem zweiten Teil stehen Einsatzmöglichkeiten und Potenziale von large language models (LLM) bei der Textbeurteilung im Fokus. Dabei erhalten die Teilnehmenden die Gelegenheit, selbst LLM-basierte Beurteilungen und Feedbacks zu generieren. Daran anschließend wird eine aktuelle Studie von Sturm et al. (in Vorbereitung) vorgestellt, die das Benchmarkrating mittels LLM zu replizieren versucht und die Ergebnisse mit den menschlichen Rater:innen vergleicht. Die Studie bildet die Basis für eine abschließende Diskussion über die Integration von LLMs bei der Beurteilung von Lernendentexten.