Wie schreibt man einen Text, der einer Maschine gefällt? Die Antwort, die eine aktuelle Untersuchung nahelegt, ist unerwartet schlicht: Man übernimmt die Formulierungsvorschläge der Maschine wörtlich.
Geprüft wurden von einer Forschungsgruppe an einer deutschen Universität zwei Korrekturhilfen, die derzeit an Schulen ausgerollt werden. Das eine Programm gibt Schülerinnen und Schülern automatisch Rückmeldung zu ihren Texten, das andere schlägt Lehrkräften Noten vor. Der Versuchsaufbau war unspektakulär: dieselbe Abgabe, zehnmal eingegeben, dieselben Kriterien. Die Bewertung schwankte, bei zahlreichen Texten um mehr als eine ganze Note. Ein Aufsatz, der auf Deutsch verlangt war und in Binärcode abgegeben wurde, erhielt eine reguläre Bewertung mit leichtem Abzug für die falsche Sprache. Ein maschinell erzeugter Text bekam die höchste Durchschnittsnote und wurde bei Wiederholung am stabilsten beurteilt. Und wer die vorgeschlagene Verbesserung eins zu eins in den eigenen Text kopierte, wurde in der Regel besser bewertet als jemand, der denselben Inhalt mit eigenen Worten einbaute.
Dieser letzte Befund ist der eigentlich interessante, weil er kein Fehler ist, sondern eine Vorliebe. Ein System, das seine eigenen Formulierungen wiedererkennt, belohnt das Wiedererkennen. Was zählt, ist die Nähe zum Vorschlag. Damit verschiebt sich, was Rückmeldung überhaupt bedeutet: Sie beschreibt nicht länger den Abstand zwischen einem Text und dem, was er sein könnte, sondern den Abstand zwischen einem Text und seinem Korrektor. Kinder brauchen erfahrungsgemäß nicht lange, um herauszufinden, was sich in einem Bewertungssystem auszahlt. Man muss ihnen diese Regel nicht beibringen. Sie lesen sie ab.
Auffällig ist auch, wie sich das Versprechen der Entlastung unter der Hand umdreht. Die Schwankung fällt niemandem auf, der eine Arbeit einmal durchlaufen lässt, sondern nur dem, der sie zweimal durchlaufen lässt. Genau dafür hat eine überlastete Lehrkraft keine Zeit — und die Überlastung war der Grund, das Werkzeug anzuschaffen. Um es verantwortbar einzusetzen, müsste man nach Auskunft der Forscher jede Arbeit zunächst selbst beurteilen, das Programm fünfmal darüber laufen lassen und aus allem einen Mittelwert bilden. Das ist mehr Arbeit als vorher. Was das Werkzeug abnimmt, war also nie die Arbeit. Es ist das Gefühl, entschieden zu haben. Und weil derselbe Mangel, der die Anschaffung rechtfertigt, das Nachprüfen verhindert, ist die Unzuverlässigkeit des Systems gut geschützt.
Fünf Milliarden Euro stehen über die nächsten fünf Jahre für die Digitalisierung der Schulen bereit, ein Teil davon für generative Systeme, und in mehreren Bundesländern werden gerade Lizenzverträge geschlossen. Ein Anbieter hat seine Korrektur- und Feedbackfunktionen im August still abgeschaltet, mit der Begründung, Sprachmodelle lieferten bei der Bewertung von Texten keine ausreichend zuverlässigen Ergebnisse. Dass ein Hersteller eine Funktion wieder entfernt, weil sie nicht trägt, kommt seltener vor, als man annehmen würde. Der Gründer des anderen Programms hielt der Untersuchung entgegen, sie sei von einer KI-kritischen Grundhaltung geprägt — was insofern zutrifft, als Kritik ursprünglich bedeutet, eine Sache genau anzusehen und über sie zu urteilen. Das Urteil hätte auch positiv ausfallen können.
Was Schülerinnen und Schüler in diesen Programmen tatsächlich lernen, ist eine Fähigkeit, die weit über den Aufsatz hinausreicht: zu erspüren, welche Form ein System hören will, und sie zu liefern. Wer Bewerbungsfilter, Behördenformulare und Plattformalgorithmen eine Weile beobachtet, erkennt darin eine der verlässlichsten Kompetenzen der kommenden Jahrzehnte. Insofern unterrichtet das Werkzeug etwas Echtes. Es steht nur im falschen Fach.