Aktuelles

Der rote Faden: Woran messen wir "richtig"?

Beide Keynotes der Hauptkonferenz kreisten um dieselbe Grundfrage: „Im Prinzip haben die beiden Keynotes hinterfragt, gegen welchen Goldstandard man eigentlich evaluiert und ob der überhaupt das Richtige abbildet“, fasst es Marie Bexte zusammen, die als Co-Autorin auf der Konferenz war. Das Thema hängt eng mit Bias-Forschung zusammen: Werden Evaluationsdaten gezielt so konstruiert, dass sich ein bestimmter Bias isolieren lässt, wird sichtbar, wie sehr das Messinstrument selbst das Ergebnis mitbestimmt.

Wie konkret dieses Problem in der eigenen Forschung auftaucht, zeigte sich im Beitrag von Dr. Josef Ruppenhofer. Er stellte auf der Hauptkonferenz eine Arbeit aus dem inzwischen abgeschlossenen Projekt DAKODA vor, das sich mit der Analyse von Sprachlerner*innen-Daten befasst. Konkret ging es um die automatische Erkennung von Wortstellung. „Unsere Evaluation hatte ähnliche Herausforderungen, wie sie auch bei den Keynotes benannt wurden: Es gibt manchmal keine Ground Truth, auf die sich alle einigen können, und man sollte mehrere Analysen als plausibel zulassen“, so Ruppenhofer. Bei Lernersprache (Interlanguage) kommt eine zusätzliche Ebene hinzu: Die annotierenden Rater*innen klassifizieren eine Sprachvarietät, die sie selbst gar nicht sprechen. Methodisch führt daran aber kein Weg vorbei. Lernerdaten müssen in Bezug auf die Zielsprache interpretiert werden, auch wenn genau das die Unschärfe erzeugt, die man eigentlich vermeiden möchte.

Der zweite Strang: Sprache zugänglich machen

Ein zweites Thema zog sich durch den Klartext-Workshop, auf dem CATALPA mit dem Beitrag von Jeanette Bewersdorff „Linguistic Features of German Easy and Plain Language: A Cross-Dataset Analysis“ vertreten war. In Kombination machten die Workshop-Beiträge sowie die Key-Note zu wahl.chat, die zeigte, wie Wahlprogramme zugänglicher gemacht werden können, deutlich: Textvereinfachung und barrierearmer bzw. barrierefreier Zugang zu Informationen haben eine sehr hohe Relevanz.

Über KONVENS hinaus: Handschrift, Dokumente, Hieroglyphen

Dass die Forschungsprofessur Computerlinguistik methodisch breiter aufgestellt ist, als eine einzelne Konferenz zeigen kann, belegen drei weitere, unabhängig von der KONVENS eingereichte und angenommene Arbeiten von Said Yasin rund um automatische Handschrift- und Dokumentenanalyse:

• ein Zeitschriftenartikel im IJDAR (International Journal on Document Analysis and Recognition),
• ein Beitrag auf der Hauptkonferenz der ICDAR, der weltweit wichtigsten Konferenz für Dokumentenanalyse,
• sowie ein Beitrag im DAS-Workshop der ICDAR zur automatischen Erkennung von Hieroglyphen – eine Weiterentwicklung seiner Masterarbeit.

Was andere Forschende mitnehmen können

Wer nicht in Hamburg war, bekommt aus dieser KONVENS eine klare methodische Leitfrage mit auf den Weg: Bevor man ein Sprachmodell oder ein Analyseverfahren evaluiert, lohnt es sich, den eigenen Goldstandard genauso kritisch zu prüfen wie das System selbst. Das gilt für automatisierte Sprachdiagnostik ebenso wie für Bias-Analysen oder die Bewertung von Textvereinfachung. Denn: überall dort, wo es mehr als eine plausible „richtige“ Antwort geben kann, ist Transparenz über die Grenzen der eigenen Evaluationsdaten kein Nebenaspekt, sondern Teil des Forschungsergebnisses selbst.

Impact für Bildung und Alltag

Was auf den ersten Blick hoch technisch und theoretisch wirkt, offenbart auf dem zweiten Blick echten Impact auf Lehre und Lernen und zeigt, woran die Forschungsprofessur Computerlinguistik bei CATALPA unter anderem arbeitet:

• Digitale Teilhabe und Barrierefreiheit: Arbeiten zu Leichter und Einfacher Sprache zeigen konkret, wie Sprachtechnologie Lehren und Lernen angesichts steigender Diversität von Studierenden, zugänglicher und damit gerechter machen kann.
• Vertrauenswürdige, überprüfbare KI: Die kritische Auseinandersetzung mit Goldstandards und Bias in der Evaluation liefert genau die Grundlagenarbeit, die gebraucht wird, um Aussagen über die Qualität von KI-Systemen belastbar zu machen. Gerade im sensiblen Bereich der Bildung ist eine Einschätzung dazu essentiell,
• Sprachförderung und Bildungsgerechtigkeit: Die Arbeit im Projekt DAKODA zur automatisierten Analyse von Lernersprache schafft Grundlagen für bessere Diagnostik beim Erwerb des Deutschen als Zweit- oder Fremdsprache.
• Digitalisierung von Handschriften: Die Handschriftforschung zeigt, wie Bewertungen von Klausuren beispielsweise effizienter gestaltet werden kann, da das Entziffern von Handschriften entfallen könnte.

Vier KONVENS-Beiträge, ein Workshop-Paper und drei weitere internationale Publikationen zu Dokumentenanalyse binnen weniger Wochen – das ist mehr als eine gute Konferenzbilanz. Es ist ein kompaktes Bild davon, wie CATALPA an der FernUniversität in Hagen Grundlagenforschung zur Sprachverarbeitung mit sehr konkretem gesellschaftlichem Nutzen verbindet.