Welche Farbe ist das?

Was ist noch blau und wo fängt die Farbe Lila an? Wir sind uns bei manchen Farben selbst nicht einig, wie wir sie definieren, und können uns in Diskussionen darüber vertiefen. „Farben gibt es in so vielen Schattierungen, und wir Menschen nehmen sie subjektiv wahr. Was für die Einen Orange ist, geht für andere eher in die rötliche Richtung“, sagt Marie Bexte.

Als wissenschaftliche Mitarbeiterin der Computerlinguistik am Forschungszentrum CATALPA untersucht sie Methoden zur automatischen Bewertung von bildgestützten Aufgaben für ihre Doktorarbeit. Ihr Doktorvater ist Prof. Dr. Torsten Zesch (Forschungsprofessur Computerlinguistik) von der FernUniversität. Jun.-Prof. Andrea Horbach begleitet sie ebenfalls bei ihrer Arbeit.

Lehrende entlasten

„Wir forschen daran, wie man automatisiert Antworten bei Lernaufgaben von Studierenden bewerten kann. Das soll die Lehrenden entlasten, damit sie mehr Zeit für die Lehre oder den persönlichen Austausch mit den Studierenden haben“, erklärt Marie Bexte. Die Antworten der Studierenden werden dabei von einer KI ausgewertet. Die soll sich dabei aber nicht nur auf den Text stützen. „Wir arbeiten daran, dass die KI zusätzlich Bilder erkennen kann. Die Frage kann dann auch ein Bild sein, zum Beispiel Diagramme, die Studierende beschreiben sollen.“ Dafür gibt es verschiedene KI-Modelle, mit denen das möglich sein soll. Marie Bexte untersuchte für ihre Forschung neun unterschiedliche frei zugängliche KI-Systeme, darunter auch LLaVA, was ähnlich wie der bekannte Chatbot „ChatGPT“ funktioniert.

Text und Bilder im Zusammenhang erkennen

Text und Bilder in einem Einklang zu erkennen, fällt der Künstlichen Intelligenz noch schwer. Daher evaluiert Bexte, wie tief das Verständnis der KI-Modelle geht. Wie gut können sie Bilder erkennen? Farben spielen dabei eine große Rolle. „Daher wollten wir wissen, wie gut die Künstliche Intelligenz Farben erkennen kann, wenn wir Menschen uns teilweise schon nicht einig sind.“ Dazu haben sie einen Evaluationsdatensatz erstellt und in den KI-Modellen untersucht, wie genau die KI Farben benennen kann. Für einen Teil des Datensatzes haben sie zusätzlich die Farbwerte analysiert, die darin von Menschen beschrieben wurden. Dabei ist den Forschenden aufgefallen, dass Menschen dazu neigen unterschiedlicher Meinung bei Farbbeschreibungen zu sein. Einige beschrieben die Katze als grau andere wiederum als braun. „Die KI erkennt schon teilweise Farben, es geht zumindest in eine gute Richtung, aber momentan nicht auf dem Niveau, wie es für die Lehre notwendig ist. Dass der eine farbige Balken länger ist als der andere, wäre wichtig. So weit geht das Verständnis der KI aber noch nicht“, sagt Bexte.

Ihre Forschung erklärt die wissenschaftliche Mitarbeiterin mit einem Beispiel: „Im Kern präsentiere ich dem KI-Modell ein Bild und einen Text. Im Fall mit den Farben wäre das jetzt ein schwarzer Hund auf einem Foto und im Text steht ‚ein schwarzer Hund rennt über eine Wiese‘. Wir manipulieren diesen Satz dann, indem wir sagen, es sei ein weißer Hund und schauen, ob das Modell diese Manipulation erkennt.“ Die Forschenden nehmen nur minimale Veränderungen am Text vor und schauen, wie sensibel die KI auf diese reagiert. „Momentan sind wir an dem Punkt, an dem es gut wäre, wenn die KI erkennen würde, dass Bild und Text nicht zusammenpassen. Das ist momentan nicht der Fall. Im optimalen Fall kann die KI die Manipulation im Text erkennen und automatisch korrigieren. In dem Beispiel mit dem Hund würde sie also selbst feststellen können, welche Farbe sein Fell hat.“ Marie Bexte ist optimistisch. Die Künstliche Intelligenz wird in den nächsten Jahren dazulernen und hoffentlich bald Farben zuverlässiger erkennen können. Das würde Lehrende noch weiter entlasten auch bei Studiengängen, in denen nicht nur Text korrigiert wird. Zudem ist es für die Barrierefreiheit wichtig, dass Menschen mit einer Sehbehinderung sich besser auf die Hilfe einer KI verlassen können.

Lernen könnte unabhängiger werden

Die automatische Korrektur von Textaufgaben funktioniert schon gut und wird in der Praxis eingesetzt. Zum Beispiel beim „TOEFL-Test“. Dieser ist ein Sprachtest, der die Kenntnisse der englischen Sprache überprüft. Dort werden die Antworten parallel von einem Modell und einem Menschen evaluiert. Bexte möchte weiterhin daran forschen, dass die KI visuelle Elemente gut erkennen kann. „Es wäre super, weil man die Studierenden befähigen könnte noch unabhängiger zu lernen. Sie bekommen schnell ein Feedback der KI und können dann weiter üben“, sagt Marie Bexte. An ihrer Doktorarbeit schreibt sie noch, wird sie aber bald fertigstellen. „Ich habe davor noch die Gelegenheit, im Ausland zu forschen. Dort kann ich mit einem Datensatz zu Bildbeschreibungen arbeiten. Das passt perfekt zu meiner Forschung.“