ChatGPT kennt mittlerweile jede*r. Das hat auch eine Umfrage ergeben, die das ZLI Ende des Sommersemesters unter den Lehrenden durchgeführt hat. Eine bekannte Schwachstelle von ChatGPT ist die Tatsache, dass es mit Zitaten und Quellenangaben recht locker umgeht. Es hat aufgrund seiner Beschaffenheit keine Kenntnis von konkreten Quellen und „erfindet“ einfach welche, wenn es danach gefragt wird. Neben ChatGPT existieren aber auch spezialisierte Tools wie Elicit oder Research Rabbit, mit denen auf dem Gebiet des wissenschaftlichen Arbeitens sehr viel bessere Ergebnisse erzielt werden können. Im ZLI TechTalk am 24. Januar wurden vier davon vorgestellt. Hier ist die Vorstellung noch mal zum Nachlesen aufbereitet.
Wie bei allen generativen KI-Anwendungen muss auch bei den vorgestellten Tools noch einmal darauf hingewiesen werden, dass es sich um Wahrscheinlichkeitsmodelle handelt. Fehler, Oberflächlichkeiten, Bias und sogenannte Halluzinationen können nie ausgeschlossen werden. Die Nutzung dieser Tools sollte immer mit einem kritischen Blick auf die Ausgaben geschehen.
Warum spezifische Werkzeuge?
Im Grunde genommen könnte man auch mit einem reinen Sprachmodell auf die gleichen Ergebnisse kommen, wie mit den spezifischen Tools. Vorausgesetzt, dass die Sprachmodelle vorher mit Datenbanken verknüpft wurden, die spezifische Bereiche abdecken. Und genau das bieten die spezialisierten Tools: Eine Kombination von Datenbankabfragen und generativen Sprachmodellen. Die Datenbasis ist dadurch konsolidiert und potenziell vertrauenswürdiger als es bei Sprachmodellen der Fall ist, die „einfach nut“ mit sehr vielen Texten gefüttert wurden. Vielleicht kann man sich das für den wissenschaftlichen Bereich vereinfacht am besten als Kombination von Google Scholar und ChatGPT vorstellen.
Hinzu kommt ein Service, den die Angebote automatisch hinzufügen, von dem Nutzende aber nichts mitbekommen. Bei den Angeboten wird sozusagen Prompt Engineering betrieben, das bei z. B. ChatGPT selbst vorgenommen werden müsste. Die Angebote justieren die Ausgaben durch zusätzliche Promptanteile, die z. B. Ausgaben auf ein wissenschaftliches Niveau heben.
Die Firmen, die diese KI-Tools bereitstellen, haben natürlich ein wirtschaftliches Interesse daran, dass sie von möglichst vielen Wissenschaftler*innen als hilfreich wahrgenommen werden. Das bedeutet, dass die Ausgaben richtig sein sollten und nicht nur an der Oberfläche bleiben. Auch wenn bei allen Angeboten Hinweise erscheinen, dass das KI-Tool Fehler machen kann und man die Fakten überprüfen solle, ist das Ziel, dass die Kund*innen zufrieden sind. Und das wiederum ist ein Resultat aus guten Ausgaben.
Schließlich ist ein weiteres Argument für diese Tools, dass es häufig konkrete Verknüpfungsmöglichkeiten mit anderen Wissenschaftler*innen gibt. Literaturlisten und Ausgaben können z. B. untereinander ausgetauscht werden.
Gegenargumente sind die Tatsache, dass die meisten Tools auf der gleichen Datengrundlage basieren (s. u.), dass sich die Funktionalität der Tools sehr ähnelt, dass es fachspezifisch zu großen Qualitätsunterschieden kommen kann und dass man als Nutzer*in weiteren Bedingungen zustimmen muss, die teilweise ziemlich weit gehen.
Vier Beispiele
Bei Perplexity.ai handelt es sich um eine Kombination von Internetsuche und Chatbot mit einer kuratierten Datengrundlage. In der kostenlosen Version basiert das Tool auf ChatGPT 3.5. Bei der kostenpflichtigen Version kann man momentan zwischen OpenAIs GPT 4, Claude 2.1 der Firma Anthropic und dem hauseigenen Perplexity 70b auswählen. Perplexity.ai unterscheidet zwischen Quick Search, also einer schnelleren Suche mit weniger Quellen, und Copilot Search, der intensiveren Suche mit genaueren Ergebnissen, die aber auch merklich länger dauert. Außerdem lässt sich ein sogenannter Search Focus einstellen, bei dem die komplette Datengrundlage, nur akademische Quellen usw. ausgesucht werden.
Hilfreich ist bei Perplexity, dass alle Aussagen in der Ausgabe mit Quellenhinweisen versehen werden. Damit ist ein Überprüfen des Textes sehr viel einfacher.
Semantic Scholar ist ein Angebot, dass schon etwas länger auf dem Markt ist. Es handelt sich dabei um eine Suchmaschine für wissenschaftliche Artikel, die auf Deep Learning Technologien basiert. Die Suchergebnisse werden mit Filtermöglichkeiten versehen. Ist bei einem Artikel kein Abstract vorhanden, generiert das KI-Tool ein TL;DR, also eine sehr kurze Zusammenfassung. Gefundene Artikel können in einer Library-Funktion gesammelt werden. Für gesuchte Themen kann auch eine Alert-Funktion aktiviert werden, mit der man über neu der Datenbank zugefügten Artikeln informiert wird.
Hilfreich ist die Detailseite mit Zitaten und Quellen aus dem Artikel, mit deren Hilfe man weiter vertiefend suchen kann.
Generative KI-Addons wie „Ask this paper“ und „Semantic Reader“ werden momentan weiter implementiert und stehen noch nicht für alle Themen bereit.
Sowohl Elicit als auch Research Rabbit nehmen die Datenbank von Semantic Scholar als Basis.
Elicit ist eine Assistenz für die wissenschaftliche Suche und kombiniert die Datenbasis von Semantic Scholar mit unterschiedlichen Sprachmodellen, aus denen ausgewählt werden kann. Dabei werden folgende Quellen durchsucht und zusammengefasst:
- Open Access Literatur im Volltext
- auch Preprint Artikel
- sonstige Literatur nur mit Abstracts
Die Firma gibt an, über eine Technik, die „Factored Verification“ genannt wird, die Suchergebnisse zu verbessern.
Research Rabbit hebt sich aus der Fülle von KI-Tiils durch eine grafische Darstellung von Verknüpfungen zwischen Themen und Autor*innen wissenschaftlicher Arbeiten ab. Die Darstellung als Netzwerkstruktur oder Zeitleiste kann tatsächlich sehr hilfreich sein. Allerdings kann die Recherche auch schnell sehr unübersichtlich werden. Der Name „Research Rabbit“ stammt vom englischen Idiom „down the rabbit hole“, mit dem ein Prozess beschrieben wird, bei dem man sich in immer tieferen Verzweigungen verliert. Das ist auch gleichzeitig die Gefahr bei Research Rabbit, die aber natürlich auch bei anderen Websites genauso gegeben ist.
Dennoch unterstützt Research Rabbit durch die alternative Herangehensweise an die Überfülle an Literatur bei wissenschaftlichen Recherchen.
Fazit
Ob ein KI-Tool hilfreich für die wissenschaftliche Arbeit ist, muss im Endeffekt jede*r für sich selbst herausfinden. Einige Features wie die Netzwerkdarstellung von thematisch verbundenen Artikeln bei Research Rabbit oder die Auflistung konkreter Zitatstellen auf der Detailseite bei Semantic Scholar helfen dabei, effizienter bei der Recherche zu sein. Andererseits müssen KI-generierte Zusammenfassungen stets auf Korrektheit und sonstige Probleme untersucht werden. Als Unterstützung der Prozesse beim wissenschaftlichen Arbeiten sind die Tools hilfreich, als Quelle allerdings nicht.
Haben Sie Erfahrungen mit den genannten Tools gesammelt? Wie anwendbar sind die Tools in Ihrem Fachgebiet? Diskutieren Sie dies gerne in den Kommentaren!
