KI in der Schule – Teil 1: Der Stochastische Papagei

Large Language Models

„Stochastischer Papagei“ klingt nicht nach einer wissenschaftlichen Beschreibung. Und doch hat Prof. Dr. Alena Buyx, Vorsitzende des Deutschen Ethikrates, diese Zuschreibung öffentlich benutzt. In der Talkshow „Markus Lanz“ vom 09.03.2023 sprach sie mit anderen Gästen zum Thema „ChatGPT und Fake News: Die Schattenseite von Künstlicher Intelligenz“. Worauf sich Frau Buyx mit ihrem Bild vom Stochastischen Papagei inhaltlich bezog, hatte sie im selben Satz mitgenannt, nämlich auf so genannte „Large Language Models (LLMs)“.

Das Thema ist damit klar gesetzt: Es geht um so genannte „Künstliche Intelligenz (KI)“ in ihrer spezifischen Anwendungsform als „Large Language Models (LLMs)“ und hierbei um das konkrete Beispiel „ChatGPT“.

Und doch steht nun der Papagei im Raum. Wie kommt diese Figur in die Diskussion?

On the Dangers of Stochastic Parrots

Im Jahr 2021 hatten Bender, Gebru, McMillan-Major und Mitchell eine Studie zu Künstlicher Intelligenz mit dem Titel „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“ veröffentlicht. Hiermit wurde der Stochastische Papagei in die Diskussion eingeführt und im Verlauf der Auseinandersetzung mit diesem Thema auch von weiteren Autoren inhaltlich ergänzt.

Gemeinsam prägten die verschiedenen Autoren den Ausdruck „Stochastischer Papagei“, um LLMs zu beschreiben, die nach ihrer Analyse zwar in der Lage sind, menschlich wirkende Sprache zu erzeugen, aber den tatsächlichen Sinn der Sprache, die sie verarbeiten, nicht verstehen​​.

Weiterhin wurde herausgestellt, dass derartige Sprachmodelle die Inhalte der Daten, mit denen sie trainiert wurden, im Wesentlichen nur wiederholen und dabei einiges an Unschärfe (Zufälligkeit) hinzufügen. Das Wort „stochastisch“ bedeutet „zufällig“ und „mit Bezug auf Chance oder Wahrscheinlichkeit“.

Alles nur Zufall?

Nun wird deutlich, welche Beschreibung von LLMs der Stochastische Papagei repräsentieren soll: Das zufallsgeprägte Nachplappern (Wiederholen) von bereits bekannten Inhalten ohne einen Sinnzusammenhang zu erschließen. Fraglich ist, ob diese Darstellung eine sachgerechte Beschreibung von LLMs, also letztlich von Algorithmen, die eine bestimmte Funktion erfüllen, sein kann.

Die Wahrnehmung der Funktion von LLMs ändert sich beispielsweise, wenn man den Wortsinn von „stochastisch“ nicht auf der „Zufälligkeit“, sondern auf der „Wahrscheinlichkeit“ betont. Soweit hier nämlich von Sprachmodellen die Rede ist, muss mit „stochastisch“ sinnvollerweise die „Wahrscheinlichkeit“ gemeint sein. Würde man tatsächlich den reinen „Zufall“ meinen, würde die Sprachausgabe des Algorithmus nur rein zufällig einen Sinn ergeben können, was offensichtlich nicht der Fall ist.

Kritik an Sprachmodellen

Was sind die wesentlichen Kritikpunkte, welche die ursprüngliche Studie von Bender, Gebru, McMillan-Major und Mitchell aufführt? Die Studie hebt mehrere Hauptprobleme und Bedenken hervor:

• Umweltkosten: Große Sprachmodelle sind teuer zu trainieren und können erhebliche Umweltkosten verursachen, indem sie den Energieverbrauch steigern​​.
• Datenschutzprobleme: Da die Trainingsdaten oft aus öffentlich zugänglichen Quellen stammen, können sie persönliche Informationen enthalten. Es gibt Bedenken, dass diese Daten aus den Modellen extrahiert werden könnten​​.
• Statische Momentaufnahmen: Große Sprachmodelle sind wie Momentaufnahmen eines bestimmten Zeitpunkts. Sie können nicht mit der Zeit aktualisiert oder angepasst werden, um neue Informationen oder Veränderungen in der Gesellschaft widerzuspiegeln​​.
• Datenverzerrung: Die Daten, die zum Trainieren dieser Modelle verwendet werden, können verzerrt sein und Vorurteile reflektieren, insbesondere wenn sie aus Quellen wie dem Internet stammen, die nicht die ganze Weltbevölkerung repräsentieren​​.
• Fehlende Kontrolle und Kalibrierung: Die Frage ist, ob wir diese Modelle wirklich kontrollieren und kalibrieren können, um Fehler zu vermeiden und sicherzustellen, dass sie so arbeiten, wie wir es erwarten. Es gibt Bedenken, dass wir diese Modelle nicht vollständig verstehen und kontrollieren können​​.

Zusammenfassung

Es geht um konkrete Anwendungsfälle so genannter Künstlicher Intelligenz (KI). Dabei handelt es sich um Algorithmen. Einen bestimmten Algorithmus beschreibt man am besten mit dem, was er tut. Es geht also bei Large Language Models (LLMs) um Algorithmen, die aus einer gegebenen Datenmenge zu einer bestimmten Aufforderung eine passende Sprach-/Textausgabe generieren, die nach den Regeln der Wahrscheinlichkeit ein möglichst gutes Ergebnis darstellt. Wesentliche Kritikpunkte ergeben sich zum einen aus den hohen Hardware- bzw. Energieanforderungen der die Algorithmen betreibenden Systeme. Zum anderen gibt es bedeutende Kritik an den Datengrundlagen, mit denen die Algorithmen arbeiten, da diese in quantitativer und qualitativer Hinsicht erhebliche Begrenzungen aufweisen, die insbesondere zu Datenverzerrung und unerwünschten Ergebnissen führen können.