ChatGPT, Bard und Co: Bullshit, der (e)skaliert

"KI" ist gerade wieder auf der Spitze eines Hype Cycles. Das heißt, die Versprechen (oder Bedrohungen) dieser Systeme, insbesondere der sogenannten Large Language Models (LLMs) dominieren nicht nur die Seiten klassischer Tech-Publikationen, sondern beschäftigen vom Feuilleton bis zu den Wirtschaftsteilen nahezu alle größeren Zeitungen und Magazine.

Werden diese Systeme uns alle arbeitslos machen? Sind sie die Vorstufe zu starker KI, also Computersystemen, die wirklich eigenständig denken und handeln können? Werden sie zu Umwälzungen in unseren Gesellschaften und Wirtschaften führen? Die Antworten sind nein, nein und ja – aber vielleicht nicht aus den Gründen, die offensichtlich sind.

Anmerkung: KI ist nicht so sehr ein technisches Thema als ein Narrativ, daher setze ich KI sonst immer in Anführungszeichen. Zur einfacheren Lesbarkeit des Textes wird darauf im Folgenden verzichtet.

Rasende technische Innovation?

2017 veröffentlichte ein Forscherteam von Google Brain (dem Teil von Google Research, der sich mit maschineller Intelligenz beschäftigt) unter dem Titel Attention Is All You Need ein Paper, dessen Relevanz sich für den Mainstream erst in den letzten Jahren, wenn nicht gar Monaten herausgestellt hat.

Die Wissenschaftlerinnen und Wissenschaftler stellten mit den sogenannten Transformern eine neue Architektur für Machine Learning Modelle vor, die die Basis der meisten heute populären KI-Systeme ist: ChatGPT, Stable Diffusion und andere lassen sich mehr oder weniger direkt auf dieses Paper zurückführen.

Die Entwicklung neuer Language Models geht mit großer Geschwindigkeit voran: ChatGPT, also OpenAIs älteres GTP-3 Modell mit einigen Erweiterungen, ist nun schon einige Monate alt, Google verkündete vor einigen Wochen sein neues Modell namens Bard. Meta kündigte vor wenigen Tagen ein eigenes Mammut-Modell Llama an – und musste direkt zuschauen, wie es komplett geleakt und von ambitionierten Entwicklerinnen und Entwicklern adaptiert und integriert wurde.

Heute, wenige Tage nach dem Leak, haben Menschen Llama auf Raspberry Pis und Smartphones ans Laufen gebracht.

Die offenen Innovationen sehen wir dabei maßgeblich im Bereich der Inferenz, das heißt der Anwendung der trainierten Modelle: Durch cleveres Re-Encoden oder die Kombination bestehender Architekturen werden ursprünglich für massive Infrastrukturen oder zumindest spezialisierte Hardware geplante Netze auf recht erschwinglicher Hardware auch für Normaluser nutzbar. Durch einfache UIs und fertige Installer können sie die Systeme leicht ausprobieren, ohne dafür einen Anbieter wie OpenAI bezahlen zu müssen.

Die wissenschaftlichen Innovationen sind noch begrenzt

Doch der schnellen Bewegung auf der Inferenzseite steht immer noch eine gewisse Trägheit auf der Trainingsseite gegenüber: Um die heute etablierten Modelle mit Milliarden von Parametern trainieren zu können, ist neben dem Zugang zu einer immensen Menge Trainingsdaten und geeigneter Hardware auch ein immenser Energieaufwand nötig.

Das Training ist daher vor allem großen Anbietern wie Google, OpenAI, Microsoft (deren Infrastruktur OpenAI nutzt), Meta oder auch Baidu vorbehalten. Daneben gibt es einige wenige aus dem universitären Kontext entstandene offene Initiativen wie EleutherAI, die über Forschungsinfrastrukturen genug Computing Power aufbringen können.

Der Markt scheint sich mit unglaublicher Geschwindigkeit zu bewegen, die wissenschaftlichen Innovationen hingegen sind noch begrenzt: Wir sehen eher eine iterative Verbesserung eines bestehenden Ansatzes mit kleineren Adaptionen zur Anwendung auf neue Bereiche (zum Beispiel die Nachahmung der Stimme einer Person) und einer optimierten Usability.

Die Marktdominanz der großen Anbieter entspringt also gar nicht unbedingt ihrer besonderen Kompetenz und Forschung. Eher fungieren die Infrastrukturkosten und die nötigen Datenmengen, um ernstzunehmende, leistungsfähige Modelle zu trainieren, als Ausschlusskriterium: Ein Sprachmodell zu entwickeln, ist sehr einfach, nur haben sehr wenige die Mittel, die auf zwischen 4,5 und 12 Millionen US-Dollar geschätzten, benötigten Kosten für die Trainingsprozesse aufzubringen.

Plötzlich KI-Firma

Die geringe technische Hürde zeigt sich auch daran, wie schnell diverse Firmen jenseits von Google/Alphabet sich binnen Tagen zu KI-Firmen umgelabelt haben: Neben Microsoft, das durch die schon länger existierende Kooperation mit beziehungsweise der Investition in OpenAI eine gewisse Glaubwürdigkeit besitzt, führte Meta vor wenigen Tagen eine Top-level Product Group Focused on Generative AI ein.

Das Chat-Werkzeug Discord führte – zum Missfallen eines Großteils der Nutzerschaft – diverse KI-Tools ein. KI ist so einfach zu mieten, selbst zu betreiben und weiterzuentwickeln, dass sich gefühlt jedes Unternehmen am Markt als KI-Unternehmen präsentiert, mit wachsenden Feature- und Kompetenzversprechen.