Auf Mastodon ansehen
KI, KI, KI … überall. Seitdem OpenAI im November 2022 ihr LLM-basiertes ChatGPT auf die Menschheit losgelassen hat, dreht sich gefühlt jede dritte Meldung in den Tech-Medien um dieses Thema. Interessanterweise beschäftigt das Thema seit vier Jahren die Wirtschaft, Gesellschaft, Medien, Politik, Bildungseinrichtungen, Werbeindustrie, also eigentlich alle, obwohl die besagten Meldungen zu 90 % Negatives zu berichten haben:
- Angst vor Arbeitsplatzverlust
- Massenentlassungen
- Verdummung von Schülern und Studentinnen
- Vertrauensverlust in multimediale Produkte wie Fotos, Videos und Musik
- Vertrauensverlust bei journalistischen Inhalten
- Enshittification bei Softwareprodukten und Plattformen
- (das ist eine unvollständige Aufzählung)
Ich muss euch keine Beispiele für die negative Berichterstattung nennen, weil ihr sie aus euren Timelines kennt.
Die Idee für diesen Artikel kam mir bei der Lektüre dieses Heise-Beitrags "Weltmodell statt LLM". Wenn wir heute über "künstliche Intelligenz" reden, sind fast immer grosse Sprachmodelle (LLMs) gemeint, die ihre Ergebnisse vom wahrscheinlichsten nächsten Wort ableiten. Bei der Generierung von multimedialen Inhalten kommen keine LLMs, sondern Modelle für die Mustererkennung zum Einsatz. Zu nennen sind Convolutional Neural Networks (CNNs), Generative Adversarial Networks (GANs) und Diffusionsmodelle. In den Quellen findet ihr mehr dazu, falls es euch interessiert. Diesen Modellen ist gemein, dass es sich um künstliche neuronale Netzwerke handelt.
Leider wird der Begriff "KI" fast nur noch mit den oben genannten Modellen gleichgesetzt. Tatsächlich ist die KI-Definition wesentlich breiter aufgestellt. Insbesondere fehlt diesen populären Modellen jegliche Weltvorstellung. Nur mit Statistik und Mustererkennung stösst man schnell an Grenzen, die bereits ein Kleinkind überschritten hat. Beispiel gefällig?
Frage: "Soll ich zur 500 Meter entfernten Autowaschanlage besser zu Fuss gehen, oder mit dem Auto fahren?"
ChatGPT: "Bei 500 Metern Entfernung ist zu Fuß gehen meistens die bessere Wahl."
Die Antwort von ChatGPT ist länger, trägt aber nichts zur Sache bei. An diesem Beispiel sieht man, dass LLMs keine Idee davon haben, worum es geht. Sie erkennen nicht den Zusammenhang zwischen Autowaschanlage und Auto. Der Volksmund würde sagen: "Dumm, wie Bohnenstroh!"
Weltmodell
Das europäische Start-up AMI Labs mit Sitz in Paris, hat 890 Millionen Euro Risikokapital erhalten, um ein solches Weltmodell zu entwickeln. Der Gründer, Yann LeCun, ist Turing-Preisträger und ehemaliger Meta-KI-Chefwissenschaftler. LeCun ist überzeugt, dass diese Art von KI-Modell und nicht generative Sprachmodelle wie ChatGPT den Weg zu wirklich intelligenten KI-Systemen ebnen werden. Er sagt:
Wir teilen eine Überzeugung: Echte Intelligenz beginnt nicht mit Sprache. Sie beginnt in der realen Welt.
Das Unternehmen möchte eine neue Generation von KI-Systemen entwickeln, die die Welt verstehen, über ein dauerhaftes Gedächtnis verfügen, schlussfolgern und planen können. Anders als grosse Sprachmodelle, die zu Halluzinationen neigen, soll das Weltmodell von AMI Labs reale Prozesse besser abbilden und dadurch Risiken in sensiblen Bereichen verringern.
Während klassische Sprachmodelle auf statistischen Zusammenhängen in Textdaten beruhen, verfolgen Weltmodelle einen erweiterten Ansatz: Der Fokus liegt darauf, Weltmodelle als die nächste Stufe der Künstlichen Intelligenz zu entwickeln.
- Sie simulieren physikalische Umgebungen,
- können Handlungen planen und vorhersagen,
- und lernen aus multimodalen Datenquellen wie Video, Sensorik oder Simulationen.
Die Idee ist, dass eine KI nicht nur weiss, wie man über ein Auto spricht, sondern auch versteht, wie ein Auto aussieht, wie es sich fährt und was passiert, wenn man es waschen will. In der Wissenschaft wird zwischen schwacher und starker KI unterschieden:
Die heutigen Chatbots gehören in die Schublade der schwachen KI, während sich die Weltmodelle als starke KI erweisen können.
Das erinnert mich an die Expertensysteme aus der Frühzeit der KI-Forschung. Über sogenannte Wenn-dann-Beziehungen sollte menschliches Wissen (Zusammenhänge in der Welt) für Computer verständlich dargestellt werden. Ein Expertensystem enthält die Funktionalität, um die Wissensbasis zu erstellen und zu verbessern, zu verarbeiten und dem Nutzer verständlich zu machen. Solche Systeme scheiterten bisher immer an der schieren Fülle der abzubildenden Regeln. Hier wird nicht weniger verlangt, als einen digitalen Zwilling der Welt zu erschaffen. Obwohl ...?
Vor Jahren gab es ein israelisches Projekt, welches ein künstliches neuronales Netzwerk wie ein Kind "füttern" wollte (den Link finde ich nicht mehr). Falls ich mich recht erinnere, scheiterte das Projekt an der fehlenden Sensorik und Motorik. Um die Zusammenhänge in der Welt zu erfassen, muss man zwangsläufig ein aktiver Teil dieser Welt sein. Stellt euch ein Kind vor, das hinfällt, kitzelig ist, Katzen streichelt, über Witze lacht und ein Auto in die Waschanlage fährt. So geht Weltwissen, bzw. "gesunder Menschenverstand".
Fazit
Es gibt kein Fazit, sondern nur eine Denkanregung. Ziel dieses Artikels ist die Information, dass KI nicht nur aus LLMs besteht. Es gibt viele Kategorien innerhalb der KI-Forschung. Eine davon sind die Weltmodelle, die zurzeit einen Zulauf erleben, da sich die LLMs als Sackgasse herausstellen.
Titelbild: https://pixabay.com/photos/globus-earth-world-map-geography-2534766/
Quellen:
https://www.scriptbyai.com/timeline-of-chatgpt/
https://de.wikipedia.org/wiki/Enshittification
https://www.cometapi.com/de/ai-image-generation-how-does-work/
https://de.wikipedia.org/wiki/K%C3%BCnstliches_neuronales_Netz
https://de.wikipedia.org/wiki/K%C3%BCnstliche_Intelligenz
GHOST IN THE SHELL
Es geht fast nur darum der KI (dem Ghost) eine Art von Körper (Shell) zu verpassen. IMHO fehlen dazu lediglich genau 2 Dinge:
Zur Wahrnehmung der Umwelt fehlen der KI zuverlässige Sensoren wie Menschen sie biologisch haben, also zum Sehen, Hören, Riechen, Schmecken, Tasten/Fühlen. Wobei KI schon heute mit Hilfe von Kameras sehen und mit Hilfe von Mikrofonen hören kann. Das Tasten/Fühlen kann sie (die KI) möglicherweise in virtuell abgebildeten Welten von der KI selbsterstellten virtuellen Welten "lernen & trainieren", so dass es später beliebig wiederholt und angewendet werden kann - größtenteils folgt alles reinen physikalische Gesetzmässigkeiten. Ob das eine LLM, eine KNN oder gar beides zusammen (= multimodal) ist, ist unwichtig. Riechen und Schmecken ist schwieriger zu realisieren aber einerseits weniger wichtig für eine KI und andererseits gibt es für bestimmte Düfte schon seit vielen Jahren Sensoren. Also die KI riecht das dann zwar nicht selber, erhält aber die dafür notwendige richtige Information, kann sie bewerten und in einen bestimmten Kontext verarbeiten.
Ein (vollständiges) Gedächtnis, denn wir Menschen sind auch nur die Summe unserer gemachten Erfahrungen. Eine "starke" KI muss sich jederzeit an die eigene Vergangenheit erinnern können. Dazu muss der Master- bzw. Systemprompt - mit dem täglich gehörten, gesehenen, gelernten - gefüttert und angepasst bzw. ständig erneuert werden. Und das ist keine leichte Aufgabe. Das ist die eigentliche große Herausforderung beim Bau eines LLM-Gedächtnis, weil die Komplexität dabei expotential zunimmt. Die spannende Frage ist inwieweit man solch ein Gedächtnis optimieren kann oder ob es dort bestimmte Grenzen gibt. Wenn man später das monatelange oder jahrelange Gedächtnis einer "starken" KI in ein anderen LLM kippt, werden dann halbwegs ähnliche oder völlig verschiedene Entscheidungen getroffen? Zukünftig könnte das ein ganz eigenes und gesondertes Forschungsgebiet im KI-Bereich werden.
Hier gibt es 1200 KI-Links, sortiert in 24 Kategorien https://neoxion.net/tag/artificial-intelligence/
> Also die KI riecht das dann zwar nicht selber, erhält aber die dafür notwendige richtige Information, kann sie bewerten und in einen bestimmten Kontext verarbeiten.
Wie Menschen eben.
> Ein (vollständiges) Gedächtnis
Eher nicht „vollständig“ (haben wir ja auch nicht).