Das Thema KI, bzw. die Large Language Models (GPT3) oder Large Multimodal Models (GPT4), erregt seit Monaten die Gemüter. Nicht nur bei KI-Experten und Expertinnen, sondern auch in der Tech-Community und in der Gesellschaft finden sich Befürworter und Skeptikerinnen der sich rasant entwickelnden Technologie. Die aktuelle Entwicklung dieser KI-Modelle wird oft mit der Erfindung der Dampfmaschine oder des Internets gleichgestellt.
Am 22. März wurde vom Future of Life Institute ein offener Brief veröffentlicht, in dem ein 6-monatiges Moratorium für die Weiterentwicklung von Modellen gefordert wird, die über das multimodale Modell GPT4 hinausgehen. Mittlerweile haben 18'317 Personen und Organisationen diesen Brief unterschrieben. Diese Menge zeigt die Bedeutung des Anliegens. Doch es gibt auch Kritiker des geforderten Moratoriums. Diese argumentieren, dass sich die Entwicklung sowieso nicht aufhalten lasse, sechs Monate zu wenig seinen, die initialen Unterzeichner (u. a. Elon Musk) nur darauf warten, bis Nvidia die nächste GPU-Generation liefern kann, die massenhaft für das Training der Large Multimodal Models benötigt wird, oder ganz generell den Fortschritt der Technik nicht aufhalten möchten.
Ein wichtiger Punkt, dem in der Euphorie bisher wenig Beachtung geschenkt wurde, ist die Frage der Technologie-Beherrschung. Das sieht man am Beispiel der Firma OpenAI, die hinter den GPT-Modellen steht. Wie man am Firmennamen erkennen kann, war die ursprüngliche Absicht der Firma, offene KI-Modell zu entwickeln. Diese Absicht änderte sich, als man erkannte, dass die Kosten für das Training der Modelle ins Unermessliche stiegen. Ohne finanziell potente Partner konnten die Modelle nicht erzeugt werden. Ausnahmsweise hat Microsoft den Trend vor anderen Firmen erkannt und (das behaupte ich) unbegrenzte Finanzmittel und Rechenkapazität zur Verfügung gestellt.
Seit dem hat ein Wettrennen zwischen den Hyperscalern (MAGMA: Microsoft, Amazon, Goggle, Meta, Apple, sowie den chinesischen Tech-Corps) begonnen. In nie dagewesener Entwicklungszeit werden die Produkte dieser Hersteller um KI-Fähigkeiten ergänzt. Google sieht seine Felle bei der Marktführerschaft im Suchbereich schwimmen; Microsoft baut KI in Bing, Teams und seine Office-Produkte ein. Es vergeht kein Tag, an dem keine Neuerungen bei der "KI-sierung" von Produkten angekündigt werden.
Optimistisch eingestellte Zeitgenossen befürworten diesen grossen Fortschritt und sehen viele neue Jobs, die durch diese Disruption entstehen. Pessimisten mahnen ob der Geschwindigkeit, Nicht-Reflektion, dem regulatorischen Hinterherhinken, dem Wegfallen von Arbeitsplätzen, sowie dem Ausschluss der Gesellschaft. Die Vergangenheit hat uns gelehrt, dass technologischer Umbruch immer neue und mehr Jobs geschaffen hat. Studien zu dieser Frage kommen zu unterschiedlichen Ergebnissen. Eine kleine Übersicht:
- PriceWaterhouseCoopers: Bis 2035 sind 35 % der Arbeitsplätze gefährdet
- Accenture: sieht neue Jobs durch KI, hat die Studie aber noch nicht veröffentlicht
- University of Oxford: 47 % der Jobs werden in den nächsten 20 Jahren durch KI wegfallen
- Goldman Sachs: Zweidrittel der Jobs sind von KI betroffen; ein Vierteil wird wegfallen
- McKinsey: "Wir müssen diese Dinge als produktivitätssteigernde Werkzeuge betrachten, im Gegensatz zu einem vollständigen Ersatz“
Interessant ist, was die Firma hinter GPT, OpenAI, in einer gemeinsamen Studie mit der University of Pennsylvania am 27. März 2023 schrieb:
Unsere Ergebnisse zeigen, dass etwa 80 % der US-Arbeitskräfte von der Einführung von LLMs mindestens 10 % ihrer Arbeitsaufgaben betroffen sein könnten, während bei etwa 19 % der Arbeitnehmer mindestens 50 % ihrer Aufgaben betroffen sein könnten.
Laut der OpenAI-Studie sind folgende Berufe besonders betroffen:
- Buchhalter
- Mathematiker
- Programmierer
- Dolmetscher
- Schriftsteller
- Journalisten
Ich halte diese Liste für unvollständig, fehlen doch die Berufe im semi-kreativen Gewerbe: Designer, Marketing-Fachleute, UI-Entwickler. Zur Frage, welche Jobs am wenigsten von dieser Umwälzung betroffen sein werden, habe ich neulich einen Beitrag geschrieben; es sind die Handwerker und Berufe, die sich mit menschlichen Aspekten beschäftigen: Pflegeberufe, Lehrpersonal, Psychologen, Ärztinnen, Sozialarbeiter, usw.
Bei meiner Recherche zu diesem Beitrag hatte ich Mühe, die Berufe zu finden, die durch KI neu geschaffen werden. In Bullshit-Medien findet man exotische Vorschläge, die ich hier nicht wiedergeben möchte. Leider habe ich keine einzige wissenschaftliche Arbeit zu neuen Arbeitsplätzen gefunden. Daher kann ich euch nur meine Vorschläge bieten:
- Prompt Optimizer
- Prompt Injection Security Advisor
- Halluzination Cleaner (Achtung, das ist ein 1 Euro Job)
- Machine Learning Engineer
- Data Scientist
- Computer Vision Engineer
- Algorithm Developer
- Developer Consultant (eigentlich: Code Cleaner)
Leider sind nur die ersten drei wirklich neue Berufsbilder; die übrigen gab es auch schon vorher. Falls ihr Vorschläge für neue Berufe habt, schreibt sie bitte in die Kommentare.
Bevor ich zum Kern dieses Artikels komme, möchte ich noch denjenigen widersprechen, die Künstliche Intelligenz mit dem Argument abtun, dass KI doch keine Intelligenz sei. Ich rate dazu, den Begriff 'Intelligenz' nicht zu vermenschlichen. Dabei ist es nicht relevant, ob diese Intelligenz künstlich oder menschlich ist. Natürlich sind die Large Language Modells nur Matrizen, die zu jedem Wort im Text, das statisch wahrscheinlichste nächste Wort erzeugen. Es geht nicht darum, wie sie es machen, oder auf welcher Datengrundlage sie es machen; es geht nur um das Ergebnis. Solange das Ergebnis plausibel, überzeugend, pseude-faktisch, menschlich erscheint, heiligt der Zweck die Mittel. Ein KI-Modell ist das Ergebnis seiner Trainingsdaten, so falsch oder richtig sie sein mögen. Selbiges gilt auch für euer Gehirn, dessen Fähigkeit und Output das Resultat von jahrelangem multimodalem Training ist. Euer Gehirn kann nur das lernen, was in der Welt existiert.
Die Multimodalität von KI-Modellen wird zunehmen. Während GPT3 nur mit Texten trainiert wurde, sind bei GPT4 Bilder hinzugekommen. GPT5 wird die Medienvielfalt ausbauen; es werden Töne, Videos, Gerüche und Weiteres zum Training beitragen. Die Entwicklung von künstlichen neuronalen Netzwerken (sprich: Gehirnen) wird weitergehen; daran gibt es keinen Zweifel.
Ich halte das geforderte Moratorium für einen ersten Schritt, der notwendig, aber nicht hinreichend ist. Es fehlt die Demokratisierung der Modelle und Algorithmen. Es ist fatal, diese gesellschaftsverändernde Technologie in den Händen von wenigen Firmen zu belassen, die sich die Rechenzentren leisten können.
Deshalb begrüsse ich die Initiative der Nichtregierungsorganisation LAION. Die Organisation beschreibt ihre Ziele folgendermassen:
Wir sind eine Non-Profit-Organisation mit Mitgliedern aus der ganzen Welt, die sich zum Ziel gesetzt hat, umfangreiche Modelle für maschinelles Lernen, Datensätze und den dazugehörigen Code für die Allgemeinheit verfügbar zu machen.
Wir glauben, dass die Forschung im Bereich des maschinellen Lernens und ihre Anwendungen das Potenzial haben, enorme positive Auswirkungen auf unsere Welt zu haben, und dass sie daher demokratisiert werden sollten.
Unser Ziel ist die Freigabe von Datensätzen, Code und Modellen für maschinelles Lernen. Wir wollen die Grundlagen der Forschung und des Datenmanagements in großem Maßstab vermitteln. Indem wir Modelle, Datensätze und Code wiederverwendbar machen, ohne dass sie ständig von Grund auf neu trainiert werden müssen, wollen wir eine effiziente Nutzung von Energie- und Computerressourcen fördern, um den Herausforderungen des Klimawandels zu begegnen.
Ein bisher wenig beachteter Nebeneffekt des Trainings von grossen KI-Modell ist der Ressourcenverbrauch. Nur wenige haben bisher auf dem Radar, dass der enorme Stromverbrauch des KI-Trainings, Erinnerungen an die Energieverschwendung des Proof-of-Work-Konzepts bei Kryptowährungen hervorruft.
LAION schlägt für die Demokratisierung von KI-Modellen einen Ansatz vor, der dem des Kernforschungsinstituts CERN entspricht. Dazu hat die Organisation eine Petition auf OpenPetition in der Europäischen Union eingereicht.
Die Organisation schlägt vor, die KI-Forschung zu demokratisieren und einen öffentlich finanzierten Supercomputer mit 100.000 leistungsfähigen Beschleunigern (NVIDIA A100-GPUs) für das Training von Foundation Modellen zu errichten, um möglichst zügig ein Open-Source-Replikat von GPT4 zu erstellen. Der Verein hat Erfahrung mit Superrechnern und grossen Language-Vision-Modellen. Eines der Gründungsmitglieder und wissenschaftlicher Leiter von LAION, Dr. Jenia Jitsev, arbeitet als Forschungsgruppenleiter am Hochleistungs-Rechenzentrum der Helmholtz-Gesellschaft in Jülich. Dort steht JUWELS, Deutschlands grösster Wissenschafts-Superrechner und eines der grössten High-Performance-Rechencluster in Europa.
LAION arbeitet bereits an einer freien Umsetzung des GPT4-Modells mit dem Namen OpenCLIP. Dabei handelt es sich um ein multimodales Modell, in das Text- und Bild-Informationen einfliessen. Die NGO setzt sich damit für eine öffentliche Infrastruktur zum Trainieren zugänglicher grosser KI-Modelle ein, damit unabhängige Fachleute und die Gesellschaft ungefilterten Zugang zu der Grundlagentechnologie haben und offene Alternativen zu mächtigen Modellen wie GPT4 entstehen.
Ich halte solche Vorstösse für förderungswürdig, da sie Initiative zeigen, wenn es darum geht, grosse KI-Modelle für die Wissenschaft und die Gesellschaft verfügbar zu machen. Aufgrund der zu erwartenden gesellschaftlichen Auswirkungen darf das Wissen und die Modelle nicht nur in der Hand von profitorientierten Unternehmen bleiben.
Quellen:
Hier noch ein Link zur OpenAI Studie: https://arxiv.org/pdf/2303.10130.pdf Was den Beruf des Mathematikers betrifft, glaube ich wirklich nicht daran, dass diese besonders betroffen sind. Auch die OpenAI Studie finde ich wenig überzeugend. Mathematik besteht darin, neue Mathematik zu erschliessen und neue Dinge zu beweisen. Es ist mir kein einziges neues Theorem bekannt, welches ChatGPT, GPT4 oder ein ähnliches Sprachmodell bewiesen hätte. Bei der praktischen Anwendung scheitern diese Sprachmodelle bereits an simplen Aufgaben. Von logischem Denken ist wenig zu sehen. Die Muster passen häufig nicht. Dabei muss in einem mathematischen Beweis jedes kleinste Detail stimmen, sonst ist der Beweis falsch. Interessante neue Mathematik zu erschaffen ist nochmals schwieriger. Das ist höchst kreative und sehr wenig repetitive Arbeit. Da haben die Sprachmodelle riesige Probleme damit und ich sehe nicht, wie sich das mit diesem Ansatz ändern soll.