GPT4ALL

Die Large Language Models hinter den üblichen Chatbots laufen in der Cloud, also auf Rechnern anderer Leute/Firmen. Lokale Installationen sind lediglich Clients, die über die API der Anbieter auf deren Lösungen zugreifen. Somit füttert jeder Prompt die Modelle und die eigenen Eingaben werden zum Trainingsmaterial. Anders ist das bei der Anwendung GPT4ALL.

Hinter der Anwendung steckt die Organisation Nomic.ai, die über sich schreibt:

Das Ziel von Nomic ist es, die Erklärbarkeit und Zugänglichkeit von KI zu verbessern.

Derzeit erlebt unsere Welt durch den Aufstieg der Künstlichen Intelligenz einen dramatischen Wandel. Moderne KI-Modelle werden auf Datensätzen in der Größe des Internets trainiert und ermöglichen die Produktion von Inhalten in einem noch nie dagewesenen Umfang. Sie durchdringen in rasantem Tempo alle Branchen der Welt - von der Verteidigung über die Medizin und das Finanzwesen bis hin zur Kunst.

Trotz ihres rasanten Aufstiegs wissen wir immer noch sehr wenig über diese Modelle. Was ist in ihren Trainingsdaten enthalten? Was lernen sie? Wie können wir sie vergleichen? Wie werden sie von den Menschen genutzt? Derzeit fehlen uns die Instrumente, um diese Fragen zu beantworten.

Darüber hinaus wird der Zugang zu diesen Modellen von einer kleinen Zahl gut finanzierter, zunehmend geheimnisvoller KI-Labors kontrolliert. Wenn sich dieser Trend fortsetzt, könnten sich die Vorteile der KI in den Händen einer sehr kleinen Zahl von Menschen konzentrieren.

Nomic will diese Herausforderungen angehen, indem es sowohl die Erklärbarkeit als auch die Zugänglichkeit von KI verbessert.

Zurzeit werden zwei Produkte angeboten. Atlas ist eine Daten-Engine, die es jedem ermöglicht, riesige Datensätze in seinem Browser zu visualisieren, zu organisieren, zu kuratieren, zu durchsuchen und zu teilen. Damit soll verstanden werden, aus welchen Daten KI-Modelle lernen und welche Assoziationen KI-Modelle lernen.

GTP4ALL ist ein Ökosystem von Open-Source-, Open-Data- und Edge-Language-Modellen. GTP4ALL ermöglicht einen Zugang zu KI, sodass jeder von der KI-Technologie profitieren kann, unabhängig von Hardware, Datenschutz oder geopolitischen Beschränkungen.

Die Anwendung steht für Windows, OSX und Ubuntu zur Verfügung. Ich hatte keine Probleme, das Install-Skript unter Manjaro auszuführen. Lediglich beim Anlegen der Desktop-Datei gab es eine Fehlermeldung. Entweder man bastelt eine eigene Desktop-Datei oder ruft diese Datei direkt auf: /home/gpt4all/bin/chat

GTP4ALL startet ohne Modell. Dieses muss zuerst ausgewählt werden (siehe Titelbild). Zur Verfügung stehen 15 Modelle, die in der Grösse etwa zwischen 4 und 8 GB variieren. Ich habe mich für das kleine Modell gtp4all-j-v1.3-groovy entschieden. Es hat 6 Mrd. Parameter und ist auf schnelle Antworten ausgelegt. Man kann weitere Modelle laden und zwischen diesen für die Abfragen wechseln.

Die Abfragemöglichkeiten sind dieselben wie bei anderen Chat-KIs: Allerweltsfragen, Gedichte, E-Mails, Briefvorschläge, Rezepte, Textzusammenfassungen, Code, usw. Hier ist ein Beispiel mit einer Textzusammenfassung:

Die Ermittlung der Ausgabe dauert etwas länger, als man es von Online-KIs gewohnt ist. Dafür läuft der Prozess auf dem lokalen PC ab, benötigt keine Internetverbindung (ausser für das Herunterladen der Modelle) und ist nicht auf eine GPU angewiesen. Die Ergebnisqualität hängt natürlich vom gewählten Modell ab. Meine Tests mit dem kleinen Modell ergaben brauchbare Antworten.

Quelle: https://gpt4all.io/index.html