Warum ist die Banane krumm? Ein lokales LLM installieren und nutzen.

Na ja, das ist abermals ein Artikel, der während des Schreibens gewachsen ist, doch eigentlich ist er geschmolzen. Ich wollte einen Artikel über die GNOME-Search-Erweiterungen schreiben. Die GNOME-Shell bietet eine Suchfunktion an, die erweitert werden kann. Hier seht ihr, was bei mir möglich, bzw. eingeschaltet ist:

Es wäre doch schön, wenn man direkt eine Web- oder KI-Suche starten könnte. Falls ihr die GNOME-Shell nicht kennt: Das sieht so aus:

Es gibt ein paar GNOME-Shell-Erweiterungen für die Web-Suche, doch keine davon ist für GNOME 50 freigegeben. Erweiterungen für eine KI-Suche findet man keine. Wenn es nicht über die Suchfunktion geht, wollte ich wenigstens eine Suche im Terminal haben. Deshalb habe ich mich eine halbe Stunde lang mit der anonymen Lumo-KI von Proton unterhalten.

Ich habe eine kritische Meinung in Bezug auf LLMs. Mir gefällt weder der Inhaltsdiebstahl, der Ressourcenverbrauch, die sozialen und wirtschaftlichen Auswirkungen noch die Oligopole der Tech-Bros dahinter. Dennoch möchte ich mich dem Thema nicht verschliessen. Heute habe ich einen interessanten Artikel gelesen, der KI in ein historisches Licht rückt und die aktuellen datengestützten Modelle infrage stellt. Es lohnt sich, diesen Artikel zu lesen.

Bei meiner Lumo-Recherche ist Folgendes herausgekommen:

Ollama

Ollama wurde entwickelt, um KI-Modelle lokal und ohne Cloud-Infrastruktur nutzen und verwalten zu können. Anfangs wurde die Llama-Modellfamilie unterstützt, die durch Meta entwickelt und als Open Source zur Verfügung gestellt wurde. Für Ollama stehen über 240 verschiedene vortrainierte KI-Modelle zur Einbindung zur Verfügung. Die Modelle werden direkt auf dem lokalen Rechner ausgeführt, wodurch eingegebene Daten und der KI-Output vollständig auf dem eigenen System verbleiben und etwaige Beschränkungen der Cloud-Versionen nicht greifen.

Das Werkzeug steht in allen Distro-Repos zur Verfügung und kann über den gewohnten Weg installiert werden.

Nach der Installation öffnet man ein Terminal und startet Ollama mit:

ollama serve

Dann initialisiert sich das Programm und holt die nötigen Schlüssel. Im nächsten Schritt lädt man ein Modell herunter. Ich habe es mit dem kleinen llama3-Modell ausprobiert. Dieses Modell frisst 4 GB eurer Festplatte. So geht das:

ollama pull llama3

Nächste Schritte:

• neues Terminalfenster
• ollama run llama3 "Warum ist die Banane krumm?"
• Enttäuschung: langsam, english

Die Bananen-Frage wurde korrekt beantwortet. Als nächstes habe ich es mit einem klassischen KI-Killer versucht: Der Schwestern-Frage:

Wie ihr im Screenshot seht, benötigt das LLM anderthalb Minuten für die Antwort. Die Antwort ist erwartungsgemäss falsch. Der Bruder hat natürlich 3 Schwestern.

Leistung

Diesen Test habe ich auf meinem Haupt-Notebook durchgeführt:

TUXEDO InfinityBook S 17 - Gen6
16 GB Samsung DDR4, 3200 Mhz
Intel Core i7-11390H
Intel Iris Xe Graphics G7 96EUs

Das ist eine normale Büromaschine, die definitiv nicht für das lokale Ausführen von LLMs geeignet ist. Das sieht man gut an den Laufzeiten der beiden oben gezeigten Prompts (4:17 und 1:28 Minuten). Obwohl llama3 ein ziemlich kleines Modell ist, sind die Antwortzeiten bereits grenzwertig.

Auf der Ollama-Seite gibt es Modelle wie Sand am Meer. Gut soll das Modell gemma4:12b von Google sein. Deshalb habe ich einen zweiten Versuch gestartet:

• Altes Modell löschen: ollama rm llama3
• Neues Modell installieren: ollama pull gemma4:12b

Das scheiterte leider an einer veralteten Version von Ollama auf meinem Rechner (Version 0.24.0). Man kann die aktuellste Version mit diesem Befehl herunterladen und installieren:

curl -fsSL https://ollama.com/install.sh | sh

Davon rate ich dringend ab, wenn ihr nicht genau versteht, was im Installationsskript vor sich geht. Wartet lieber, bis eine neue Version von Ollama in den Repos eurer Distribution erscheint. Für den weiteren Verlauf dieses Artikels habe ich wieder llama3 installiert.

Zugriff!

Mein Ziel war, eine KI-Abfrage über die GNOME-Suche ausführen zu können. Davon habe ich erst einmal Abstand genommen, weil ich mich nicht näher mit der Programmierung einer Erweiterung für die GNOME-Suche beschäftigt habe. Stattdessen soll ein Alias diese Aufgabe übernehmen.

Doch wie soll das geschehen? Dummerweise muss zuerst der Ollama-Dienst gestartet werden, bevor man einen Prompt abschicken kann. Ich könnte Ollama per Autostart laufen lassen; doch dann würden 4 GB RAM belegt, ohne dass klar ist, ob ich den Dienst überhaupt verwenden möchte. Deshalb muss eine Lösung her, die zuerst den Dienst startet und dann den Prompt entgegennimmt. Also bastle ich ein Shell-Skript, bzw. habe es von Perplexity generieren lassen:

#!/usr/bin/env bash
set -euo pipefail

MODEL="${OLLAMA_MODEL:-llama3}"

if [[ $# -lt 1 ]]; then
  echo "Usage: $0 \"Deine Frage\"" >&2
  exit 1
fi

PROMPT="$*"

# Start ollama server if it is not already responding
if ! curl -sf http://127.0.0.1:11434/api/tags >/dev/null 2>&1; then
  nohup ollama serve >/tmp/ollama.log 2>&1 &
  OLLAMA_PID=$!

  # Wait for server to become ready
  for _ in {1..30}; do
    if curl -sf http://127.0.0.1:11434/api/tags >/dev/null 2>&1; then
      break
    fi
    sleep 1
  done
fi

# Run the prompt
echo "$PROMPT" | ollama run "$MODEL"

Dieses KI-generierte Skript habe ich überprüft und leicht angepasst. Im Skript habe ich keine Fehler gefunden. Ich habe es als ki.sh gespeichert, ausführbar gemacht und getestet. Dann habe ich diese Zeile in meine Shell-Konfigurationsdatei (.zshrc) als Alias eingefügt:

alias ki='/home/ralf/dev/ollama/ki.sh'

Nun kann man die lokale KI im Terminal z. B. so befragen:

Das funktioniert und ist sogar relativ schnell.

Fazit

Wer lokale LLMs verwenden möchte, findet in diesem Artikel eine einfache und universelle Anleitung. Es hängt von der Rechnerleistung und dem gewählten Modell ab, ob es für euch Sinn ergibt. Das eigentliche Ziel, die KI-Suche in die GNOME-Suche zu integrieren, wurde nicht erreicht, weil ich mich nicht genug damit beschäftigt habe. Zumindest zeigt der Artikel, wie man die KI-Suche als Alias verwenden kann. Ich weise ausdrücklich darauf hin, dass ich KI eher ablehnend gegenüberstehe. Ausserdem wage ich den praktischen Nutzen dieses Artikels zu bezweifeln. Nehmt es als proof-of-concept.

Titelbild: https://pixabay.com/illustrations/fruit-banana-art-abstract-yellow-4415864/

Quellen: im Text

https://www.heise.de/blog/Ist-die-symbolische-KI-aktueller-denn-je-11309657.html

https://de.wikipedia.org/wiki/Ollama