Keine KI-Suche bei uns

Vor ein paar Tagen kam mir die Idee, ob der Einbau einer KI-Suche auf unserer Seite sinnvoll sein könnte. Unsere klassische Suche funktioniert zwar gut, allerdings kann man damit keine Fragen beantworten, deren Antworten den gesamten Inhalt einbeziehen. Mit über 5000 Artikeln und 200 Podcast-Folgen, gibt es viel Material, das zu einer Auswertung einlädt.

Nach einer kurzen Rücksprache mit Tim aus dem Maschinenraum, haben wir uns dagegen entschieden. Nicht, weil eine solche Funktion keinen Mehrwert bieten würde, sondern weil die UX und UI für diese Funktion, sowie die technische Implementierung doch nicht so einfach sind. Ausserdem gibt es andere Möglichkeiten, um die Vorteile einer KI-Suche zu erzielen.

Wahrscheinlich teile ich meine kritische Haltung gegenüber den stochastischen Papageien des Internets, aka LLM‑basierte Chatbots, mit einem Teil unserer Community. Wir wissen nicht, ob unsere Leser und Hörerinnen KI‑gestützte Funktionen befürworten oder ablehnen. Falls wir danach fragen würden (was wir machen sollten), wäre die Antwort vermutlich: "Es kommt darauf an".

Worauf kommt es an?

Hier kann ich nur spekulieren. Vielleicht wären die Antworten:

• Kann man machen, falls die KI-Antwort ausführliche Quellenangaben beinhaltet, damit sie überprüfbar ist.
• Aber nur, wenn es sich um europäische Modelle handelt.
• Ja gerne, falls meine Fragen nicht in die Trainingsdaten einfliessen.
• Eine Voraussetzung ist, dass ich meine Fragen anonym stellen kann.
• Dann sollten es Open-Weight-Modelle sein.
• Die Modelle sollten lokal auf meinem Rechner laufen.

Es sei darauf hingewiesen, dass die Inhalte von FOSSWELT.org (gnulinux.ch) ohnehin in das Training der KI-Modelle eingeflossen sind. Wir haben keine wirkungsvollen Abwehrmassnahmen dagegen ergriffen. Wenn dem so ist, kann man diese Modelle auch für seine Zwecke arbeiten lassen, meine ich.

Modelle

Da wir eine KI-Suche nicht einbauen werden, könnt ihr auf die bestehenden Dienste zurückgreifen. Dafür habe ich drei KI-Chatbots ausprobiert.

1. Apertus - With 1.5x love from Switzerland
2. Mistral - Liberté, Fraternité, Égalité
3. Lumo - Mit weniger Liebe von Andy Yen

Apertus und Mistral können das nicht, zumindest nicht bei meinen Tests. Das Ergebnis von Proton-Lumo überzeugt mich. Nachtrag: Felix hat es mit Mistral ausprobiert und es funktionierte sehr gut. Wahrscheinlich war mein Prompt schlecht.

Zwei Beispiele

Wer sich nun fragt, wozu das gut sein soll, für den habe ich zwei Beispiele erstellt. Für unser Podcast-Jubiläum (CIW200) wollte ich wissen, mit welchen Institutionen und Behörden wir Folgen aufgenommen haben. Der Prompt in Lumo lautete:

Verwende für die Antwort nur Informationen der Webseite gnulinux.ch. Erstelle eine Liste aller Institutionen oder Behörden, mit denen im Podcast Interviews geführt wurden.

Hier ist die gekürzte Antwort:

Die Antwort entspricht exakt dem, was ich mir vorgestellt habe. Wie zuvor erwähnt, ist die tatsächliche Antwort viel länger.

Beim zweiten Beispiel möchte ich eine inhaltliche Zusammenfassen zum Thema "strukturierte Notizen" erstellen. Der Prompt für Lumo heisst:

Verwende für die Antwort nur Informationen der Webseite gnulinux.ch. Erstelle eine Zusammenfassung aus den Artikeln, die sich mit «strukturierten Notizen» (note taking apps) befassen. Eine kurze Zusammenfassung genügt.

Hier ist die gekürzte Antwort:

Da ich nur eine kurze Zusammenfassung gefordert habe, bin ich mit dem Ergebnis zufrieden.

Fazit

Wir bauen keine KI-Suche auf unserer Seite ein. Wer inhaltsübergreifende Abfragen und Auswertungen unserer Inhalte erstellen möchte, kann das mit den bekannten KI-Chatbots erreichen. Dafür empfehlen wir Modelle, die den im Abschnitt "Worauf kommt es an?" genannten Kriterien entsprechen. Falls ihr euch nur auf unsere Inhalte beziehen möchtet, solltet ihr das im Prompt explizit erwähnen (siehe Bespiele).

Titelbild: https://pixabay.com/illustrations/human-robot-android-technology-10233468/

Quellen: im Text