GPT4All – wie ChatGPT, nur offline und kostenlos

KI (Künstliche Intelligenz) ist gerade in aller Munde. Ausgelöst wurde der Hype durch ChatGPT, aber in der Zwischenzeit gibt es auch Google Bard und ich habe das Gefühl, dass jeder nun mitspielen möchte. Ein Problem ist allerdings, dass Du immer einen Online-Service nutzen musst. Die großen Firmen machen auch kein großes Geheimnis daraus, Daten zu sammeln und zu verwerten. GPT4All läuft offline und auf Deiner eigenen Hardware, und zwar auf der CPU und nicht der GPU. Du benötigst dafür also keine Internetverbindung – außer zum Download der Modelle.

KI-Programme wie ChatGPT verwenden riesige Datensätze, um Texte zu generieren. Ganz einfach gesagt, analysiert die Software, welche Wörter am besten zu Deiner Anfrage passen und wie man sie am besten verknüpft. Die hierfür eingesetzten riesigen Datensätze nennen sich auch Modelle.

Ich will Dir aber nun nicht erklären, wie KI genau funktioniert, sondern Dir zeigen, wie Du eine Software wie ChatGPT auf Deinem eigenen Rechner und offline betreiben kannst. Du kannst GPT4All für Ubuntu / Linux, Windows und macOS installieren und nutzen. Das Programm nimmt die CPU und nicht die GPU. Damit ist es langsamer, aber mit allen Computern kompatibel. Legen wir los.

GPT4All installieren

Ich benutze Linux Mint 21, also ein Derivat von Ubuntu 22.04 LTS und das wird von GPT4All offiziell unterstützt. Hier eine kleine Anleitung, wie Du GPT4All unter Ubuntu installierst und startest.

Das Entwickler-Team weist übrigens darauf hin, dass Du GPT4All möglicherweise selbst kompilieren musst, wenn Du nicht die aktuelle Ubuntu-Version benutzt. Einfach testen und selbst überprüfen.

Du siehst, dass die Installation unter Linux ein wenig komplexer ist als bei Windows oder macOS, aber schwierig ist sie dennoch nicht.

GPT4All benutzen – Modelle herunterladen

Beim ersten Start kannst Du auswählen, ob Du anonyme Daten mit den Entwicklern teilen möchtest oder nicht. Das musst Du selbst entscheiden. Ebenfalls öffnet sich die Option mit den Modellen, die Du herunterladen kannst.

Du kannst die Seite mit den Modellen auch öffnen, wenn Du links oben auf die drei Balken klickst > Downloads. Direkt von der Website könntest Du die Modelle auch herunterladen, dort gibt es einen Model Explorer. Bequemer ist es aber über den GPT4All-Client.

Die Modelle haben unterschiedliche Spezialitäten. Zudem rate ich Dir, die Beschreibungen sorgfältig zu lesen. Einige Modelle darfst Du kommerziell nutzen und andere nicht – sie sind also nur für die private Nutzung freigegeben.

Die Download-Größen unterscheiden sich ebenfalls. Manche sind 3,5 GByte, andere wiederum circa 8 GByte groß. Natürlich sind die unterschiedlichen Modelle auch unterschiedlich schnell. Ob ein Modell Deine Anforderungen erfüllt oder nicht, findest Du am besten mit eigenen Tests heraus.

Klickst Du auf das Zahnrad oben rechts im Client, kommst Du zu den Einstellungen. Hier kannst Du die jeweiligen Modelle ebenfalls auf Deine Anforderungen anpassen.

Bei den Generation Settings bekommst Du für den jeweiligen Parameter eine Beschreibung, wenn Du mit der Maus drüberfährst. Auch hier experimentierst Du am besten, bist Du ein gewünschtes Ergebnis bekommst.

Du könntest mit GPT4All auch ChatGPT benutzen, benötigst dafür allerdings einen API-Schlüssel.

Den anonymen Chatbot GPT4All konfigurieren

In den Einstellungen darfst Du auch die Anwendung selbst konfigurieren. Hier kannst Du angeben, was das Standard-Modell sein soll, wie viele CPU-Threads die Software benutzen soll und so weiter.

Du kannst hier auch aktivieren, dass Chats auf der Festplatte gespeichert werden sollen oder nicht.

Da sich GPT4All eigentlich noch in den Kinderschuhen befindet, sollte sich hier künftig noch einiges tun, insbesondere bei den Plug-ins.

Updates automatisch

Gibt es eine neue Version, wirst Du darüber in Kenntnis gesetzt und Du kannst direkt und schnell aktualisieren. Das ist einfach. Du musst nur den Anweisungen folgen und mit wenigen Klicks ist das Update oder Upgrade erledigt.

Wie bei der Installation gab es auch hier bei mir den Fehler, dass ein Desktop-Symbol nicht angelegt werden kann. Du kannst das einfach ignorieren.

Was ist der Haken an der Sache?

Der größte Nachteil gegenüber ChatGPT, Google Bard und andere Systeme mit massiver Rechenleistung dahinter ist die Geschwindigkeit bei GPT4All.

Selbst mit einem relativ schnellen Rechner wie meinem Tuxedo Fusion dauert eine Antwort viel länger als bei den proprietären Systemen.

Zudem muss ich die Modelle herunterladen und jedes einzelne davon ist mehrere GByte groß. Wobei die Massenspeicher in modernen Rechnern keine Bremse mehr sein sollten.

Die Vorteile von GPT4All

Es gibt allerdings nicht nur Nachteile, sondern auch einen großen Vorteil. Der Einsatz von GPT4All ist anonym. Bereits anfangs habe ich erwähnt, dass die kommerziellen Anbieter Deine Daten verarbeiten. Das kostenlose Google Bard weist Dich sogar darauf hin.

Klar, ich würde das auch mit Qualitätssicherung verkaufen. 😉

Du benötigst außerdem keine aktive Internetverbindung. Gut, Internetverbindungen sind fast omnipräsent, aber Du kannst den Chatbot GPT4All tatsächlich komplett offline verwenden.

Liegt Deine Priorität auf Anonymität und möchtest Du einen Chatbot offline benutzen, dann ist GPT4All auf jeden Fall besser als ChatGPT, Google Bard und so weiter.

FAQ