GPT4All – wie ChatGPT, nur offline und kostenlos
KI (Künstliche Intelligenz) ist gerade in aller Munde. Ausgelöst wurde der Hype durch ChatGPT, aber in der Zwischenzeit gibt es auch Google Bard und ich habe das Gefühl, dass jeder nun mitspielen möchte. Ein Problem ist allerdings, dass Du immer einen Online-Service nutzen musst. Die großen Firmen machen auch kein großes Geheimnis daraus, Daten zu sammeln und zu verwerten. GPT4All läuft offline und auf Deiner eigenen Hardware, und zwar auf der CPU und nicht der GPU. Du benötigst dafür also keine Internetverbindung – außer zum Download der Modelle.
KI-Programme wie ChatGPT verwenden riesige Datensätze, um Texte zu generieren. Ganz einfach gesagt, analysiert die Software, welche Wörter am besten zu Deiner Anfrage passen und wie man sie am besten verknüpft. Die hierfür eingesetzten riesigen Datensätze nennen sich auch Modelle.
Ich will Dir aber nun nicht erklären, wie KI genau funktioniert, sondern Dir zeigen, wie Du eine Software wie ChatGPT auf Deinem eigenen Rechner und offline betreiben kannst. Du kannst GPT4All für Ubuntu / Linux, Windows und macOS installieren und nutzen. Das Programm nimmt die CPU und nicht die GPU. Damit ist es langsamer, aber mit allen Computern kompatibel. Legen wir los.
GPT4All installieren
Ich benutze Linux Mint 21, also ein Derivat von Ubuntu 22.04 LTS und das wird von GPT4All offiziell unterstützt. Hier eine kleine Anleitung, wie Du GPT4All unter Ubuntu installierst und startest.
Das Entwickler-Team weist übrigens darauf hin, dass Du GPT4All möglicherweise selbst kompilieren musst, wenn Du nicht die aktuelle Ubuntu-Version benutzt. Einfach testen und selbst überprüfen.
Time needed: 10 minutes
So schnell kannst Du GPT4All installieren.
- Öffne die Website des Projekts
Zunächst besuchst Du die Website des Projekts. Im oberen Drittel findest Du dann Links für die Installationsprogramme für Linux, Windows und macOS. Die Installation ist für alle drei Betriebssysteme ähnlich, für Ubuntu aber einen Hauch komplexer. Deswegen zeige ich Dir, wie Du GPT4All unter Ubuntu installierst.
- Installer herunterladen
Klickst Du auf die Schaltfläche Ubuntu Installer, lädst Du damit die Date gpt4all-installer-linux.run herunter. Für macOS wäre es eine .dmg-Datei und für Windows eine .exe-Datei. Der Download ist schnell erledigt, da die Datei nur circa 30 MByte groß ist.
- Abhängigkeiten installieren
Unter Ubuntu musst Du noch einige Pakete installieren, damit Du den Installer von GPT4All ausführen kannst – ansonsten gibt es eine Fehlermeldung. Führe auf dem Terminal einfach diesen Befehl aus und folge den Anweisungen: sudo apt install libxcb-xinerama0 libxcb-cursor0
- Installations-Datei ausführbar machen
Unter Windows und macOS kannst Du diesen Schritt überspringen. Unter Linux musst Du die heruntergeladene Datei zunächst ausführbar machen. Hierfür hast Du 2 Optionen. Klicke mit der rechten Maustaste auf die Datei und dann auf Eigenschaften > Zugriffsrechte. Setze hier den Haken bei Datei als Programm ausführen. Alternativ dazu wechselst Du auf der Kommandozeile in den Ordner der Installations-Datei und führst aus: chmod +x ./gpt4all-installer-linux.run
- Starte die Installation
Nun kannst Du die Installation mit einem Doppelklick starten oder via Kommandozeile: ./gpt4all-installer-linux.run. Es öffnest sich ein grafischer Installationsassistent, bei dem Du einfach den Anweisungen folgst. Du gibst hier unter anderem das Installationsverzeichnis an und akzeptierst die Lizenzvereinbarungen.
- Installationsfehler ignorieren
Bei der Installation auf Linux Mint oder Ubuntu gibt es einen Fehler am Ende der Installation. Er besagt, dass das Programm keine Desktop-Verknüpfung anlegen kann. Den Fehler kannst Du einfach ignorieren. Beim Update tritt der Fehler übrigens auch immer auf.
- GPT4All starten
Unter Ubuntu oder Linux Mint wird derzeit keine Verknüpfung im Startmenü angelegt. Du kannst Dir selbst eine Verknüpfung anlegen oder startest GPT4All über die Kommandozeile. Wechsle in den Installationsordner, dann nach bin und führe hier ./chat aus.
Du siehst, dass die Installation unter Linux ein wenig komplexer ist als bei Windows oder macOS, aber schwierig ist sie dennoch nicht.
GPT4All benutzen – Modelle herunterladen
Beim ersten Start kannst Du auswählen, ob Du anonyme Daten mit den Entwicklern teilen möchtest oder nicht. Das musst Du selbst entscheiden. Ebenfalls öffnet sich die Option mit den Modellen, die Du herunterladen kannst.
Du kannst die Seite mit den Modellen auch öffnen, wenn Du links oben auf die drei Balken klickst > Downloads. Direkt von der Website könntest Du die Modelle auch herunterladen, dort gibt es einen Model Explorer. Bequemer ist es aber über den GPT4All-Client.
Die Modelle haben unterschiedliche Spezialitäten. Zudem rate ich Dir, die Beschreibungen sorgfältig zu lesen. Einige Modelle darfst Du kommerziell nutzen und andere nicht – sie sind also nur für die private Nutzung freigegeben.
Die Download-Größen unterscheiden sich ebenfalls. Manche sind 3,5 GByte, andere wiederum circa 8 GByte groß. Natürlich sind die unterschiedlichen Modelle auch unterschiedlich schnell. Ob ein Modell Deine Anforderungen erfüllt oder nicht, findest Du am besten mit eigenen Tests heraus.
Klickst Du auf das Zahnrad oben rechts im Client, kommst Du zu den Einstellungen. Hier kannst Du die jeweiligen Modelle ebenfalls auf Deine Anforderungen anpassen.
Bei den Generation Settings bekommst Du für den jeweiligen Parameter eine Beschreibung, wenn Du mit der Maus drüberfährst. Auch hier experimentierst Du am besten, bist Du ein gewünschtes Ergebnis bekommst.
Du könntest mit GPT4All auch ChatGPT benutzen, benötigst dafür allerdings einen API-Schlüssel.
Den anonymen Chatbot GPT4All konfigurieren
In den Einstellungen darfst Du auch die Anwendung selbst konfigurieren. Hier kannst Du angeben, was das Standard-Modell sein soll, wie viele CPU-Threads die Software benutzen soll und so weiter.
Du kannst hier auch aktivieren, dass Chats auf der Festplatte gespeichert werden sollen oder nicht.
Da sich GPT4All eigentlich noch in den Kinderschuhen befindet, sollte sich hier künftig noch einiges tun, insbesondere bei den Plug-ins.
Updates automatisch
Gibt es eine neue Version, wirst Du darüber in Kenntnis gesetzt und Du kannst direkt und schnell aktualisieren. Das ist einfach. Du musst nur den Anweisungen folgen und mit wenigen Klicks ist das Update oder Upgrade erledigt.
Wie bei der Installation gab es auch hier bei mir den Fehler, dass ein Desktop-Symbol nicht angelegt werden kann. Du kannst das einfach ignorieren.
Was ist der Haken an der Sache?
Der größte Nachteil gegenüber ChatGPT, Google Bard und andere Systeme mit massiver Rechenleistung dahinter ist die Geschwindigkeit bei GPT4All.
Selbst mit einem relativ schnellen Rechner wie meinem Tuxedo Fusion dauert eine Antwort viel länger als bei den proprietären Systemen.
Zudem muss ich die Modelle herunterladen und jedes einzelne davon ist mehrere GByte groß. Wobei die Massenspeicher in modernen Rechnern keine Bremse mehr sein sollten.
Die Vorteile von GPT4All
Es gibt allerdings nicht nur Nachteile, sondern auch einen großen Vorteil. Der Einsatz von GPT4All ist anonym. Bereits anfangs habe ich erwähnt, dass die kommerziellen Anbieter Deine Daten verarbeiten. Das kostenlose Google Bard weist Dich sogar darauf hin.
Klar, ich würde das auch mit Qualitätssicherung verkaufen. 😉
Du benötigst außerdem keine aktive Internetverbindung. Gut, Internetverbindungen sind fast omnipräsent, aber Du kannst den Chatbot GPT4All tatsächlich komplett offline verwenden.
Liegt Deine Priorität auf Anonymität und möchtest Du einen Chatbot offline benutzen, dann ist GPT4All auf jeden Fall besser als ChatGPT, Google Bard und so weiter.
FAQ
Ja, die gibt es. GPT4All ist eine hervorragende Möglichkeit, KI offline und anonym zu benutzen. Du musst Dir nur das gewünschte Modell herunterladen und kannst loslegen.
Jein. ChatGPT wird ja von OpenAI entwickelt und Du kannst es mit Linux benutzen. Suchst Du eine Offline-KI, dann sieh Dir GPT4All an, das Du offline und ohne Internetverbindung nutzen kannst.
Du benötigst für ChatGPT eine aktive Internetverbindung. Möchtest Du ein KI-Tool offline benutzen, sieh Dir GPT4All an.
Naja, also die Plus-Version mit den neuesten Modellen ist nicht kostenlos. Allerdings kannst Du mit GPT4All eine Software wie ChatGPT kostenlos auf Deinem eigenen Computer benutzen.
Möchtest Du GPT4All unter Ubuntu und Derivaten wie Linux Mint installieren, bekommst Du eventuell folgende Fehlermeldung: ./gpt4all-installer-linux.run: error while loading shared libraries: libxcb-xinerama.so.0: cannot open shared object file: No such file or director
In diesem Fall fehlen Abhängigkeiten, die Du einfach nachinstallieren kannst. Führe dazu folgenden Befehl auf der Kommandozeile aus: sudo apt install libxcb-xinerama0 libxcb-cursor0