Whisper lokal nutzen: Audio und Video offline transkribieren

Mit Whisper kannst Du Interviews, Vorträge, Meetings und Videos auf dem eigenen Computer in Text umwandeln. Nach dem Download von Programm und Modell muss die Datei bei einer lokalen Installation nicht in eine Cloud hochgeladen werden. Für einen schnellen Einstieg eignet sich die Desktop-App Buzz. Für wiederholbare Batch-Läufe passen das offizielle OpenAI-Whisper-Paket oder schnelle Varianten wie whisper.cpp und faster-whisper.

Dieser Guide konzentriert sich auf normale Transkripte und zeigt drei Wege. Wenn Du aus einem Video fertig getimte SRT-Untertitel erzeugen und danach im Editor verbessern möchtest, ist der eigene Subtitle-Edit-Workflow die passendere Vertiefung.

Was Whisper lokal bedeutet

Whisper ist ein frei verfügbares Spracherkennungsmodell von OpenAI. Es erkennt zahlreiche Sprachen, kann die gesprochene Sprache automatisch bestimmen, in Text umwandeln und in bestimmten Modi ins Englische übersetzen. Die Modelle laufen nicht eigenständig: Du benötigst eine Laufzeit, die Audio vorbereitet, das Modell ausführt und das Resultat exportiert.

„Lokal“ gilt nur für den tatsächlichen Workflow. Beim ersten Start werden Software und meist mehrere hundert MByte bis einige GByte Modelldaten aus dem Internet geladen. Einige Apps bieten zusätzlich Onlineübersetzungen oder Cloudmodelle an. Prüfe deshalb Engine und Optionen, bevor Du vertrauliche Aufnahmen bearbeitest.

Die Grundidee kennst Du vielleicht von GPT4All als lokaler ChatGPT-Ersatz oder unserem Guide zu Stable Diffusion auf dem eigenen Rechner: Modell und Berechnung liegen lokal, dafür trägst Du selbst Verantwortung für Hardware, Updates und Daten.

Modell auswählen: klein anfangen

Die offizielle Whisper-Dokumentation listet für viele Sprachen die Größen tiny, base, small, medium und large sowie das schnelle turbo-Modell. Größere Modelle brauchen mehr Arbeitsspeicher oder VRAM und rechnen länger, können aber bei schwieriger Sprache genauer sein. Das Tempo hängt stark von CPU, GPU, Laufzeit, Quantisierung und Aufnahme ab.

Die Werte sind eine Orientierung für die echte Variante und keine Garantie für jede App. Quantisierte whisper.cpp-Modelle können andere Namen tragen. Beginne mit small und einem fünfminütigen Ausschnitt. Wechsle nur dann zu medium oder turbo, wenn die Testfehler wirklich abnehmen.

Weg 1: Buzz als grafische Oberfläche

Buzz wandelt Audio und Video unter Windows, macOS und Linux in Text um. Das Projekt bietet Importe, verschiedene Whisper-Backends und Exporte nach TXT, SRT und VTT. Wer keine Python-Umgebung pflegen will, findet hier den leichtesten Einstieg.

1. Lade Buzz von der offiziellen Projektseite oder dem verlinkten GitHub-Release.
2. Installiere die App und öffne eine unkritische Testdatei.
3. Wähle eine lokale Whisper-Engine und zunächst das Modell small.
4. Setze die Sprache auf Deutsch, wenn die Aufnahme überwiegend deutsch ist.
5. Wähle „Transcribe“ statt „Translate“.
6. Exportiere das Ergebnis als TXT für Fließtext oder SRT/VTT für Zeitstempel.

Buzz kann nach dem manuellen Übertragen der benötigten Modelle auch auf einem Rechner ohne Internetverbindung arbeiten. Prüfe vor sensiblen Daten trotzdem die ausgewählte Engine; die App unterstützt mehrere Backends und zusätzliche Funktionen können sich ändern.

Weg 2: OpenAI Whisper in einer Python-Umgebung

Das Original braucht Python und das Kommandozeilenwerkzeug FFmpeg. Nutze eine virtuelle Umgebung, damit Whisper-Pakete nicht mit anderen Python-Projekten kollidieren.

Unter Ubuntu oder Linux Mint:

sudo apt update
sudo apt install python3-venv ffmpeg
python3 -m venv ~/venvs/whisper
source ~/venvs/whisper/bin/activate
python -m pip install --upgrade pip
python -m pip install -U openai-whisper

Unter Windows installierst Du ein aktuell unterstütztes Python und FFmpeg. Mit py -m venv erstellst Du auch dort eine virtuelle Umgebung und aktivierst sie in PowerShell. Die genaue FFmpeg-Installation hängt vom Paketmanager ab. Prüfe danach mit ffmpeg -version, ob das Programm im Suchpfad liegt.

Ein deutsches Interview lässt sich so in Text wandeln:

whisper interview.mp3 \
  --model small \
  --language German \
  --task transcribe \
  --output_format all \
  --output_dir transkript

Beim ersten Lauf wird das Modell heruntergeladen. --output_format all erzeugt mehrere Formate, darunter Klartext und Untertiteldateien. Wenn Du nur ein Textdokument brauchst, verwende txt. Die Sprachvorgabe vermeidet Fehlentscheidungen bei kurzen Ausschnitten; bei mehrsprachigen Aufnahmen kann die automatische Erkennung sinnvoller sein.

Weg 3: whisper.cpp ohne große Python-Umgebung

whisper.cpp ist eine C/C++-Portierung von Whisper. Das Projekt unterstützt viele Plattformen, CPU-Start, GPU-Backends und quantisierte Modelle. Die Einrichtung besteht grob aus Kompilieren oder Installieren, Modell laden und Audiodatei an whisper-cli übergeben.

Beachte die Eingabeanforderung der verwendeten Beispielanwendung. Das Repository des Projekts weist darauf hin, dass whisper-cli derzeit 16-Bit-WAV erwartet. Mit FFmpeg wandelst Du eine MP3-Datei oder Videotonspur passend um:

ffmpeg -i interview.mp3 -ar 16000 -ac 1 -c:a pcm_s16le interview.wav

Danach startest Du die gebaute CLI mit dem heruntergeladenen Modell. Namen von Binärdateien und Modellpfaden können sich zwischen Releases ändern; nimm den aktuellen Befehl aus dem README des Projekts, nicht aus einem Jahre alten Blogpost.

Wann faster-whisper sinnvoll ist

faster-whisper implementiert Whisper mit CTranslate2 und unterstützt unter anderem 8-Bit-Quantisierung auf CPU und GPU. Das Projekt berichtet in seinen eigenen Benchmarks von bis zu vierfacher Tempo gegenüber openai/whisper bei gleicher Genauigkeit und geringerem Speicherverbrauch. Diese Zahl ist kein universelles Versprechen: Beam-Größe, Threads, Hardware und Wortfehlerrate müssen für einen fairen Vergleich identisch sein.

Für ein einzelnes Interview ist eine fertige GUI meist schneller eingerichtet. Wenn Du regelmäßig viele Dateien bearbeitest, Sprechersegmente in eine Pipeline übergibst oder GPU-Auslastung prüfen möchtest, lohnt sich faster-whisper.

Audio vorbereiten, ohne es kaputtzufiltern

Whisper verarbeitet viele Formate über FFmpeg. Eine vorherige Umwandlung ist beim Original selten nötig. Verbessern kannst Du vor allem die Quelle: deutliche Stimmen, wenig Hall, keine übersteuerte Aufnahme und möglichst wenig gleichzeitig sprechende Personen.

Schneide lange Stille oder irrelevante Teile verlustarm heraus, bevor stundenlange Modelle laufen. Dafür eignet sich etwa LosslessCut zum schnellen Schneiden von Audio und Video. Aggressive Rauschunterdrückung kann Sprachdetails entfernen; vergleiche einen kurzen Ausschnitt vor und nach der Bearbeitung.

Transkript prüfen: diese Fehler sind typisch

Eine plausible Formulierung ist nicht automatisch korrekt. Whisper kann Namen, Produktbezeichnungen und Zahlen durch ähnlich klingende Wörter ersetzen oder nicht gehörte Phrasen erzeugen. Prüfe deshalb mindestens:

• Eigennamen, Orte, Domains und Fachbegriffe
• Zahlen, Währungen, Daten und Uhrzeiten
• Negationen wie „nicht“ und „kein“
• Sprecherwechsel und überlappende Stimmen
• unverständliche Passagen statt erfundener Ergänzungen
• Beginn und Ende automatisch segmentierter Sätze

Für journalistische Zitate musst Du immer zur Originalaufnahme zurückgehen. Markiere Unsicherheiten mit Zeitstempel und höre sie gezielt nach. Ein größeres Modell kann Fehler reduzieren, ersetzt aber keine Quellenkontrolle.

Datenschutz und Aufbewahrung

Lokale Verarbeitung verhindert den nötigen Audio-Upload zu einem Transkriptionsdienst. Auf dem Rechner entstehen dafür neue sensible Dateien: Rohaufnahme, Modellcache, temporäres Audio und Transkript. Speichere sie verschlüsselt, begrenze Zugriffsrechte und lösche Arbeitskopien nach dem Projekt.

Bei Meetings und Interviews gelten außerdem Einwilligung, Arbeitsrecht und Datenschutz unabhängig vom verwendeten Tool. „Offline“ macht eine heimliche Aufnahme nicht erlaubt. Wenn Du die Tonausgabe unter Linux selbst aufnehmen willst, zeigt unser älterer Guide das Mitschneiden der Soundkarte unter Linux; prüfe bei fremden Inhalten stets Rechte und Nutzungsbedingungen.

Häufige Probleme

FFmpeg wird nicht gefunden

Führe ffmpeg -version in einem neuen Terminal aus. Unter Windows muss der Ordner der Binärdatei im PATH liegen; unter Linux fehlt meist das Paket.

Die Transkription dauert länger als die Aufnahme

Nutze ein kleineres Modell, eine quantisierte Laufzeit oder passende GPU-Beschleunigung. Miss mit demselben Ausschnitt, statt Marketingwerte verschiedener Optionen zu vergleichen.

Whisper übersetzt ins Englische

Setze die Aufgabe auf transcribe. Der Modus translate erzeugt bei passenden Modellen englischen Text.

Die Ausgabe enthält Wiederholungen

Stille, Musik und schlechte Segmente können Halluzinationen fördern. Schneide lange Stille, gib die Sprache vor und teste eine andere Laufzeit oder Modellgröße. Ersetze unklare Stellen nicht ungeprüft durch plausiblen Text.

Fazit

Für die erste lokale Transkription ist Buzz der einfachste Weg. Die OpenAI-CLI ist transparent und gut reproduzierbar, whisper.cpp passt zu kompakten CPU-Setups und faster-whisper zu größeren Pipelines. Beginne mit dem small-Modell und einer kurzen Datei, gib Deutsch ausdrücklich vor und plane immer einen Korrekturdurchgang ein.