Lokale KI für Einsteiger: Gemma, LM Studio und Ollama
Lokale KI heißt: Das Modell läuft auf deinem Laptop statt im Rechenzentrum. So verstehst du Modell, Hugging Face, LM Studio und Ollama und startest Gemma 4 in wenigen Minuten offline.
ChatGPT und Claude kennt inzwischen fast jeder. Sobald aber Begriffe wie Hugging Face, Ollama oder Quantisierung fallen, klingt lokale KI nach Technikerwelt. Dabei läuft ein brauchbares Modell heute auf einem normalen Laptop, ohne Abo und ohne Internet.
Worum es geht
Lokale KI heißt: Das Modell läuft auf Hardware, die du selbst kontrollierst, also Laptop, Smartphone oder eigener Server. Bei Cloud-KI läuft es im Rechenzentrum von OpenAI, Anthropic oder Google, und du zahlst pro Nutzung. Ein Bild dafür: Mit Cloud-KI bestellst du à la carte und jeder Teller wird abgerechnet, mit lokaler KI gehört dir die Küche. Das Feld besteht aus vier Teilen. Erstens das Modell, also die Datei mit den gelernten Fähigkeiten, zum Beispiel Gemma, Llama, Qwen oder Mistral. Zweitens das Lager, in dem diese Dateien liegen, und das ist vor allem Hugging Face. Drittens die Software, die das Modell ausführt, meistens LM Studio oder Ollama. Und viertens der Ablauf, den du drumherum baust. Ein lokales Modell ist meist etwas schwächer als die besten Cloud-Modelle. Die bessere Frage lautet deshalb: Ist es für diese eine Aufgabe gut genug, und macht es die Sache besser, dass es lokal läuft?
Private Kundendaten, Arbeit ohne Internet und Abläufe, die jeden Tag laufen: Genau da ist ein lokales Modell oft gut genug, kostet nichts pro Anfrage und nimmt im DACH-Raum die Datenschutz-Diskussion vom Tisch.
Wofür du es nutzt
Private Daten auswerten
Kundennotizen, Vertriebsgespräche, Personalakten oder Mandantenunterlagen verlassen deinen Rechner nicht. Im DACH-Raum scheitern viele KI-Projekte genau an dieser Frage, weil Auftragsverarbeitung und Drittlandübermittlung geklärt werden müssen. Ein lokales Modell nimmt das Argument weitgehend vom Tisch, auch wenn der Einzelfall sauber geprüft gehört.
Abläufe, die jeden Tag laufen
Ein Ordner mit Support-Tickets wird zum Wochenbericht, ein Ordner mit PDFs zur Risiko-Checkliste, ein Ordner mit Entwürfen zum Prüfer vor dem Absenden. Bei solchen Wiederholungen zahlst du lokal nichts pro Anfrage, nur Hardware und Strom.
Offline und unterwegs
Wenn die Modelldatei einmal geladen ist, braucht der Chat kein Internet mehr. LM Studio dokumentiert ausdrücklich, dass Chatten, Chatten mit Dokumenten und der lokale Server ohne Verbindung funktionieren.
KI-Video ohne Credits
Mit ComfyUI und einem offenen Videomodell wie Wan erzeugst du Clips auf dem eigenen Rechner. Statt Credits pro Clip kostet dich nur die Rechenzeit, dafür brauchst du eine starke Grafikkarte und Geduld.
So startest du Gemma 4 lokal
Der schnellste Weg: Prompt kopieren, in Claude Code einfügen, Enter. Claude liest die Originalquelle und fragt nach deinem OK, bevor es etwas ändert.
Lies Googles Doku zu Gemma 4: https://ai.google.dev/gemma/docs/core Prüf zuerst Arbeitsspeicher und Grafikkarte meines Rechners und empfiehl mir LM Studio oder Ollama plus die passende Gemma-4-Variante (E2B, E4B oder größer). Richte sie nach meinem OK ein, lade das Modell herunter und starte einen ersten Test-Chat, der komplett lokal läuft.
Noch kein Claude Code? So installierst du es →
Der Einstieg in fünf Schritten
- Variante nach Arbeitsspeicher wählen: Mit 8 GB fängst du bei Gemma 4 E2B an, mit 16 GB bei E4B, ab 32 GB hast du Luft für die 12B-Variante. 26B und 31B sind Workstation-Gebiet. E2B und E4B haben 128.000 Tokens Kontext, die größeren 256.000.
- Für den bequemen Start: LM Studio herunterladen, nach Gemma 4 suchen, die passende Variante laden und einfach chatten. Rechne bei E4B je nach Format mit rund 7 bis 10 GB Download.
- Für alle, die bauen wollen: Ollama installieren,
ollama run gemma4eingeben. Ohne Zusatz holt Ollama die E4B-Variante, gezielt geht es mitollama run gemma4:e2bodergemma4:12b. Danach antwortet das Modell auch überhttp://localhost:11434, damit deine eigenen Skripte und Apps es nutzen können. - Ersten echten Test machen: Ein paar Kundennotizen einfügen und um ein einseitiges Memo bitten, mit wiederkehrenden Beschwerden, wörtlichen Zitaten, wahrscheinlicher Ursache und der einen Sache, die diese Woche getestet werden sollte. Dabei das WLAN ausschalten.
- Einen Ablauf bauen statt nur zu chatten: Einen Ordner anlegen, zehn echte Arbeitsdateien hineinlegen und das Modell genau eine wiederverwendbare Datei schreiben lassen, zum Beispiel einen wöchentlichen Geschäftspuls. Zehnmal laufen lassen, Prompt verbessern, fertig ist dein erster lokaler Workflow.
Gut zu wissen
- Auf Hugging Face lohnt es sich, eine einzige Modellkarte langsam zu lesen. Wofür ist das Modell gedacht, wie groß ist es, welche Lizenz hat es, kann es Text, Bilder oder Werkzeuge, und gibt es GGUF-Dateien dazu? Damit verliert das Feld schnell seinen Schrecken.
- Quantisierung ist Kompression für Modelle. Q4 läuft leichter, Q8 behält mehr Qualität und braucht mehr Speicher. Für den Anfang ist Q4 der vernünftige Startpunkt. GGUF ist das gängige Dateiformat dafür.
- Neben den Chat-Modellen gibt es spezialisierte Gemma-Varianten: EmbeddingGemma für Suche nach Bedeutung in eigenen Dokumenten, FunctionGemma für Werkzeugaufrufe, PaliGemma für Bildverständnis und ShieldGemma für Sicherheitsprüfungen.
- Wer ein Modell in eine eigene App einbauen will, landet bei Google AI Edge und LiteRT-LM. Das ist die Laufzeit für Sprachmodelle direkt auf dem Gerät, auf Android, iOS, im Web, auf dem Desktop und sogar auf dem Raspberry Pi.
- Bei Qwen und DeepSeek aus China lohnt die Unterscheidung: Offene Gewichte lokal ausführen ist etwas anderes, als Daten an einen gehosteten Dienst zu schicken. Mistral sitzt in Paris, was für europäische Einkäufer ein Argument sein kann.
- Der Aufbau, der sich bewährt: lokal für den ersten Durchgang mit privaten Daten, die Cloud für schwere Denkarbeit an einer bereinigten Version, und ein Mensch gibt frei, bevor etwas Wichtiges rausgeht. Mehr zu Ollama selbst steht im Guide Ollama: offene KI-Modelle lokal nutzen.