Ollama einrichten: Lokale KI Schritt für Schritt ohne Cloud

Was Ollama ist und warum es relevant ist

Ollama ist eine Open-Source-Plattform, die große Sprachmodelle lokal auf dem eigenen Rechner betreibbar macht. Für Unternehmen ist das aus mehreren Gründen interessant: Erstens bleibt jede Eingabe lokal – kein Prompt und keine Antwort verlässt das eigene Netzwerk, was besonders relevant ist, wenn vertrauliche Kundendaten, interne Strategiepapiere oder personenbezogene Informationen verarbeitet werden. Zweitens fallen keine laufenden API-Kosten an – lokale Modelle laufen nach der einmaligen Einrichtung kostenfrei. Drittens funktioniert lokale KI vollständig offline, egal ob im Zug, in einer gesicherten Produktionsumgebung oder ohne stabile Internetverbindung.

Ollama unterstützt heute eine breite Palette leistungsfähiger Modelle: Llama 3 von Meta (stark bei Reasoning und Texterstellung), Mistral (kompakt, schnell, gut für Zusammenfassungen), Phi-3 von Microsoft (sehr effizient auf schwächerer Hardware), Gemma von Google (gut balanciert) und CodeLlama speziell für Entwicklungsaufgaben.

Systemvoraussetzungen für den Einstieg

• Arbeitsspeicher (RAM): 8 GB reichen für kleine Modelle wie Phi-3 mini oder Llama 3.2 in der kompakten Variante – brauchbar, aber nicht herausragend. 16 GB RAM sind der komfortable Einstieg für 7B-Modelle mit guter Qualität. 32 GB und mehr ermöglichen größere Modelle mit deutlich besseren Ergebnissen.
• GPU (optional, aber empfohlen): Eine dedizierte Grafikkarte mit eigenem Speicher beschleunigt die Inferenz erheblich; ohne GPU läuft Ollama über die CPU – langsamer, aber funktional.
• Betriebssystem: macOS (Apple-Silicon-Chips profitieren besonders durch gemeinsamen Speicher für CPU und GPU), Linux (beste Leistung auf Server-Systemen) und Windows (vollständig unterstützt, leicht reduzierte Performance gegenüber Linux).
• Festplattenspeicher: Modelle belegen je nach Größe zwischen rund 2 GB und mehr als 20 GB. Eine SSD ist Pflicht – mechanische Festplatten sind zu langsam für das Laden der Modelle.

Installation Schritt für Schritt

1. Ollama herunterladen: Besuchen Sie ollama.com und laden Sie den Installer für Ihr Betriebssystem herunter – für Windows und macOS ein klassisches Installationspaket, für Linux ein Shell-Skript. 2. Installieren und starten: Der Installer läuft unter Windows und macOS automatisch, Ollama startet danach als Hintergrunddienst und stellt eine lokale API unter http://localhost:11434 bereit. 3. Erstes Modell herunterladen: Im Terminal ausführen: ollama pull llama3 – das Modell wird heruntergeladen und lokal gespeichert. Für schwächere Hardware eignet sich die kompaktere Variante ollama pull llama3.2 besser. 4. Im Terminal testen: Mit ollama run llama3 startet eine Konversation direkt im Terminal; mit /bye beenden Sie die Sitzung. 5. Open WebUI für eine Browser-Oberfläche installieren: Wer nicht im Terminal arbeiten möchte, installiert Open WebUI, eine Chat-Oberfläche ähnlich wie bei Cloud-Anbietern, die sich mit dem lokalen Ollama verbindet – Installation üblicherweise per Docker, danach erreichbar im Browser. 6. Modell für den Anwendungsfall wählen: Für allgemeine Texterstellung und Zusammenfassungen Llama 3 oder Mistral 7B, für Code-Aufgaben CodeLlama, für ressourcenschwache Hardware Phi-3 mini. 7. In Workflows einbinden über API: Ollama stellt eine REST-API bereit, die mit der OpenAI-API kompatibel ist – bestehende Tools lassen sich häufig mit einem einzigen URL-Wechsel auf das lokale Modell umleiten.

Welches Modell für welchen Anwendungsfall?

• Llama 3 (8B): guter Allrounder für Texte, Zusammenfassungen und Frage-Antwort-Aufgaben, empfohlen ab 16 GB RAM.
• Mistral (7B): besonders stark bei Code-Generierung und strukturierten Ausgaben, ebenfalls ab 16 GB RAM.
• Phi-3 mini: für schwächere Hardware ab etwa 8 GB RAM.
• Größere, quantisierte Modelle: nahe an der Qualität führender Cloud-Modelle, erfordern aber deutlich mehr Arbeitsspeicher oder eine starke GPU.

Typische Anwendungsfälle in Unternehmen

• Interne Wissensdatenbank: Dokumente lokal indexieren und per KI durchsuchen (RAG-Setup)
• Datenschutzsensible Verarbeitung von Kundentexten ohne externe API-Aufrufe
• Offline-Entwürfe: E-Mails, Angebote und Berichte ohne Internetzugang erstellen
• Code-Review und Dokumentation für Entwickler-Teams ohne Cloud-Abhängigkeit
• Support-Vorbereitung: FAQ-Antworten und Textbausteine intern generieren

Grenzen und Einschränkungen

Lokale KI ersetzt nicht die leistungsfähigsten Cloud-Modelle bei komplexem Reasoning, langen Kontext-Analysen oder kreativen Aufgaben. Weitere Einschränkungen: kein Zugriff auf aktuelle Informationen aus dem Internet, auf Standard-Hardware ohne GPU spürbar langsamer als Cloud-Dienste, sehr große Modelle benötigen High-End-Hardware, und neue Modellversionen müssen manuell heruntergeladen werden. Für die meisten Büro-Anwendungsfälle reichen 7B- bis 8B-Modelle jedoch vollständig aus.

Wann lokale KI die richtige Wahl ist

Lokale KI ist die richtige Entscheidung, wenn Datenschutz nicht verhandelbar ist, wenn das Volumen der KI-Anfragen eine relevante Budgetgröße bei Cloud-Anbietern wird, wenn Offline-Fähigkeit gewünscht ist oder wenn die Aufgaben klar definiert und wiederholbar sind. Cloud-KI bleibt die bessere Wahl, wenn maximale Qualität bei komplexen Aufgaben entscheidend ist, wenn multimodale Fähigkeiten benötigt werden oder wenn das Team ohne technische Hürden sofort starten soll. Viele Unternehmen fahren mit einem hybriden Ansatz am besten: lokale Modelle für sensible Standardaufgaben, Cloud-KI für anspruchsvolle Einzelaufgaben.