KI-Infrastruktur: Was Unternehmen wirklich brauchen — und was sie sich sparen können

Der Infrastruktur-Irrtum, der Geld kostet

Wenn Unternehmen anfangen, sich mit KI zu beschäftigen, kommen schnell Fragen nach Hardware: Brauchen wir einen eigenen Server? Müssen wir GPUs kaufen? Diese Fragen sind verständlich, gehen aber am Thema vorbei. Für die meisten KI-Anwendungen, die im Mittelstand sinnvoll sind, brauchen Sie keine eigene Infrastruktur — Sie brauchen einen API-Key.

Der Irrtum entsteht durch das Medienbild von KI: Berichte über Milliarden-Investments in Rechenzentren und GPU-Engpässe erzeugen das Bild, KI sei vor allem eine Ressourcenfrage. Das stimmt — aber nur für Unternehmen, die KI-Modelle trainieren oder für Millionen Nutzer betreiben. Wenn Sie KI nutzen statt KI zu bauen, sieht die Rechnung fundamental anders aus.

Die drei Infrastrukturoptionen im Vergleich

Option 1 — Cloud-KI-APIs: Sie rufen das Modell über eine Programmierschnittstelle auf, zahlen pro genutzter Anfrage, ohne eigene Hardware und ohne Wartung. OpenAI, Anthropic (Claude) und Google (Gemini) bieten das an. Kosten für 1.000 Textanfragen mittlerer Länge: etwa 0,50 bis 3 Euro, je nach Modell. Das ist die richtige Option für rund 95 Prozent der Mittelstandsanwendungen — Chatbots, Content-Generierung, Dokumentenverarbeitung, Analyse.

Option 2 — Cloud-GPUs pay-per-use: Sie mieten GPU-Rechenleistung stündlich bei AWS, Azure, Google Cloud oder günstigeren Anbietern wie Vast.ai oder RunPod. Sinnvoll, wenn eigene Modelle fine-getunt oder mit großen Datenmengen experimentiert werden soll. Kosten: etwa 1 bis 8 Euro pro Stunde für eine leistungsstarke GPU — Sie zahlen nur, was Sie nutzen.

Option 3 — On-Premise GPU-Hardware: eigene Server mit Nvidia-GPUs kaufen (Größenordnung: 25.000 bis 35.000 Euro pro Karte), betrieben im eigenen Rechenzentrum oder Serverraum. Volle Kontrolle über die Daten, keine laufenden Cloud-Kosten nach dem Kauf, aber hohe Investition, Stromkosten, Wartung, Kühlungsaufwand und Risiko technischer Veralterung. Sinnvoll nur bei dauerhaft hoher Auslastung und strengen Datenschutzanforderungen.

Wann welche Infrastruktur die richtige Wahl ist

• Cloud-API (OpenAI, Claude, Gemini): für Chatbots, Content, Analyse — kein Budget für Hardware, schneller Start, keine IT-Abteilung nötig
• Cloud-GPU mietweise (Vast.ai, RunPod): für Experimente mit eigenen Modellen, Fine-Tuning, Einmal-Projekte — flexibel und günstig
• Cloud-GPU bei Hyperscalern (AWS, Azure, GCP): für produktive Anwendungen, die skalieren müssen und ein SLA benötigen
• On-Premise GPU-Server: nur wenn täglich mehrere Stunden GPU-Bedarf bestehen UND Datenschutzanforderungen die Cloud ausschließen
• Lokale CPU-Inferenz (Ollama, LM Studio): für sensible Daten, kleinere Modelle, Entwicklerumgebungen
• Hybrid: Cloud-API für Standard, On-Premise für sensible Daten — der pragmatische Mittelweg für regulierte Branchen
• SaaS-KI-Tools (Jasper, Copy.ai u. Ä.): wenn keine technische Integration nötig ist — niedrigstes technisches Risiko

Training vs. Inferenz: der Unterschied, den viele nicht kennen

Training ist der Prozess, bei dem ein KI-Modell aus Millionen oder Milliarden Datenpunkten lernt und seine Parameter anpasst — extrem rechenintensiv und kein Mittelstandsprojekt. Inferenz ist der Betrieb eines bereits trainierten Modells: Sie geben einen Text ein, das Modell antwortet. Das ist um Größenordnungen günstiger — eine Anfrage an ein aktuelles Modell kostet Bruchteile eines Cents. Das ist der Bereich, in dem Mittelständler arbeiten, und hier reicht eine Cloud-API vollständig.

Fine-Tuning liegt dazwischen: Ein bestehendes, bereits trainiertes Modell wird auf eigenen Daten weiter trainiert — etwa auf den Produktkatalog oder die Unternehmenssprache. Das kostet einige hundert bis einige tausend Euro Rechenzeit, einmalig. Noch günstiger ist Retrieval Augmented Generation (RAG): Das Modell wird nicht verändert, sondern erhält bei jeder Anfrage relevante Dokumente als Kontext mitgeliefert. Das reicht in den meisten Fällen aus und ist ohne GPU-Infrastruktur umsetzbar.

Infrastrukturentscheidung in 5 Schritten

1. Anwendungsfall definieren: Was soll die KI konkret tun — Texte schreiben, Fragen beantworten, Dokumente analysieren, Bilder erkennen? Ohne klaren Anwendungsfall ist jede Infrastrukturentscheidung verfrüht. 2. Datenschutz-Anforderungen klären: Öffentliche Informationen und anonymisierte Texte können problemlos an Cloud-APIs gesendet werden; personenbezogene Daten, Gesundheitsdaten oder Geschäftsgeheimnisse erfordern eine DSGVO-konforme Lösung — europäische Anbieter mit AVV oder lokale Infrastruktur. 3. Volumen schätzen: Bis rund 10.000 Anfragen täglich sind Cloud-APIs fast immer günstiger als eigene Hardware; erst bei dauerhaft hohem Volumen und hoher Auslastung kann eigene Hardware wirtschaftlich werden — vorher durchrechnen. 4. Mit Cloud-API starten: die günstigste und schnellste Option testen, Qualität und tatsächliche Kosten beim eigenen Nutzungsvolumen messen, Datenschutzprobleme identifizieren. Erst wenn die Cloud-API messbar nicht ausreicht, wechseln. 5. Skalierungspfad definieren: KI-Infrastruktur entwickelt sich schnell, Modelle werden günstiger und leistungsfähiger — in 12-Monats-Zyklen planen, statt einmalig und endgültig zu entscheiden.

Der GPU-Kauf-Irrtum — ein konkretes Beispiel

Ein mittelständisches Logistikunternehmen kaufte zwei Nvidia-A100-Karten für 50.000 Euro, um KI-Modelle lokal zu betreiben. Nach zwölf Monaten lag die durchschnittliche Auslastung bei 8 Prozent. Die gleichen Anwendungen hätten über Cloud-APIs rund 2.400 Euro pro Jahr gekostet — der Payback des Hardware-Kaufs wäre erst nach rund 20 Jahren erreicht. Hardware sollte nur gekauft werden, wenn die Auslastungs-Kalkulation vorher schriftlich vorliegt.

Kostenloser Einstieg ohne Risiko

OpenAI, Anthropic und Google bieten alle kostenloses API-Guthaben zum Testen an. Nutzen Sie das für einen echten Pilot mit eigenen Daten und Anwendungsfällen. Nach vier Wochen wissen Sie, was die KI-Nutzung im eigenen Betrieb monatlich kostet — ohne Hardware-Risiko und ohne langfristige Bindung.