KI-Infrastruktur: Was Unternehmen wirklich brauchen — und was sie sich sparen können

Wenn Unternehmen anfangen sich mit KI zu beschäftigen, kommen schnell Fragen nach Hardware: Brauchen wir einen eigenen Server? Müssen wir GPUs kaufen? Wie viel Rechenleistung benötigt ein KI-Modell? Diese Fragen sind verständlich — aber sie gehen am Thema vorbei. Für die meisten KI-Anwendungen die im Mittelstand sinnvoll sind, brauchen Sie keine eigene Infrastruktur. Sie brauchen einen API-Key und eine Kreditkarte.

Der Grund für diesen Irrtum liegt im Medienbild von KI: Berichte über Nvidia-Aktien, Milliarden-Investments in Rechenzentren und GPU-Engpässe erzeugen das Bild dass KI eine Ressourcenfrage ist. Das stimmt — aber nur für die Unternehmen die KI-Modelle trainieren oder für Millionen Nutzer betreiben. Wenn Sie KI nutzen anstatt KI bauen, sieht die Rechnung fundamental anders aus.

Dieser Artikel erklärt die drei Infrastrukturoptionen mit echten Kostenzahlen, zeigt wann sich welche Variante lohnt und räumt mit dem teuersten Irrtum der KI-Einführung auf — dem Kauf von Hardware die dann zu 90% ungenutzt ist.

Option 1 — Cloud-KI-APIs: Sie rufen das Modell über eine Programmierschnittstelle auf, zahlen pro genutzter Anfrage, keine eigene Hardware, keine Wartung. OpenAI, Anthropic (Claude), Google (Gemini) bieten das an. Kosten für 1.000 Textanfragen mittlerer Länge: 0,50 bis 3 Euro, je nach Modell. Das ist die richtige Option für 95% der Mittelstandsanwendungen — Chatbots, Content-Generierung, Dokumentenverarbeitung, Analyse.

Option 2 — Cloud-GPUs (pay-per-use): Sie mieten GPU-Rechenleistung stündlich bei AWS (p3/p4-Instanzen), Azure (NC-Serie), Google Cloud (A100-Instanzen) oder günstigeren Anbietern wie Vast.ai oder RunPod. Sinnvoll wenn Sie eigene Modelle fine-tunen oder mit großen Datenmengen experimentieren möchten. Kosten: 1–8 Euro pro Stunde für eine A100-GPU. Für gelegentliche Experimente völlig ausreichend — Sie zahlen nur was Sie nutzen.

Option 3 — On-Premise GPU-Hardware: Sie kaufen eigene Server mit Nvidia-GPUs (A100: ca. 25.000 Euro, H100: ca. 35.000 Euro pro Karte), betreiben diese im eigenen Rechenzentrum oder Serverraum. Volle Kontrolle über Daten, keine laufenden Cloud-Kosten nach dem Kauf, aber: hohe Investition, Stromkosten, Wartung, Kühlungsaufwand und das Risiko technischer Veralterung. Sinnvoll nur bei dauerhafter hoher Auslastung und strengen Datenschutzanforderungen.

Training ist der Prozess bei dem ein KI-Modell aus Millionen oder Milliarden Datenpunkten lernt und seine Parameter anpasst. Das ist extrem rechenintensiv: Das Training von GPT-4 kostete geschätzte 50–100 Millionen Euro an Rechenzeit. Llama 3 (Meta) benötigte tausende GPUs über Wochen. Das ist kein Mittelstandsprojekt — das ist nicht mal ein Großunternehmensprojekt.

Inferenz ist der Betrieb eines bereits trainierten Modells: Sie geben einen Text ein, das Modell antwortet. Das ist um Größenordnungen günstiger. Eine Anfrage an Claude oder GPT-4 kostet Bruchteile eines Cent. Hundert Anfragen am Tag kosten Sie keinen Kaffee. Das ist der Bereich in dem Mittelständler arbeiten — und hier reicht eine Cloud-API vollständig.

Fine-Tuning liegt dazwischen: Sie nehmen ein bestehendes, bereits trainiertes Modell und trainieren es auf Ihren spezifischen Daten weiter — zum Beispiel auf Ihren Produktkatalog, Ihre Unternehmenssprache oder branchenspezifische Terminologie. Das kostet einige hundert bis einige tausend Euro Rechenzeit, einmalig. Noch günstiger ist RAG (Retrieval Augmented Generation): Das Modell wird nicht verändert, sondern erhält bei jeder Anfrage relevante Dokumente als Kontext mitgeliefert. Das reicht in den meisten Fällen aus und ist ohne GPU-Infrastruktur umsetzbar.