Eine halbe Million Euro für lokale KI? Warum sich das im Mittelstand nicht rechnet

Was kostet es wirklich, ein KI-Spitzenmodell selbst zu betreiben?

Chris hat in der aktuellen KI-Snack-Folge durchgerechnet, was lokale KI-Infrastruktur kostet. Für ein Modell wie Kimi K3.1 Pro brauchst du etwa 1,7 Terabyte Grafikspeicher und acht Top-GPUs zu je 45.000 bis 55.000 Euro. Als Komplettsystem landest du bei rund einer halben Million Euro, plus Platz und Strom. Das Rack bedient nach seiner Hochrechnung etwa zehn Nutzer gleichzeitig. Für die meisten Unternehmen ist das keine sinnvolle Investition, weil die Hardware verschleißt und der laufende Betrieb teuer bleibt.

Warum 90 Prozent der Aufgaben kein Spitzenmodell brauchen

Manuel schätzt: Für etwa 90 Prozent der Menschen im Büro reicht ein deutlich schwächeres Modell völlig aus. Die Frage aus der Folge lautet: „Für welchen Use Case im normalen Businessalltag brauchst du so ein starkes Modell? Das brauchst du ja in der Regel nicht." Die meisten Aufgaben sind einfach und haben trotzdem riesigen Impact. Ein starkes MacBook oder ein Mac Studio reicht für viele Anwendungsfälle, auch wenn die darauf laufenden Modelle schwächer sind als ChatGPT oder Claude.

Der KI-Tipp aus der Folge: Teste dieselbe Aufgabe einmal mit dem stärksten und einmal mit einem kleineren Modell. Oft siehst du keinen Unterschied und sparst bares Geld.

Welche Alternative zu lokaler KI gibt es für den Mittelstand?

Die drei empfehlen eine Zwischenstufe: Offene Modelle bei einem deutschen Hoster. Dort zahlst du nur die verbrauchten Input- und Output-Tokens, ohne hohe Anfangsinvestition. Du hast keine Hardware-Kosten, keinen Verschleiß und keine Platzprobleme. Für die meisten Unternehmen ist das der wirtschaftlichere Weg als eigene Racks im Keller.

Auch die großen Anbieter machen laut Folge Verlust, weil Hardware-Verschleiß und Stromkosten enorm sind. Wenn selbst diese Unternehmen mit Skaleneffekten kämpfen, ist lokale Infrastruktur für den Mittelstand noch weniger attraktiv.

Mehr zu strategischen KI-Entscheidungen findest du in unserem Bereich KI-Sichtbarkeit.

Warum Datenqualität wichtiger ist als Modellgröße

Ein zentraler Punkt der Folge: Sauber sortiertes Wissen bringt mehr als das größte Modell. Wenn deine Informationen gut aufbereitet und durchsuchbar sind, braucht die KI kein Spitzenmodell für die Antwort. Die These aus der Runde: KI ist dafür da, dass Menschen bei der Dokumentation weiter faul sein können. Trotzdem gilt: Je besser dein Second Brain strukturiert ist, desto präziser arbeitet auch ein kleineres Modell.

Das Jevons-Paradoxon spielt hier eine Rolle: Erst bei steigenden Preisen fangen Unternehmen an zu optimieren. Solange KI-Nutzung billig ist, wird nicht nachgedacht, welches Modell für welche Aufgabe passt.

Softwareentwicklung ist die Ausnahme, nicht die Regel

Bei agentischer Entwicklung mit Copilot oder Claude Code sehen die drei das anders. Hier kann ein stärkeres Modell sinnvoll sein. Die Runde streitet ausdrücklich darüber, ob du für diese Use Cases wirklich das stärkste Modell brauchst. Für den normalen Büroalltag gilt das aber nicht. Chris' Fazit: Für jede Aufgabe die passende Modellstufe finden und ein Lizenzmodell für 2027 bauen.

Microsoft bietet in diesem Zusammenhang 67.000 Mitarbeitenden Abfindungen an. Die Frage aus der Folge: Kommt der Stellenabbau auf alle Konzerne zu? 2027 wird laut der Runde für viele Unternehmen ein spannendes Jahr, weil Entscheidungen aus der Position der Stärke heraus getroffen werden sollten.

Wie du KI strategisch in deinem Unternehmen einsetzt, besprechen wir auch in unserer Werbeagentur in Köln.

Fazit

Lokale Spitzenmodelle rechnen sich für die wenigsten Unternehmen. Kleinere Modelle oder gehostete offene Modelle bei einem deutschen Anbieter sind wirtschaftlicher und reichen für fast alle Büroaufgaben. Entscheidend ist, dass deine Daten sauber abgelegt und gut auffindbar sind. Mehr Praxiswissen zu KI im Mittelstand hörst du täglich im KI-Snack.

Häufige Fragen zu lokaler KI im Unternehmen

Was kostet ein lokales KI-Spitzenmodell wirklich?

Chris rechnet mit rund 1,7 Terabyte Grafikspeicher und acht Top-GPUs zu je 45.000 bis 55.000 Euro. Als Komplettsystem liegt das bei etwa einer halben Million Euro, plus Platz und Strom. Das System bedient rund zehn Nutzer gleichzeitig. Das gilt nicht, wenn du nur kleinere Modelle lokal betreiben willst oder auf Cloud-Lösungen setzt.

Wann lohnt sich lokale KI im Mittelstand?

Laut Folge kaum und höchstens in Ausnahmefällen. Eine sinnvolle Zwischenstufe sind offene Modelle bei einem deutschen Hoster, dort zahlst du nur die verbrauchten Tokens ohne Anfangsinvestition. Das gilt nicht, wenn du aus Datenschutzgründen wirklich keine Cloud nutzen darfst.

Brauchen Büroarbeitsplätze das stärkste KI-Modell?

Nein. Manuel schätzt: Für etwa 90 Prozent der Menschen im Büro reicht ein deutlich schwächeres Modell völlig aus. Wichtiger ist, dass deine Informationen sauber aufbereitet und gut auffindbar sind. Das gilt nicht für spezialisierte Aufgaben wie agentische Softwareentwicklung, wo stärkere Modelle Vorteile bringen können.

Welche Modellgröße reicht für die meisten Aufgaben?

Die Folge empfiehlt, dieselbe Aufgabe mit einem starken und einem kleineren Modell zu testen. Oft siehst du keinen Unterschied und sparst bares Geld. Ein starkes MacBook oder Mac Studio reicht für viele Anwendungsfälle, auch wenn die darauf laufenden Modelle schwächer sind als ChatGPT oder Claude. Das gilt nicht, wenn du hochkomplexe Reasoning-Aufgaben hast.

Warum ist Datenqualität wichtiger als Modellgröße?

Sauber sortiertes Wissen und ein gut strukturiertes Second Brain bringen mehr als das größte Modell. Je besser deine Daten aufbereitet und durchsuchbar sind, desto präziser arbeitet auch ein kleineres Modell. Das gilt nicht, wenn deine Daten chaotisch bleiben, dann hilft auch das beste Modell nicht weiter.