Schluss mit Nvidias Monopol: Das Rennen um eigene KI-Inferenzchips
Um Nvidias hohe Margen und die Stromlimits der Rechenzentren zu umgehen, liefern sich die großen drei Cloud-Anbieter einen Preiskampf mit maßgeschneiderten Inferenzchips.
Mit der Vorstellung des Azure Maia 300 – Microsofts maßgeschneidertem KI-Beschleuniger der dritten Generation auf Basis von TSMCs 2-nm-Prozess und 288 GB HBM (Speicher, der neben dem KI-Chip gestapelt ist und Daten viel schneller überträgt) der Generation HBM4 – erreicht der Wettlauf um eigenes Silizium unter großen Cloud-Konzernen eine neue Phase. Nach Googles sechster TPU-Generation „Trillium“ und AWS Trainium2 rollt nun auch Microsoft eigene Chips im Multi-Gigawatt-Maßstab aus.
In der Anfangsphase der generativen KI war das Modelltraining die beherrschende Priorität; der Zugriff auf Nvidia-GPUs galt als überlebenswichtig. Ende 2026 dominiert jedoch das laufende Serving: Mehr als 70 % der KI-Ausgaben von Cloud-Anbietern fließen in die Echtzeit-Inferenz (mit einem fertigen Modell Antworten zu erzeugen). Dieser Wandel zwingt die Betreiber zu einer Neuausrichtung ihrer Hardware-Strategie.
Warum Cloud-Giganten bei Inferenzchips statt beim Training auf Unabhängigkeit setzen
Nvidias CUDA (Nvidias GPU-Rechenwerkzeug) bleibt beim Modelltraining eine kaum einnehmbare Festung. Bei der Echtzeit-Inferenz gelten jedoch andere Gesetze: Entwickler und Anwender rufen Token (ein kleines Textstück, etwa ein Wortteil, das KI-Modelle lesen und schreiben) über standardisierte REST- oder gRPC-APIs ab. Welcher Chip die Anfragen im Hintergrund verarbeitet, ist für sie unerheblich. Ein Software-Lock-in lässt sich auf der Inferenzebene daher viel leichter umgehen.
Auch die Hardware-Effizienz spricht für Spezialisierung. Während kommerzielle GPUs für aufwendige Grafikroutinen und hochpräzise Fließkommaberechnungen ausgelegt sind, konzentrieren sich dedizierte Inferenzchips rein auf Matrizenmultiplikationen mit geringer Bitbreite und maximale Speicherübertragungsraten für das Auslesen des KV-Caches. Das Weglassen überflüssiger Schaltungen senkt die Fertigungskosten und den Stromverbrauch drastisch.
Hinzu kommt der weltweite Engpass bei der Energieversorgung von Rechenzentren. Da die verfügbare Megawatt-Leistung physikalisch gedeckelt ist, bestimmt die Ausbeute an Token pro Megawatt (Token pro Watt) direkt die operative Marge der Betreiber.
Hardware-Vergleich: Microsoft Maia 300, Google TPU v6 und AWS Trainium2
| Cloud-Anbieter | Eigener Beschleuniger | Wichtigste Hardware-Daten | Primäre Einsatzstrategie |
|---|---|---|---|
| Google (GCP) | TPU v6 (Trillium) | 32 GB HBM, SparseCore der 3. Generation, 67 % effizienter als v5e | Gemini, Google-Suche und GCP-Instanzen für Kunden wie Apple und Anthropic |
| AWS | Trainium2 / Inferentia2 | 96 GB HBM, 8x NeuronCore-v3, NeuronLink-Verbund | Riesige Anthropic-Cluster und EC2-Instanzen für Unternehmenskunden |
| Microsoft (Azure) | Azure Maia 300 | TSMC 2 nm, 288 GB HBM4 (18 TB/s), 96 Chips pro wassergekühltem Rack | Senkung der Serving-Kosten für M365 Copilot, GitHub Copilot und Azure OpenAI |
Microsofts Azure Maia 300 wagt den aggressivsten Fertigungssprung: Die N2P-Compute-Dies (2-nm-Klasse) von TSMC werden mit 288 GB HBM4-Speicher kombiniert. Vollständig wassergekühlte Racks mit je 96 Beschleunigern liefern 40 % mehr Token pro Megawatt als gängige GPU-Systeme. Microsoft zielt damit vor allem auf die Senkung interner Betriebskosten ab.
Googles TPU v6 (Trillium) baut auf Erfahrungen auf, die bis 2015 zurückreichen. Der Chip verbessert die Energieeffizienz gegenüber der Generation v5e um 67 % und integriert einen SparseCore der dritten Generation für Empfehlungs- und Embedding-Modelle. Er treibt Gemini und die Google-Suche an und steht Unternehmenskunden auf der Google Cloud Platform bereit.
AWS setzt bei Trainium2 auf 96 GB HBM und acht NeuronCore-v3-Einheiten. Über das hauseigene NeuronLink-Gewebe lassen sich die Beschleuniger zu extrem dichten Clustern vernetzen, die über Partnerschaften mit Anbietern wie Anthropic große Teile des Marktes abdecken.
Was der Inferenzchip-Wettbewerb für Nvidia und Entwicklerpreise bedeutet
Kommerzielle GPUs verschwinden keineswegs. Für das Vortraining riesiger Basismodelle und schnelle Forschungszyklen bleiben Nvidia-Cluster das unangefochtene Rückgrat der Branche.
Wenn jedoch das gewaltige Volumen der täglichen Inferenzlasten auf hauseigenes Silizium abwandert, geraten Nvidias astronomische Bruttomargen von über 70 % unausweichlich unter Druck.
Für Entwickler ist das ein spürbarer Vorteil: Können Cloud-Anbieter die Auslieferungskosten pro Token um 30 bis 50 % senken, schlägt sich dieser Kostenvorteil zwangsläufig in günstigeren API-Tarifen und großzügigeren Gratis-Kontingenten nieder.
Was künftig wichtig wird
Neben den reinen Hardware-Kennzahlen entscheidet vor allem die Software-Reife über den Erfolg: Wie nahtlos binden Compiler-Treiber etablierte Open-Source-Serving-Engines und Modell-Laufzeiten an?
Sobald Microsofts Maia 300 im Jahr 2027 im Multi-Gigawatt-Maßstab in den Rechenzentren hochfährt, wird sich zeigen, wer das beste Verhältnis aus Rechenleistung, Strombedarf und Kosten pro Token liefert.
Quellen
Quelle: semianalysis.com