# 엔비디아 락인 깬다, 클라우드 3사의 자체 추론 칩 경쟁

> 마이크로소프트 Maia 300, 구글 TPU v6, AWS Trainium2를 중심으로 빅테크의 자체 추론 칩 경쟁이 격화되고 있다. 훈련에서 추론으로 이동한 AI 인프라 지형과 토큰 단가 전쟁의 배경을 분석한다.

- URL: https://roobrief.com/ko/posts/cloud-custom-ai-inference-chips
- Language: ko
- Published: 2026-10-29T02:20:00.000Z
- Tags: hardware, ai
- Source: https://semianalysis.com/2026/10/hyperscaler-custom-silicon-inference-economics

**엔비디아의 높은 마진과 데이터센터 전력 한계를 극복하기 위해, 빅테크 클라우드 3사가 자체 맞춤형 추론 칩을 앞세운 '토큰 단가 치킨게임'에 돌입했다.**

마이크로소프트가 TSMC 2nm 공정과 차세대 HBM4 규격의 288GB HBM(AI 가속기 바로 옆에 붙여 데이터를 아주 빠르게 주고받는 메모리)을 탑재한 3세대 맞춤형 AI 가속기 'Azure Maia 300'을 공개하면서, 대형 클라우드 기업들의 자체 실리콘 경쟁이 새로운 국면에 진입했다. 구글의 6세대 TPU '트릴리움(Trillium)'과 아마존웹서비스(AWS)의 '트레이니엄2(Trainium2)'에 이어 마이크로소프트까지 최첨단 공정의 자체 칩을 전면에 배치한 것이다.

생성형 AI 초기에는 모델을 학습시키는 '훈련'이 핵심이었기에 엔비디아 GPU를 확보하는 것만이 지상 과제였다. 그러나 일상적인 서비스 서빙이 중심이 된 2026년 현재, 클라우드 기업들의 지출 중 70% 이상이 '실시간 추론'에 쏠리면서 대형 클라우드 기업들의 자체 칩 전략도 훈련에서 추론으로 급격히 재편되고 있다. 추론은 완성된 모델로 답을 만들어 내는 일이다.

## 왜 클라우드 빅테크들은 훈련이 아닌 '추론 칩'에서 독립을 시도하나

엔비디아의 CUDA(엔비디아의 GPU 계산 도구) 소프트웨어 생태계는 훈련 단계에서는 난공불락의 해자로 작동하지만, 실시간 추론에서는 이야기가 다르다. 최종 사용자와 개발자는 REST나 gRPC 기반의 표준 API 뒤에서 토큰(AI가 글을 읽고 쓰는 단위로, 단어를 잘게 나눈 조각)을 호출할 뿐, 데이터센터 백엔드에서 엔비디아 GPU가 도는지 전용 실리콘이 도는지 알 필요가 없다. 엔비디아의 소프트웨어 락인을 우회하기가 훨씬 쉬운 구조다.

하드웨어 효율성 차이도 결정적이다. 범용 그래픽 연산과 고정밀도 부동소수점 블록을 모두 갖춘 상용 GPU와 달리, 맞춤형 추론 칩은 저정밀도 행렬 연산과 메모리 전송 속도(KV-Cache 읽기)에만 집중할 수 있다. 불필요한 연산 회로를 걷어내면 칩 제조 원가와 소비 전력을 대폭 낮출 수 있다.

여기에 전 세계 데이터센터가 맞닥뜨린 '전력 공급 한계'가 맞물렸다. 사용 가능한 전력량(메가와트)이 물리적으로 제한된 상황에서, 동일한 전력으로 얼마나 많은 토큰을 뽑아내는가(전력당 토큰 생산량)가 클라우드 사업자의 영업이익률과 직결된다.

## 마이크로소프트 Maia 300, 구글 TPU v6, AWS Trainium2의 3사 하드웨어 차별점

| 클라우드 사업자 | 자체 가속기 | 주요 하드웨어 제원 | 주력 활용 전략 |
| :--- | :--- | :--- | :--- |
| **구글 (GCP)** | **TPU v6 (Trillium)** | 32GB HBM, 3세대 SparseCore, v5e 대비 에너지 효율 67% 개선 | 제미나이·구글 검색 서빙 및 GCP 고객사 인스턴스 공급 |
| **AWS** | **Trainium2 / Inferentia2** | 96GB HBM, 8개 NeuronCore-v3, NeuronLink 인터커넥트 | 앤트로픽 대규모 클러스터 및 EC2 외부 고객 판매 |
| **마이크로소프트 (Azure)** | **Azure Maia 300** | TSMC 2nm, 288GB HBM4(18 TB/s), 랙당 96개 칩 수랭식 구성 | M365 코파일럿·깃허브 코파일럿 등 자사 서비스 서빙 원가 절감 |

마이크로소프트의 **Azure Maia 300**은 가장 공격적인 최첨단 공정으로 직행했다. TSMC N2P(2나노미터급) 공정 칩렛에 288GB의 HBM4 메모리를 탑재했다. 랙당 96개 칩을 수랭식으로 묶어 상용 GPU 대비 메가와트당 토큰 생산량을 40% 끌어올렸다. 외부 판매보다 코파일럿 등 자사 서비스 원가 절감에 집중하는 것이 특징이다.

구글의 **TPU v6**(Trillium)은 2015년부터 축적된 가장 성숙한 전용 칩 생태계다. 이전 세대 대비 에너지 효율을 67% 개선하고 3세대 스파스코어(SparseCore)를 내장해 거대 임베딩과 추천 모델 처리에 강점을 보인다. 제미나이(Gemini)와 구글 검색을 뒷받침하는 동시에 애플, 앤트로픽 등 주요 클라우드 고객에게 대규모 인스턴스로 공급된다.

AWS의 **Trainium2**는 96GB HBM과 8개의 뉴런코어(NeuronCore-v3)를 갖췄다. 자체 인터커넥트 기술인 뉴런링크(NeuronLink)를 통해 대규모 노드로 확장되며, 앤트로픽과의 대규모 클러스터 구축 파트너십을 통해 외부 엔터프라이즈 워크로드를 흡수하고 있다.

## 추론 칩 경쟁이 엔비디아 독점과 개발자 API 가격에 가져올 변화

빅테크의 자체 실리콘이 상용화되더라도 엔비디아 GPU 수요가 하루아침에 사라지는 것은 아니다. 파운데이션 모델의 대규모 사전 훈련과 민첩한 연구 개발에서는 여전히 엔비디아 클러스터가 핵심 축을 담당한다.

하지만 인프라 비중의 대다수를 차지하는 상시 추론 워크로드가 자체 칩으로 분산되면, 엔비디아가 누려온 70% 이상의 초고마진 체제에는 균열이 불가피하다.

개발자 관점에서는 긍정적인 신호다. 클라우드 3사가 자체 실리콘으로 토큰 서빙 원가를 절감하기 시작하면, 모델 호출 API 가격 인하나 더 넉넉한 무료 쿼터 제공 같은 단가 경쟁으로 이어지기 때문이다.

## 앞으로 볼 것

칩 하드웨어 성능만큼이나 오픈소스 모델 서빙 엔진과 AI 컴파일러 계층의 소프트웨어 최적화 속도가 각 사 실리콘의 실제 점유율을 가를 전망이다.

2027년 마이크로소프트의 Maia 300 기가와트 단위 양산 배치가 본격화될 때, 클라우드 3사의 토큰당 비용 격차가 얼마나 벌어질지가 장기 인프라 패권의 가늠자가 될 것이다.

## 출처

- [Azure Maia 300 Architecture Deep Dive](https://azure.microsoft.com/blog/azure-maia-300-architecture-deep-dive)
- [Google Cloud Trillium 6th Gen TPU](https://cloud.google.com/blog/products/compute/introducing-trillium-6th-gen-tpu)
- [AWS Trainium2 General Availability](https://aws.amazon.com/blogs/aws/announcing-general-availability-of-aws-trainium2)
- [SemiAnalysis Hyperscaler Custom Silicon Inference Economics](https://semianalysis.com/2026/10/hyperscaler-custom-silicon-inference-economics)