로컬 LLM 하드웨어 지형: NVIDIA·AMD·Intel, 용량 다음은 '대역폭'

로컬 LLM용 하드웨어는 메모리 ’용량’만 보지 말고 ’대역폭’을 함께 봐야 한다.

클라우드 API 비용과 데이터 보안 때문에 AI 모델을 내 PC에서 직접 돌리려는 개발자가 늘면서, NVIDIA·AMD·Intel이 각자 다른 방식의 개발자용 장비를 내놓고 있다. 그런데 제품 사양을 나란히 놓으면 눈에 띄는 점이 있다. 메모리가 128GB로 같아도 데이터를 읽어 오는 속도(대역폭)는 제품마다 크게 다르고, 이 속도가 AI가 글자를 만들어 내는 속도를 좌우한다는 점이다.

용어부터 정리하면, VRAM은 그래픽카드 전용 메모리, 통합 메모리는 CPU와 GPU가 한 메모리를 나눠 쓰는 방식이다. 대역폭은 메모리가 데이터를 주고받는 속도(GB/s)이고, 추론은 완성된 모델로 답을 만들어 내는 일이다.

한눈에 보기

제품	메모리	대역폭	보도된 가격
NVIDIA DGX Spark (GB10)	128GB 통합	273GB/s	4,699달러(약 630만 원, 2월 인상)
NVIDIA RTX PRO 6000 Blackwell	96GB VRAM	1,792GB/s	출시 때 약 8,565달러(1,100만 원), 최근 마켓플레이스 16,000달러(약 2,100만 원, 품절)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128GB 통합	이론치 약 256GB/s	3,999달러(약 540만 원, 출시 여부 미확인)
Intel Arc Pro B60 / B70	24GB / 32GB	확인하지 못함	확인하지 못함

가격은 빠르게 변하고 출처마다 다르다. 구매 전에는 공식 사이트와 판매처에서 현재 가격과 재고를 확인해야 한다.

NVIDIA: 둘 다 쓸 수 있지만 성격이 다르다

DGX Spark는 작은 본체 안에 128GB 통합 메모리를 넣은 제품이다. 큰 모델을 통째로 올리기에는 좋지만 대역폭 273GB/s는 애플 M4 Max(약 400GB/s)보다 낮다는 지적이 나온다. 가격은 메모리 공급 부족으로 2월에 3,999달러에서 4,699달러로 올랐다고 전해졌다.
RTX PRO 6000 Blackwell은 일반 PC에 꽂는 96GB 워크스테이션 GPU다. 대역폭이 Spark의 6배를 넘어 같은 모델에서 훨씬 빠르지만 값도 훨씬 비싸다. 이 급은 정해진 권장가가 없어 판매처에 따라 가격이 다르고 최근 크게 올랐다.

AMD: 128GB 통합 메모리, 설정이 관건

AMD는 올해 CES에서 개발자용 미니 PC Ryzen AI Halo를 소개했다. 128GB 통합 메모리를 갖추고 ROCm이 미리 깔려 나온다. 출시는 6월로 예고됐지만 실제 출시 여부는 확인하지 못했다.
같은 칩(Ryzen AI Max+ 395)을 쓰는 PC가 여러 곳에서 나와 있다. 기본값으로는 GPU에 배정되는 메모리가 적어서 직접 설정해야 하고, 윈도우에서는 128GB 중 최대 96GB까지 GPU에 줄 수 있다.
커뮤니티에서는 70B급 이상 모델은 ROCm보다 Vulkan 백엔드가 낫다는 후기도 많다. 이 부분은 블로그 수준의 벤치마크라 자신의 작업으로 직접 비교해 보는 게 좋다.

Intel: 대용량은 서버용, 개발자용은 실험 단계

Intel의 대용량 메모리 제품 Crescent Island는 160GB LPDDR5X를 단 추론용 데이터센터 GPU다. 샘플 공급은 올해 하반기, 일반 출시는 2027년이 거론되며 개인 개발자가 살 제품은 아니다.
개인이 쓸 수 있는 건 Arc Pro B60(24GB)·B70(32GB) 카드다. llama.cpp(SYCL, Vulkan)와 vLLM으로 돌릴 수 있다는 후기가 있지만 드라이버 오류와 메모리 부족 같은 문제를 겪었다는 보고도 함께 있다.
따라서 “Intel이 대용량 통합 메모리 칩셋으로 개발자 시장을 공략한다”는 표현은 현재로서는 맞지 않는다. 개발자가 지금 손에 넣을 수 있는 건 Arc Pro 카드이고, 소프트웨어 쪽에서는 OpenVINO가 llama.cpp 백엔드를 시험 단계로 내놓은 정도다.

개발자에게 달라질 수 있는 것

아래는 보도를 바탕으로 한 추정과 조언이다.

먼저 모델 크기, 다음에 속도. 모델이 메모리에 안 올라가면 속도는 의미가 없다. 쓰려는 모델이 들어가는지 용량부터 보고, 그다음 대역폭을 비교하는 순서가 맞다.
같은 용량이라도 체감은 다르다. 128GB 통합 메모리 제품끼리도, 96GB VRAM 카드와 비교해도 글자가 나오는 속도에서 큰 차이가 난다.
소프트웨어 지원을 확인해야 한다. CUDA가 가장 편하고, ROCm과 Intel(SYCL, OpenVINO)은 후기에 설정 부담이 자주 언급된다. 쓰는 도구(Ollama, llama.cpp, vLLM)가 해당 하드웨어를 지원하는지 먼저 봐야 한다.
가격 변동이 크다. 메모리 공급 부족으로 가격이 올랐다는 보도가 있다. 클라우드 API 비용과 비교할 때 현재 가격과 실제 사용량으로 다시 계산해 보는 게 좋다.

앞으로 볼 것

Ryzen AI Halo의 실제 출시와 가격, Spark 후속 모델과 가격 흐름, Intel Crescent Island의 출시 일정, 그리고 ROCm·OpenVINO 지원 상황이다.

원화 환산은 10월 14일 환율(1달러≈1,341원) 기준의 대략적인 값이다.