Hardware para LLM locales: NVIDIA, AMD e Intel — tras la capacidad, el ancho de banda

Al elegir hardware para LLM locales, conviene mirar el ancho de banda de la memoria y no solo su capacidad.

El coste de las API en la nube y las preocupaciones por la seguridad de los datos empujan a más desarrolladores a ejecutar modelos de IA en sus propios equipos, y NVIDIA, AMD e Intel ofrecen cada una hardware para desarrolladores con un enfoque distinto. Al poner las especificaciones lado a lado, algo destaca: dos productos pueden tener 128 GB de memoria y, aun así, diferir mucho en la velocidad a la que la leen (el ancho de banda), y esa velocidad determina en buena medida lo rápido que la IA produce texto.

Primero, unos términos. La VRAM es la memoria dedicada de una tarjeta gráfica. La memoria unificada significa que la CPU y la GPU comparten una misma memoria. El ancho de banda es la velocidad a la que la memoria mueve datos (GB/s). La inferencia es usar un modelo ya terminado para generar respuestas.

De un vistazo

Producto	Memoria	Ancho de banda	Precio informado
NVIDIA DGX Spark (GB10)	128 GB unificada	273 GB/s	4.699 $ (unos 4.200 euros, subió en febrero)
NVIDIA RTX PRO 6000 Blackwell	96 GB de VRAM	1.792 GB/s	unos 8.565 $ (7.700 euros) en el lanzamiento, recientemente 16.000 $ (unos 14.000 euros) en el marketplace (agotada)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 GB unificada	unos 256 GB/s (teórico)	3.999 $ (unos 3.600 euros, disponibilidad sin confirmar)
Intel Arc Pro B60 / B70	24 GB / 32 GB	no encontrado	no encontrado

Los precios cambian rápido y difieren según la fuente. Antes de comprar, comprueba el precio y la disponibilidad actuales en el sitio oficial y en los minoristas.

NVIDIA: ambos sirven, pero son cosas distintas

La DGX Spark mete 128 GB de memoria unificada en una caja pequeña. Es buena para cargar modelos grandes completos, pero su ancho de banda de 273 GB/s se critica por ser inferior al del Apple M4 Max (unos 400 GB/s). Su precio habría subido de 3.999 $ a 4.699 $ en febrero por la escasez de suministro de memoria.
La RTX PRO 6000 Blackwell es una GPU de estación de trabajo de 96 GB que se instala en un PC normal. Su ancho de banda es más de seis veces el de la Spark, así que el mismo modelo corre mucho más rápido, pero cuesta bastante más. Esta clase de tarjeta no tiene un precio de lista fijo: los precios dependen del vendedor y han subido con fuerza últimamente.

AMD: 128 GB de memoria unificada, la configuración es el problema

En el CES de este año, AMD presentó el mini PC para desarrolladores Ryzen AI Halo, con 128 GB de memoria unificada y ROCm preinstalado. Se anunció para junio, pero no pudimos confirmar que ya se haya lanzado.
Equipos de otros fabricantes usan el mismo chip (Ryzen AI Max+ 395). Por defecto se asigna poca memoria a la GPU y hay que configurarla; en Windows se pueden dar hasta 96 GB de los 128 GB.
En la comunidad se dice a menudo que, para modelos de 70B o más, el backend Vulkan funciona mejor que ROCm. Eso viene de pruebas de nivel blog, así que lo mejor es comparar con tu propia carga de trabajo.

Intel: la gran memoria es para servidores, lo de desarrolladores es experimental

El producto de gran memoria de Intel, Crescent Island, es una GPU de inferencia para centros de datos con 160 GB de LPDDR5X. Se esperan muestras en la segunda mitad de este año y disponibilidad general en 2027, así que no es algo que un desarrollador individual vaya a comprar.
Lo que sí pueden usar los particulares son las tarjetas Arc Pro B60 (24 GB) y B70 (32 GB). Hay usuarios que informan de que funcionan con llama.cpp (SYCL, Vulkan) y vLLM, junto con errores de controlador y falta de memoria.
Por eso, la idea de que Intel apunte a los desarrolladores con chips de gran memoria unificada no encaja hoy. Lo que los desarrolladores pueden conseguir ahora son las tarjetas Arc Pro, y en software OpenVINO solo ofrece un backend de llama.cpp en versión preliminar.

Qué podría cambiar para los desarrolladores

Lo que sigue es nuestra estimación y consejo a partir de los informes.

Primero el tamaño del modelo, luego la velocidad. Si el modelo no cabe en memoria, la velocidad no importa. Comprueba la capacidad frente al modelo que quieres ejecutar y después compara el ancho de banda.
Misma capacidad, sensación distinta. Incluso entre productos de 128 GB de memoria unificada, y frente a una tarjeta de 96 GB de VRAM, la velocidad a la que aparece el texto puede variar mucho.
Comprueba la compatibilidad del software. CUDA es lo más cómodo; los informes sobre ROCm e Intel (SYCL, OpenVINO) suelen mencionar esfuerzo de configuración. Asegúrate de que tus herramientas (Ollama, llama.cpp, vLLM) admiten el hardware.
Los precios fluctúan. Hay informes de que la escasez de memoria ha encarecido los productos. Al comparar con el coste de las API en la nube, vuelve a calcular con los precios actuales y tu uso real.

Qué vigilar

El lanzamiento real y el precio del Ryzen AI Halo, los sucesores de la Spark y la evolución de los precios, el calendario de Crescent Island de Intel y el estado de la compatibilidad con ROCm y OpenVINO.

La conversión a euros sigue el tipo de cambio del 14 de octubre (1 dólar ≈ 0,89 euros) y está redondeada.