Matériel pour LLM en local : NVIDIA, AMD et Intel — après la capacité, la bande passante

Pour choisir du matériel destiné aux LLM en local, il faut regarder la bande passante mémoire, pas seulement la capacité.

Le coût des API cloud et les préoccupations de sécurité des données poussent de plus en plus de développeurs à faire tourner des modèles d’IA sur leur propre machine, et NVIDIA, AMD et Intel proposent chacun du matériel pour développeurs sous une forme différente. En mettant les caractéristiques côte à côte, un point ressort : deux produits peuvent avoir 128 Go de mémoire et pourtant différer beaucoup par la vitesse à laquelle ils la lisent (la bande passante), et c’est cette vitesse qui détermine en grande partie la rapidité avec laquelle l’IA produit du texte.

Quelques termes d’abord. La VRAM est la mémoire dédiée d’une carte graphique. La mémoire unifiée signifie que le CPU et le GPU se partagent une même mémoire. La bande passante est la vitesse à laquelle la mémoire déplace les données (Go/s). L’inférence consiste à utiliser un modèle terminé pour produire des réponses.

En un coup d’œil

Produit	Mémoire	Bande passante	Prix rapporté
NVIDIA DGX Spark (GB10)	128 Go unifiée	273 Go/s	4 699 $ (environ 4 200 euros, augmenté en février)
NVIDIA RTX PRO 6000 Blackwell	96 Go de VRAM	1 792 Go/s	environ 8 565 $ (7 700 euros) au lancement, récemment 16 000 $ (environ 14 000 euros) sur la place de marché (en rupture)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 Go unifiée	environ 256 Go/s (théorique)	3 999 $ (environ 3 600 euros, disponibilité non confirmée)
Intel Arc Pro B60 / B70	24 Go / 32 Go	non trouvée	non trouvé

Les prix évoluent vite et varient selon les sources. Avant d’acheter, vérifiez le prix actuel et le stock sur le site officiel et chez les revendeurs.

NVIDIA : les deux fonctionnent, mais ce n’est pas la même chose

Le DGX Spark loge 128 Go de mémoire unifiée dans un petit boîtier. Il convient bien pour charger de gros modèles en entier, mais sa bande passante de 273 Go/s est critiquée comme inférieure à celle de l’Apple M4 Max (environ 400 Go/s). Son prix serait passé de 3 999 $ à 4 699 $ en février en raison de tensions sur l’approvisionnement en mémoire.
La RTX PRO 6000 Blackwell est un GPU de station de travail de 96 Go qui se branche dans un PC classique. Sa bande passante est plus de six fois celle du Spark : un même modèle tourne bien plus vite, mais elle coûte aussi bien plus cher. Cette catégorie n’a pas de prix catalogue fixe : les prix dépendent du vendeur et ont fortement grimpé récemment.

AMD : 128 Go de mémoire unifiée, la configuration est le point délicat

À la CES cette année, AMD a présenté le mini-PC pour développeurs Ryzen AI Halo, avec 128 Go de mémoire unifiée et ROCm préinstallé. Il était annoncé pour juin, mais nous n’avons pas pu confirmer qu’il est effectivement sorti.
Des PC d’autres fabricants utilisent la même puce (Ryzen AI Max+ 395). Par défaut, peu de mémoire est attribuée au GPU et il faut la configurer ; sous Windows, on peut lui donner jusqu’à 96 Go sur 128 Go.
Dans la communauté, on lit souvent que le backend Vulkan fonctionne mieux que ROCm pour les modèles de 70B et plus. Cela vient de benchmarks de niveau blog : le mieux est de comparer soi-même sur sa propre charge de travail.

Intel : la grande mémoire est pour les serveurs, les produits pour développeurs sont expérimentaux

Le produit à grande mémoire d’Intel, Crescent Island, est un GPU d’inférence pour centres de données avec 160 Go de LPDDR5X. Les échantillons sont attendus au second semestre de cette année et la disponibilité générale en 2027 : ce n’est pas un produit qu’un développeur individuel achètera.
Les particuliers peuvent utiliser les cartes Arc Pro B60 (24 Go) et B70 (32 Go). Des utilisateurs rapportent les avoir fait fonctionner avec llama.cpp (SYCL, Vulkan) et vLLM, mais aussi des erreurs de pilote et des manques de mémoire.
L’idée qu’Intel viserait les développeurs avec des puces à grande mémoire unifiée ne correspond donc pas à la situation actuelle. Ce que les développeurs peuvent se procurer aujourd’hui, ce sont les cartes Arc Pro, et côté logiciel, OpenVINO ne propose qu’un backend llama.cpp en préversion.

Ce qui pourrait changer pour les développeurs

Ce qui suit est notre estimation et nos conseils à partir des informations disponibles.

D’abord la taille du modèle, ensuite la vitesse. Si le modèle ne tient pas en mémoire, la vitesse n’a pas d’importance. Vérifiez la capacité par rapport au modèle visé, puis comparez la bande passante.
Même capacité, ressenti différent. Même entre produits à 128 Go de mémoire unifiée, et face à une carte de 96 Go de VRAM, la vitesse d’affichage du texte peut beaucoup varier.
Vérifier la prise en charge logicielle. CUDA est le plus simple ; les retours sur ROCm et Intel (SYCL, OpenVINO) évoquent souvent un effort de configuration. Assurez-vous que vos outils (Ollama, llama.cpp, vLLM) prennent en charge le matériel.
Les prix fluctuent. Des informations indiquent que la pénurie de mémoire a fait monter les prix. Pour comparer avec les coûts d’API cloud, refaites le calcul avec les prix actuels et votre usage réel.

À suivre

La sortie effective et le prix du Ryzen AI Halo, les successeurs du Spark et l’évolution des prix, le calendrier de Crescent Island chez Intel, et l’état de la prise en charge de ROCm et d’OpenVINO.

La conversion en euros suit le taux du 14 octobre (1 dollar ≈ 0,89 euro) et est arrondie.