Ouvrir le menu principal

MacGeneration

Recherche

Nvidia lance une carte avec 188 Go de RAM pour accélérer les IA conversationnelles

Pierre Dandumont

vendredi 24 mars 2023 à 13:30 • 23

Matériel

Vous avez dû le voir, les IA conversationnelles comme ChatGPT — la version 4 est arrivée récemment — demandent une très grande puissance de calcul lors de l'entraînement initial. Et surtout, le nombre de paramètres (175 milliards pour les modèles GPT-3) nécessite une quantité de mémoire très élevée. Pour ce type d'usage, Nvidia a donc annoncé la H100 NVL, en indiquant que cette génération est jusqu'à 12x plus rapide que la précédente sur les tâches liées à l'IA.

Le GPU Hopper, présent en double dans la carte.

Une sorte de GPU mais sans sortie vidéo

Techniquement, les cartes de la famille H100 sont des GPU, mais pensés uniquement pour du calcul, sans réelles possibilités d'affichage. La nouvelle carte est un véritable monstre : elle prend quatre emplacements (au sens physique du terme, c'est-à-dire la place de quatre cartes classiques) et nécessite deux emplacements PCI-Express, donc deux connecteurs. En effet, cette carte contient littéralement deux cartes PCI-Express reliées par la technologie NVLink 4, qui offre une bande passante de 600 Go/s.

Tous les détails ne sont pas connus, mais les GPU devraient utiliser la majorité des unités — donc 2x 16 896 — pour une puissance maximale de l'ordre de 135 téraflops (2x 67 téraflops). Elle impressionne surtout sur la mémoire : alors que les autres H100 sont bridées au niveau de la mémoire HBM3, cette version NVL propose (presque) le maximum possible.

188 Go de RAM

Les versions disponibles actuellement se limitent à 80 Go sur un bus 5 120 bits, avec une puce désactivée — sur les six possibles — pour augmenter le rendement. La H100 NVL, elle, contient 2x 94 Go de RAM sur un bus 6 144 bits, pour une bande passante de 3,9 To/s par carte. La raison de la perte de 2 Go sur le maximum théorique n'est pas connue, mais la valeur impressionne tout de même. Le lien NVLink 4 autorise l'unification de la mémoire du point de vue du logiciel, ce qui permet au système de voir une carte avec 188 Go de RAM au total, avec une bande passante cumulée de 7,8 To/s.

On peut évidemment en mettre plusieurs par serveurs.

Le TDP des cartes est élevé et configurable, en fonction de la possibilité de refroidissement du serveur : 350 W ou 400 W par carte, donc jusqu'à 800 W au total.

Ce type de cartes vise évidemment un public très particulier, et si le prix n'est pas connu, il est probablement très élevé compte tenu des choix techniques. La version PCI-Express classique, dotée de 80 Go de RAM dans une variante deux fois moins rapide que la HBM3 choisie ici, se négocie par exemple aux alentours de 28 000 $. Notons enfin que les pénuries de GPU attendues à cause de l'essor des IA ne devraient pas se régler avec ce type de cartes, étant donné la cible et les prix attendus…

L

L'essor des IA pourrait créer une nouvelle pénurie de GPU

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Un dirigeant de Microsoft conseille aux plus de 9 000 employés licenciés de se faire aider par l’IA

04/07/2025 à 22:00

• 33


Apple fait ses emplettes dans les start-up, entre avatars virtuels et monitoring de l’IA

04/07/2025 à 21:00

• 1


Un premier pas vers le jailbreak de la Touch Bar : le système démarre en mode verbose

04/07/2025 à 17:45

• 14


MacBook Air M2 à 750 € ou Mac Studio M2 Max à 1 300 € ? Entre portable et fixe, il faut choisir

04/07/2025 à 15:22

• 21


Un (faux) traceur GPS sur les cartons des MacBook Air, pour dissuader les livreurs de les voler

04/07/2025 à 13:02

• 72


Un site web pour décoder les pages sauvées en .webarchive par Safari

04/07/2025 à 11:00

• 2


Ulanzi présente une station d'accueil au look de petit Mac Pro

04/07/2025 à 10:15

• 16


Promo : une batterie chameau de 27650 mAh capable de recharger Mac et iPhone à 114 € (-56 €)

04/07/2025 à 09:18

• 11


Développeurs : Technotes ajoute des notes de la communauté sur la documentation d’Apple

04/07/2025 à 08:33

• 5


L’iPhone redécolle en Chine, le Mac cartonne aux États-Unis : Apple souffle un peu avant les trimestriels le 31

04/07/2025 à 07:52

• 40


Apple a creusé l’idée de proposer des services de cloud computing aux développeurs pour concurrencer AWS

03/07/2025 à 21:45

• 44


Apple sort des fonds d’écran aux couleurs de son nouvel Apple Store à Osaka

03/07/2025 à 21:00

• 10


Test du ViewSonic ColorPro VP2788-5K : 27″, 5K et DCI-P3 pour le prix d’un demi-Studio Display

03/07/2025 à 20:30

• 10


Guerre commerciale : les produits fabriqués au Vietnam voient leur taxe multipliée par cinq

03/07/2025 à 20:20

• 27


Microsoft Office 2021 pour Mac à 49,99 € : une aubaine à ne pas rater pendant les soldes d’été 📍

03/07/2025 à 20:07

• 0


L’iPhone 17 Pro Max pourrait avoir une grosse batterie de 5 000 mAh

03/07/2025 à 19:50

• 42