L'essor des IA pourrait créer une nouvelle pénurie de GPU
Depuis quelques années, le marché des cartes graphiques a un problème de pénurie. Les raisons sont multiples et vont de l'essor des cryptomonnaies à une demande en forte hausse à cause des différents confinements ou de la sortie de consoles… et ce n'est pas fini. En effet, la montée en force des IA amène une demande assez élevée sur ce marché.
Un entraînement coûteux, un déploiement qui l'est encore plus
Un article de Forbes s'intéresse en effet aux coûts de ces technologies, et il est astronomique. La création des données employées par ChatGPT (l'entraînement) aurait nécessité environ 10 000 cartes graphiques Nvidia, un volume déjà conséquent. Mais une estimation sur le nombre de GPU exigé pour fournir les réponses aux utilisateurs donne le tournis : si Google devait recourir à des GPU pour répondre aux requêtes via l'IA, il faudrait un peu plus de 4 000 0001 de cartes graphiques A100, qui se négocient aux alentours de 20 000 € (dès 15 000 € pour la version 40 Go, si le cœur vous en dit). Le total dépasserait les 100 milliards de dollars, dont une bonne partie retomberait dans les poches de Nvidia.
Les NPU ne règlent pas les choses
L'article de Forbes évoque les expérimentations dans le domaine des NPU — Neural Processing Unit, les puces dédiées aux calculs liés à l'IA — comme celles présentes dans les iPhone depuis quelques années. Sur le papier, le développement des NPU permet une meilleure efficacité que les GPU car ils sont pensés pour un usage précis. En effet, même les cartes les plus haut de gamme de Nvidia ne réservent qu'une partie des transistors à cet usage et gardent des fonctions liées aux calculs classiques. Mais en pratique, les cartes graphiques conservent l'avantage d'une puissance élevée — une puce Nvidia A100 atteint 624 TOPs contre 17 pour un A16 — et la généralisation des TPU risque d'amener le même problème de pénurie.
De fait, les pénuries de composants ne sont pas attachées au type de produits directement, mais plutôt aux capacités de production. Pour un volume identique chez les grands fondeurs2, fabriquer des GPU ou des NPU ne change pas réellement la donne. Si une partie de l'offre part vers les NPU plutôt que les GPU ou si une partie des GPU part vers les serveurs, le résultat est à peu près le même sur le marché : il y a moins de cartes graphiques dans les étals.
La question principale, à laquelle il est difficile de répondre, vient de la manière dont les grands noms du secteur vont déployer les technologies. Selon SemiAnalysis, Google a par exemple utilisé des modèles moins étendus pour Bard, probablement pour réduire les coûts.
Article intéressant, mais je pense que si pénurie il doit y avoir, elle concernera les cartes dédiées aux professionnels (calcul scientifique, modélisation,…) et non les cartes gaming ou « grand public ».
@Ensearque
Dans un premier temps mais faute de mieux ça peut rapidement migrer vers des cartes grand publique.
@Ensearque
les cartes grands public sont facilement détournées vers des usages pros
pour le bitcoin, les gpus grands public n'étaient pas stricto-senso adapté au besoin, mais faute de mieux ou de budget, elles font quand même le job, donc il y a eu des achats massifs de ces modèles. Et pénurie pour la personne qui débarque après, pour acheter UNE carte pour son jeux vidéo.
Merci pour cet article super intéressant 🙂.
Question de néophyte : l’article parle de NPU. Est ce qu’il existe des cartes NPU dédiées qui ne font que ça dans un ordinateur ?
Autant dans les smartphones, c’est une partie de la puce du téléphone qui est dédiée au NPU. Pour les ordinateurs, on parle tout le temps de processeur CPU et carte graphique GPU, mais je n’ai encore jamais vu un article qui parlait d’une carte NPU dédiée?🙂
Comme l’article le mentionne, les GPU ne dédient qu’une petite partie aux calculs de l’IA. Du coup est ce qu’une grosse carte (type carte graphique dédiée) mais qui ne ferait « que » NPU, ça existe?
Désolé pour cette question un peu naïve 🙂.
Bonne journée à tous et bonne saint Valentin aussi hein 😋
@cecile_aelita
Bonjour, un NPU n’excelle que dans les taches d’apprentissage. Or, pour avoir un entraînement efficace, il est nécessaire de pre-traiter les données en amont. Le pré-traitement est généralement une tâche ou on effectue des calculs ou la complexité peut varier énormément en fonction du type de donnée. C’est pour cette raison que l’on utilise des GPU. On utilise en amont leur grande capacité à paralléliser des calculs complexes pour ensuite diriger les résultats vers les NPU.
@Ensearque
Merci pour ce complètement d’info (très technique pour moi 😅).
Mais est ce que du coup, il ne pourrait pas y avoir les 2 cartes en parallèle sur un ordinateur ? Pour utiliser le meilleur au meilleur moment.
Avoir une grosse carte graphique quand c’est préférable d’utiliser cette carte et une grosse carte 100% dédiée à l’IA quand c’est préférable ?🙂
@cecile_aelita
C’est possible mais on perdrai en efficacité, et gagnerai en consommation énergétique.
L’un est complémentaire de l’autre. Après, les cartes sont dimensionnées en fonction des besoins. Il existe des cartes avec des GPU puissant et des NPU restreints, et des cartes avec des NPU aussi voir plus efficace que les cœur GPU.
@Ensearque
D’accord !
Du coup si je comprends bien votre message. Les NPU des iPhones ne font pas mieux le travail d’IA omniprésent sur iOS, mais ils le font juste de manière moins energivore ?🙂
@cecile_aelita
Je ne connais pas l’architecture des SoC d’Apple, mais oui ils sont moin energivores. Je ne saurais dire s’il sont plus puissant que les GPU.
@Ensearque
D’accord ! Bah merci pour toutes ces infos en tout cas 🙂!
Je me coucherai moins idiote ce soir 😜
@ cecile_aelita : « Mais est ce que du coup, il ne pourrait pas y avoir les 2 cartes en parallèle sur un ordinateur ? Pour utiliser le meilleur au meilleur moment. »
Il ne faut pas oublier un truc lorsqu’on parle d’ajouter des cartes dans un ordinateur : la lenteur (relative) de la communication par le bus PCIe. Du coup, si plusieurs cartes devaient travailler successivement sur les mêmes données, les performances de l’ensemble pâtiraient de la lenteur des échanges d’une étape à l’autre.
C’est l’avantage d’une architecture intégrée comme ce qu’Apple a choisi pour ses M1 et M2 : les diverses parties (CPU, GPU, NPU) accèdent à la même mémoire, et à grande vitesse. En contrepartie, on perd la modularité que permet le principe des cartes d’extensions.
@BeePotato
Merci pour votre complément d’informations 🙂
@cecile_aelita
Bonjour Cécile, pour faire du NLP, il est préférable d'avoir un NUP !
Je sais c'est un pléonasme !
C'est comme si j'écrivais :
Pour afficher une image il faut une CG !
On peut faire du NLP sur GPU ou CPU.
Mais dans le cas du CPU on a franchement l'impression de discuter avec quelqu'un qui se trouve sur la Lune au mieux, voire sur Mars !
C'est trop lent…
😁
@cecile_aelita,
Hi Cecilia,
Your wish is my command !
https://www.nvidia.com/fr-fr/data-center/a100/
@Scooby-Doo
Ah bah oui ça existe du coup🙂!
Merci pour l’info !
Oui depuis un moment par contre on est dans des prix dépassant largement le prix d'une station de travail haut-de-gamme !
Par exemple :
NVIDIA DGX Station A100 (320 GB) OEM-NVD-A101 $149,000 + $22,500 service fee + $1000 shipping costs. Alternative pricing is available for academic institutions, available on enquiry.
GPU memory: 320 GB total
GPUs: 4x NVIDIA A100 80 GB GPUs
Performance: 2.5 petaFLOPS AI5 petaOPS INT8
Software: Ubuntu Linux OS
Il faut compter au total dans l'exemple donné en référence un budget de 175 000 US$.
Et c'est pour une unité !
😁
PS: c'est un modèle avec cluster de A-100 c'est pour celà que ça pique…
@Scooby-Doo
Finalement c’est pas cher Apple en fait 🤭!
Désolé j’étais obligée de la faire 🤭😋
@cecile_aelita,
« Finalement c’est pas cher Apple en fait 🤭!
Désolé j’étais obligée de la faire 🤭😋 »
Il ne faut pas être désolée de le faire !
Je partage votre point de vue.
Vous aurez toujours des grognons sur n'importe quel forum.
Les utilisateurs de produits Apple ne savent pas la chance qu'ils ont d'avoir des équipements avec un excellent rapport qualité-prix / puissance de calcul / consommation d'énergie.
Merci ARM mais pas que.
👍
@Scooby-Doo
J’ai toujours eu que des produits Apple donc je ne peux pas faire la comparaison 🙂
@cecile_aelita,
Comparaison n'est pas raison !
Satisfaction est une bonne raison.
Si vous êtes satisfaite de vos équipements Apple, pourquoi changer ?
En plus Apple, ce n'est pas que matériel, c'est un écosystème complet.
Beaucoup l'adopte uniquement pour Mac OS, d'autres parce qu'ils ont un iPhone ou un iPad…
Le choix, c'est la liberté !
👍
@Scooby-Doo
Oui oui évidement mais vous parliez de « qualité prix ».
J’aurais pu peut être avoir quelque chose qui m’aurait satisfait tout autant vu mes besoins pour beaucoup moins cher 🙂. Mon message allait dans ce sens !
@cecile_aelita,
« J’aurais pu peut être avoir quelque chose qui m’aurait satisfait tout autant vu mes besoins pour beaucoup moins cher. »
Tout se discute lorsqu'on aborde le délicat sujet du rapport qualité-prix !
À quoi fait-on référence quand on parle qualité ?
Qualité des composants ?
Qualité de construction / assemblage ?
Qualité du design interne et externe ?
Qualité du service avant-vente et après-vente ?
Qualité de la disponibilité et de la logistique ?
À quoi fait-on référence quand on parle prix ?
Prix d'achat ?
Coût de possession ?
Prix / durabilité ?
Prix d'achat / prix de revente ?
Prix des pièces détachées ou réparation ?
Et puis il y a aussi une donnée immatérielle :
Satisfaction globale !
Au vu de tous ces paramètres, je me garderais bien d'émettre un jugement.
🤞
@Scooby-Doo
Je ne contredis aucun de vos points🙂. Je dis juste que chacun à ses usages qui lui sont propre.
Donc il faut tester pour savoir … l’avis d’un test extérieur même d’un professionnel ne reflétera jamais ses propres usages 🙂.
J’en ai fait l’affaire plus d’une fois ici ….
Si je m’étais écoutée et pas l’avis des gens ici … je ne serais pas sur iOS 16 aujourd’hui …et cela aurait bien mieux valu pour mes usages 🙂
@Scooby-Doo
Un rapport qualité-prix est extrêmement subjectif, en effet.
Tout dépend où l’accent est mis.
Cela dit, pour beaucoup de monde (une majorité je dirais), et un usage pour ainsi dire classique, donc loin de nombres de personnes sur ce forum, Apple reste cher.
Alors que l’on peut faire tout la même chose pour la moitié, voir le tiers du prix d’un matériel Apple, Apple est cher.
La qualité, c’est un sujet très complexe. La qualité peut prendre bien des formes comme tu l’expliques très bien.
Apple, donne satisfaction à certains, et pas à d’autres. Par exemple, je n’accroche toujours pas à MacOS.
Il y a des usages pour lesquels un Mac sera à recommander, mais c’est des domaines bien particuliers.
Il est vrai que la qualité des matériaux semble supérieure chez apple, un finish plus exigeant. Mais au final, quand on voit la durée de vie des appareils chez certains, c’est beaucoup du luxe.
Je fais simplement une constatation personnelle. Et bien évidemment je vois des choses avec ma perception. Alors que d’autres verront cela d’un autre point de vue.
@Sillage
+ 1
Belle analyse. Je suis d’accord avec vos propos🙂
@cecile_aelita
🙏🤝☺️
@sillage,
« Apple, donne satisfaction à certains, et pas à d’autres. Par exemple, je n’accroche toujours pas à MacOS. »
Je peux comprendre votre position concernant Mac OS mais regardons dans le détail une application qui me manque terriblement sur Windows :
Automator !
Sur Windows il existe un « équivalent » à Automator, c'est notamment AutoIt.
Mais voilà dans les faits :
1. Automator est une merveille de productivité, de simplicité d'utilisation, et permet à tout un chacun de créer des scripts conditionnels pour des personnes ne maîtrisant pas la programmation.
C'est élégant et utile. Parfaitement intégré dans Mac OS.
2. AutoIt ressemble de très loin et essaye d'accomplir les mêmes objectifs sans y arriver.
C'est lourd, complexe, avec une interface des années 90, et il manque beaucoup trop de fonctions pour rivaliser avec Automator.
Cela a le mérite d'exister mais ce n'est ni intégré dans Windows (une application tierce à installer) ni élégant par son interface ni aussi facile et pratique d'utilisation !
Résultat :
Automator est disponible de suite. Peut réaliser des tâches répétitives sans effort ni connaissance particulièrement. L'interface est intuitive.
AutoIt doit être installé. Il faut savoir que ça existe. L'interface est contre intuitive !
Et on pourrait prendre d'autres exemples.
Apple a quand même un sens du détail et un raffinement de l'expérience utilisateur qui est au-dessus de Microsoft.
Après Microsoft progresse aussi mais bon, ils sont en retard sur des fonctions somme toute basiques !
👍
@Scooby-Doo
Le but de mon commentaire est dans la suite de dire que beaucoup de gens (la plupart sûrement) sont des utilisateurs basiques. Et Apple est un luxe.
Dans le cas de Automator, c’est vrai que c’est pas mal. J’ai utiliser une fois pour créer un raccourci pour Netflix sur MacOS (suivi un tuto). Sans connaissance, ce n’est pas si accessible. Mais il est simple de trouver des tutoriels.
Autolt, je ne connaissais pas.
Apple et MacOS répondent à vos besoins, et c’est bien.
Dans mon entourage, ceux qui ont un mac, 1 est photographe et n’utilise que les logiciels de retouche photo (donc Automator, c’est du chinois pour lui), et un autre est vraiment Le geek power user. Tous les autres, c’est regarder YouTube, ouvrir des pages web, et écrire des lettres. Ça se limite à ça.
Ici, nous sommes beaucoup de passionnés (bien oui à notre façon), donc nous ne sommes clairement pas représentatif.
Je comprends votre usage, et chacun a ses habitudes sur un système ou un autre.
Il faut aussi reconnaître, et c’est humain, que l’on va conseiller l’usage d’un objet à nos connaissances par rapport à ce que l’on aime.
Une personne qui veut un ordinateur portable pour écrire une lettre de temps en temps, rester en contact avec certaines personnes, un peu de fessesboucs, quelques vidéos de chats, etc…, faut-il un laptop à $1000 (MBA) ou un petit pc à $400 ?
Un utilisateur de Mac va certainement conseiller le MBA car c’est ce dont il est familier. Et c’est humain. Je suis pareil. Aussi parce que si la personne prend ce qu’on lui conseil, et n peut plus facilement l’aider.
@Scooby-Doo
« Apple a quand même un sens du détail et un raffinement de l'expérience utilisateur qui est au-dessus de Microsoft. »
L’expérience utilisateur, c’est une question de point de vue. Je pense que les habitudes y sont pour beaucoup.
Apple à sa vision des choses et les utilisateurs doivent y adhérer. Il y a peu de place à une vision autre.
Apple n’est pas à vraiment à l’écoute de ses utilisateurs. Et leur soucis du détail, je trouve que les nouvelles fonctionnalités mettent du temps à venir, et pas mal de bug. Ce n’est plus ce que c’était. Un petit bémol sur la qualité avant release d’une nouvelle version de soft.
Et maintenant, on retrouve sur MacOS le menu de configuration à la fous-y-tout de iOS. Avec la dernière mise à jour, certaines fonctions ont disparu. Raffinements façon Apple.
Comme quoi, les avis diverges. Et c’est tant mieux.
Apple ne me convainc pas malgré quelques outils sympa, mais il en convainc d’autres. Il y en a pour tous les goûts comme ça.
« Après Microsoft progresse aussi mais bon, ils sont en retard sur des fonctions somme toute basiques ! »
Automator ? C’était là l’exemple. Je ne dirais pas que c’est une fonction basique. Dans mon entourage, sur une bonne quinzaine d’utilisateurs Mac, un seul connaît Automator.
Sur Windows, rien ne me manque par rapport à MacOS par exemple.
Une des grosses différences, quand Microsoft a travaillé sur Windows 10, et depuis ce moment-là, Microsoft a vraiment été à l’écoute de ses utilisateurs. Là où Apple ne l’est pas et impose sa vision.
On pourrait pousser à dire que c’est une forme de dictature sur l’usage de l’informatique.
Mais voilà, comme je le disais, j’ai ma perception, et quelqu’un d’autre en aura une autre…
Apple réussi bien dans son business. Ça veut dire que ça plait leur façon de faire (à moins que certains subissent par lassitude quant à changer de façon de faire, ce que je fais personnellement avec l’iPhone).
GPT-3 a été entraîné sur Jean-Zay, le super calculateur français. Je pensais que chatGPT (qui utilise une version de GPT-3) avait été entrainé sur la meme chose.
@Lameth,
Je suppose que vous faites référence à :
https://dataanalyticspost.com/jean-zay-ia/
@Scooby-Doo
Merci pour l’article. Effectivement c’est bien de cela dont je parle.
@Lameth,
Trop bien !
👍
@Scooby-Doo
Dans l’article, il est dit que c’est un concurrent de GPT3 qui est entraîné sur ce super calculateur, pas GPT3 lui-même.
@MachuPicchu,
« Dans l’article, il est dit que c’est un concurrent de GPT3 qui est entraîné sur ce super calculateur, pas GPT3 lui-même. »
Actuellement on parle sur ce forum d'OpenAI et de son ChatGPT 3.5 il me semble.
Dans l'article cité en référence :
« Un réseau de neurones comportant quelque 200 milliards de paramètres, et un concurrent du GPT-3 développé par OpenAI. »
Bien vu.
Effectivement, c'est son concurrent mais lequel ?
👍
@ Scooby-Doo : « Effectivement, c'est son concurrent mais lequel ? »
Bloom, de HuggingFace, dans le cadre du projet BigScience.
@BeePotato,
« Bloom, de HuggingFace, dans le cadre du projet BigScience. »
Merci beaucoup pour la réponse !
Ce qui est bien, c'est que depuis qu'OpenAI a fait sa publicité, d'autres se manifestent ou se lancent !
Du style, ils se sont lancés, nous aussi on doit y aller pour ne pas se faire distancer !
Du coup il y a une réelle émulation.
J'ai trop hâte de pouvoir essayer Google Bard pour justement voir l'approche de Google concernant les assistants de recherche sur Internet.
Peut être que Google va faire autrement !
👍
@Lameth
« GPT-3 a été entraîné sur Jean-Zay, le super calculateur français. Je pensais que chatGPT (qui utilise une version de GPT-3) avait été entrainé sur la meme chose. »
Où avez-vous lu que GPT-3 avait été entraîné sur Jean-Zay ? OpenAI a utilisé les ressources cloud Azure de Microsoft qui a créé pour l’occasion un supercalculateur , je ne crois pas que celui-ci ait un quelconque rapport avec Jean Zay?
Ce qui est marrant c'est que cette révolution autour de l'IA, dont ChatGPT est aujourd'hui le champion incontesté, repose d'un point de vue hardware sur des cartes accélératrices 3D. La précédente révolution aussi : passage de la 2D à la 3D, époque 3DFX d'abord, puis nVidia avec ses GeForce (qui rachètera d'ailleurs 3DFX plus tard). En l'espace de 30 ans, la marque au caméléon aura été à l'avant-poste de l'évolution et de la transformation de l'informatique, ce qui n'est pas rien.
Peut-être temps de repenser : les calculs spécifiques dédiés à ces types de cartes vers des cartes d’une tout autre nature 🌿; ce qui fait leur spécificité la plus détestable 🤯 : une complexité algorithmique qui suit la consommation énergétique ! 🥵
Pour simplifier 😵💫, faire : des tours en rond et des projections (vers l’infini et au-delà 🌀); amortir le splatch d’une goûte dans la mayo… (si vous voyez d’autres exemples, bien venus)
(voir également : le groupe E8)
@MacG,
« Le total dépasserait les 100 milliards de dollars, dont une bonne partie retomberait dans les poches de Nvidia. »
Une très grosse partie dans les faits !
Un encouragement à investir massivement dans nVidia ?
😁
Très bon article ! Je pense que peu de gens ont conscience que mettre à dispo ChatGPT sur Bing ne consite pas qu'à mettre à jour du logiciel sur les serveurs : les besoins matériels sont vraiment différents, et un échange ChatGPT nécessite beaucoup plus de ressources qu'une simple recherche. Le chiffre de 4M de cartes graphiques annoncé dans l'article concernant Google est très parlant !
@totoguile
j'ai hâte de lire les articles des gens se plaignant déjà de la consommation d'une recherche google
@oomu,
Bonjour Fred, effectivement je pense que c'est le piège que tend Microsoft à Google :
Prendre le chemin de l'IA distillée un peu partout (Bing Prométhée, Suite Office 365, etc.) en sachant pertinemment que si Google veut rentrer dans cette confrontation, vu ses parts de marché dans la recherche Internet, il va falloir construire « quelques » super datacentre dédiés uniquement à l'IA avec des investissements colossaux et un coût de production (charge, coût énergétique, etc.) juste énorme et quasiment impossible à justifier économiquement pour Google !
C'est pour cela que Google n'est vraiment pas pressé de présenter une version au top de Bard, parce qu'après leur démonstration, faudra mettre cela en production !
Sont pas fous ou suicidaires !
Ils ont parfaitement compris le piège tendu par Microsoft !
Faudrait pas que l'arroseur se fasse arrosé !
Du style succès incroyable de Bing Prométhée, à un tel point que leur infrastructure s'effondre sous la charge de calculs…
😁
PS :
Je pense qu'il va falloir investir massivement aussi dans des actions de compagnies électriques !
L'informatique type grille-pain, c'est trop l'avenir !
Curieux de voir l'espace accordé sur le die des prochaines puces Apple au Neural Engine proportionnellement aux autres fonctions
D'ailleurs peut-on imaginer, pour le prochain MacPro, des cartes d'extension "Neural Engine" ?
A l'image de celles proposées pour l'accélération vidéo sur l'actuel ?
@Pixelcat,
Bonjour les prix, cela risque de vraiment piquer à moins qu'Apple veuille démocratiser les NPU...
🤞
Je suis surpris que vous n’évoquiez pas les DPU (pour Data Processing Unit), une catégorie naissante de processeurs, qui sont qualifiés pour l’IA. Ils permettent d’accélérer les traitements des données et de soulager les CPU. Ils gèrent un très grand nombre de flux de données en totale indépendance du CPU avec un niveau élevé de sécurité et de cryptographie. Ils ont rapport performance / watt / dollars sans équivalent avec les GPU.
Parmi les acteurs proposant du DPU, on a les grands noms tels que AMD, Intel, Nvidia mais aussi Marvell, Broadcom et même une pépite française très prometteuse : Kalray
https://www.kalrayinc.com
@toto_tutute
je connais Kalray surtout pour le réseau et leurs développements de stockage en réseau.
@oomu
Génial ! C’est une belle boîte, dont je suis actionnaire depuis l’introduction en bourse. Créée par des anciens de STMicroelectronics, sa technologie brevetée vient du CEA-Leti (Grenoble). Son DPU est une architecture propriétaire. Elle a un bel actionnariat (Safran, Renault, MBDA, l’armée française, NXP...). Son business décolle seulement maintenant.
Elle vise les centres de données, les voitures autonomes, la 5G, la smart vision (industrie 4.0), l’IA...
Après, je suis pas assez expert pour savoir si les DPU viendraient en complément des GPU dans le cas du traitement des données pour l’IA ou s’ils peuvent les remplacer. Car le DPU de Kalray par exemple coûte environ 1 000€ pièce. On est très loin des 15 000 USD exigés pour les solutions de Nvidia.
Pages