L'essor des IA pourrait créer une nouvelle pénurie de GPU
Depuis quelques années, le marché des cartes graphiques a un problème de pénurie. Les raisons sont multiples et vont de l'essor des cryptomonnaies à une demande en forte hausse à cause des différents confinements ou de la sortie de consoles… et ce n'est pas fini. En effet, la montée en force des IA amène une demande assez élevée sur ce marché.
Un entraînement coûteux, un déploiement qui l'est encore plus
Un article de Forbes s'intéresse en effet aux coûts de ces technologies, et il est astronomique. La création des données employées par ChatGPT (l'entraînement) aurait nécessité environ 10 000 cartes graphiques Nvidia, un volume déjà conséquent. Mais une estimation sur le nombre de GPU exigé pour fournir les réponses aux utilisateurs donne le tournis : si Google devait recourir à des GPU pour répondre aux requêtes via l'IA, il faudrait un peu plus de 4 000 0001 de cartes graphiques A100, qui se négocient aux alentours de 20 000 € (dès 15 000 € pour la version 40 Go, si le cœur vous en dit). Le total dépasserait les 100 milliards de dollars, dont une bonne partie retomberait dans les poches de Nvidia.
Les NPU ne règlent pas les choses
L'article de Forbes évoque les expérimentations dans le domaine des NPU — Neural Processing Unit, les puces dédiées aux calculs liés à l'IA — comme celles présentes dans les iPhone depuis quelques années. Sur le papier, le développement des NPU permet une meilleure efficacité que les GPU car ils sont pensés pour un usage précis. En effet, même les cartes les plus haut de gamme de Nvidia ne réservent qu'une partie des transistors à cet usage et gardent des fonctions liées aux calculs classiques. Mais en pratique, les cartes graphiques conservent l'avantage d'une puissance élevée — une puce Nvidia A100 atteint 624 TOPs contre 17 pour un A16 — et la généralisation des TPU risque d'amener le même problème de pénurie.
De fait, les pénuries de composants ne sont pas attachées au type de produits directement, mais plutôt aux capacités de production. Pour un volume identique chez les grands fondeurs2, fabriquer des GPU ou des NPU ne change pas réellement la donne. Si une partie de l'offre part vers les NPU plutôt que les GPU ou si une partie des GPU part vers les serveurs, le résultat est à peu près le même sur le marché : il y a moins de cartes graphiques dans les étals.
La question principale, à laquelle il est difficile de répondre, vient de la manière dont les grands noms du secteur vont déployer les technologies. Selon SemiAnalysis, Google a par exemple utilisé des modèles moins étendus pour Bard, probablement pour réduire les coûts.
@toto_tutute
« Génial ! C’est une belle boîte, dont je suis actionnaire depuis l’introduction en bourse »
Un actionnaire 😡😡😡!!
Brûlons le sur la place publique !!! (Ouais ici … oser dire que vous êtes actionnaire : ça veut dire que vous êtes millionnaire et que vous exploitez les pauvres gens … vous devriez avoir honte de vous
(La team premier degré va adorer ce commentaire😋).
@cecile_aelita
Lol. Je comprends. Mais là il s’agit d’une « startup », française qui plus est. Je prends un risque certain. Je suis pas peu fier d’en être actionnaire.
@toto_tutute
Évidement ! Je vous taquine.
Mais même être actionnaire chez apple, il n’y a aucune honte là dedans … c’était juste pour la pique gratuite de ces idiots qui s’imaginent que tous les actionnaires sont des millionnaires qui dorment sur un matelas de billets de 200€😋🤭
@ toto_tutute
> Je prends un risque certain
En même temps en ayant l'armée française et les autres grands noms que vous citez comme co-actionnaires, le risque est quand même mesuré dirais-je...
@toto_tutute
Vous voyez … je vous avais dit … juste dire « actionnaire » ça suffit à énerver les gens !
C’est presque encore plus efficace que de dire « Facebook » ou « sfr » 🤭
@cecile_aelita
« Brûlons le sur la place publique !!! (Ouais ici … oser dire que vous êtes actionnaire : ça veut dire que vous êtes millionnaire et que vous exploitez les pauvres gens … vous devriez avoir honte de vous «
Il devrais surtout avoir honte de lui, pour son racisme militant, ses engagements envers l’extreme-droite, son ultra-nationalisme et sa profonde mythomanie. Mais ces gens-là n’ont jamais honte ! Bienvenu dans la France du XIXe siècle.
@IceWizard
Heu … bah je ne le connais pas … donc je jugerai sur place le moment venu, mais il est évident que je ne jugerai pas quelqu’un sur les dires d’une autre personne … il n’y aura que ma propre expérience en qui je ferai confiance 🙂
@cecile_aelita
« Heu … bah je ne le connais pas … donc je jugerai sur place le moment venu, »
Il a un gros problème avec l’islam, pour lui TOUS les musulmans sont des extrémistes anti-Occident. Il a piqué une grosse colère quand j’ai écris que la plupart des victimes d’attentats islamiques dans le monde sont des musulmans. Qu’il existe une véritable guerre entre les musulmans modérés et les extrémistes islamiques voulant revenir à un contrôle total de la religion sur la société civile, lui semble absurde.
La situation actuelle en Iran est l’exemple parfait du conflit culturel entre les gens voulant vivre tranquillement et les gardiens du Temple désireux d’un ordre religieux pur et dur,
Quand j’ai écrit que la première victime de l’attentat de Nice était une marocaine appelée Fatima Charrihi il a pété les plombs, expliquant que les terroristes islamiques attaquant la France portaient des noms musulmans, ce qui était une preuve indiscutable de l’implication des musulmans ! Amusant processus auto-justificatif..
Depuis il me voue une haine terrible. Il m’a traité de « traître à la nation » parce que je critiquais la production cinématographique française, et l’insipidité de ses scénarios. Amusant style de phrase rappelant une époque révolue, et un mode de pensée digne d’un village gaulois.
Dans un autre post, il m’a expliqué que je mentais en prétendant aimer les séries tv coréennes. Selon lui, je ne les apprécie pas, mais pour paraître “cool” je ment sur le forum (???). Plus mytho tu meurs !
Ce n’est que quelques exemples. Ses dérapages nationalistes sont nombreux. La notion même d’Europe lui donne des boutons.
@IceWizard
Comme je le disais : je jugerai quand je verrai et pas sur le dire d’un autre désolé 🙂
@cecile_aelita
« Comme je le disais : je jugerai quand je verrai et pas sur le dire d’un autre désolé 🙂 »
Tu n’as pas à être désolé. Je donne juste mon opinion sur ce type, qui ne semble pas avoir la lumière à tous les étages, comme la plupart des extrémistes de tous bords.
@IceWizard
Je me suis déjà fait insulter par pas mal de mecs ici … gratuitement la plupart du temps (le plus magique étant le dernier qui m’a insulter parce que je me suis « excusée » 🤣, mais je n’ai jamais eu le moindre conflit avec lui ! 🙂
@toto_tutut,
« Génial ! C’est une belle boîte, dont je suis actionnaire depuis l’introduction en bourse. Créée par des anciens de STMicroelectronics, sa technologie brevetée vient du CEA-Leti (Grenoble). Son DPU est une architecture propriétaire. Elle a un bel actionnariat (Safran, Renault, MBDA, l’armée française, NXP...). Son business décolle seulement maintenant. »
Avec toute la publicité mondiale autour du phénomène ChatGPT, je pense effectivement comme vous que cette société française a un bel avenir devant elle !
Le DPU c'est un excellent compromis puissance de calcul / coût d'investissement et énergétique !
Renault comme actionnaire, je suppose que c'est pour la conduite autonome niveau 3.
👍
@toto_tutute,
Je suppose que vous faites référence à :
https://www.nvidia.com/fr-fr/networking/products/data-processing-unit/
👍
@Scooby-Doo
Yep’, c’est ça. Ils s’appellent Bluefield chez Nvidia. C’est suite au rachat récent de l’israélien Mellanox par Nvidia.
Les DPU sont encore assez récents dans le paysage c’est pour ça qu’on en parle pas encore beaucoup mais ils sont amenés à prendre de plus en plus de place aux côtés des CPU et des GPU donc.
Intel utilise le terme IPU (Intelligence Processing Unit) à la place de DPU.
@ Scooby-Doo
> Je suppose que vous faites référence à
C'est la deuxième.
Bravo, vous êtes très bon en recherche Google !
En tout cas pour ce qui est de la génération d'image mon M1Max est juste un veau tétraplégique à côté de ma RTX3060 (rapport x4 à 5 it/s)
@huexley
génération d'image, genre stable diffusion ?
@huexley,
RTX3060 c'est déjà une bonne carte graphique assez récente.
Il y a mieux mais je peux comprendre que vous soyez content de ses performances.
👍
Blender ou autre rendu graphique qui consomme beaucoup !
PRMAN !
😭
@ huexley
> pour ce qui est de la génération d'image
Pourriez-vous préciser un peu le contexte ?
Merci.
@marc_os
Bonjour Marc, essayez de faire une amélioration (1:1) de la qualité d'image d'un long métrage de plus de 120 minutes en 2K / 24p avec Topaze Video Enhance AI par exemple !
Je ne parle même pas d'augmenter la résolution, juste une amélioration 1:1 !
On parle de 172800 images en sachant que la moyenne du rendu est de 0.3 image / seconde.
Temps estimé du rendu 576000 secondes.
160 heures de calculs à pleine charge pour une carte graphique nVidia serie 40xx !
Okay !
😭
Et je ne vous parle même pas d'Alfred ou PRMAN.
@ Scooby-Doo
> 160 heures de calculs à pleine charge pour une carte graphique nVidia serie 40xx
Sur quel genre de PC ?
Et sur Mac M1 Pro ou Ultra, ça donne quoi ?
(Parce qu'huexley à qui je pose la question au départ fait une comparaison de ce genre.)
@ Scooby-Doo
Evidemment, pas de réponse quand on demande des détails... 🤔
Pourquoi est-ce que cela ne m'étonne pas ?
"En tout cas pour ce qui est de la génération d'image mon M1Max est juste un veau tétraplégique à côté de ma RTX3060 (rapport x4 à 5 it/s)"
J'adore tout ces propos toujours très imagés. Si la RTX3060 faisait tout ce que fait le M1Max on pourrait effectivement se poser des questions sur la différence de performances, mais là ............
Alors je suis le premier à m'enthousiasmer pour l'IA, mais j'ai aussi deux pieds sur terre et je trouve qu'il y a beaucoup d'euphorie et peu de raisonnement. De un l'information est puisée (essorée) de plusieurs sources, que l'IA synthétisera. Il est clair que cela ne peut que réduire l'affluence des visiteurs d'un site et donc casser l'internet tel que nous le connaissons. Qui se donnera alors la peine de mettre de l'info en ligne si c'est pour qu'elle soit captée et resservit sans contribution? (c'est le problème de Google News mais puissance 1000) L'article montre bien les besoins énormes en puissance alors J'ai bien compris que l'envirronement on s'en fiche quand c'est cool mais bon... Et puis MS / Google ils sont pas là pour être gentils et donc je me demande quel est le business Model de l'IA. On peut mal s'imaginer une IA sponsorisée genre quelle est la meilleure voiture électrique? Une Tesla (sponsored by Tesla). Donc j'espère que dans le futur on aura plus d'analyses de fond que le côté "Trop cool, l'IA a rédigé mon mail de départ en vacances"
> (c'est le problème de Google News mais puissance 1000)
Non.
GNews n'affiche qu'une information "sans valeur". Pour avoir un traitement "journalistique" (circonstances détaillées, mise en perspective...) il faut aller sur le site.
Le site peut donc se rémunérer (via la publicité qu'il affiche)
@Glop0606,
Vous soulevez beaucoup de questions.
Une IA n'est rien en soi-même.
Elle a été conçue pour réaliser une tâche tout comme un algorithme.
L'algorithme est déterministe par nature.
L'IA entraînée est probabiliste par modèle statistique que l'on suppose être un processus stochastique pour la compilation de bases de connaissances.
L'IA peut être autorégressive dans lequel la série est expliquée par ses valeurs passées plutôt que par d'autres variables.
Exemple : l'IA de Topaze Labs Video Enhance AI me semble autorégressive par son comportement !
Dall.e me semble autorégressif aussi.
De même pour AccuWeather, faut l'espérer car on parle de prévisions météorologiques pouvant impacter la vie de millions d'habitants !
L'IA peut être auto-attentive ou deep-learning utilisée dans les traductions (TAL).
ChatGPT semble utiliser ce modèle pour compiler des paires (document en langue source traduit par un humain dans une langue cible).
DeepL a été entraîné par cette méthode.
L'IA peut être générative au moyen d'un réseau de neurones récurrents.
ChatGPT ou Bard semblent utiliser des RNN pour décomposer les questions puis générer une réponse en langage naturel en se basant sur les données collectées de manière probabiliste pendant la phase de deep learning.
Beaucoup font la confusion des IA et des méthodes pour :
1. Analyser une base de connaissances par stochastiques ;
2. Analyser une question et produire une réponse par RNN.
😁
Faut dire que sur ce forum, je n'ai jamais rencontré une aussi forte densité d'experts en IA de toute ma vie !
👍
@glop0606,
« Et puis MS / Google ils sont pas là pour être gentils et donc je me demande quel est le business Model de l'IA. »
Je me pose exactement la même question que vous !
Après analyse des 12 derniers mois concernant Microsoft et Google sur le terrain des IA, voici mon sentiment et cela n'est pas forcément vrai !
1. Google est leader sur la recherche Internet et sur la régie publicitaire qui va avec ;
2. Microsoft a tenté par le passé de conquérir des parts de marché sur ce secteur avec Bing, sans vraiment percer ;
3. Quelqu'un chez Microsoft (le grand patron ?) a eu cette idée de dire : nous n'arriverons pas à concurrencer Google sur la recherche Internet, encore moins à le supplanter, donc plutôt que perdre notre temps en vain, réinventons la recherche sur Internet !
4. Plutôt qu'obtenir une liste comportant des millions de liens en sachant pertinemment que l'utilisateur dépassera rarement la deuxième page de résultats, on va l'assister au cours d'un dialogue en langage naturel ! Un peu comme lorsque vous rentrez dans une agence de voyages ou un office du tourisme pour être conseillé.
5. Ce sera moins stressant, on pourra orienter les réponses vers les partenaires (sites) les plus rémunérateurs comme Google le fait déjà avec ses liens sponsorisés ! Une meilleure rentabilité espérée ?
6. Microsoft ayant des parts de marché moindre, donc moins de charge de calculs, donc plus facile à passer à ce paradigme que Google, veut faire de la recherche sur Internet une expérience plus proche d'un coach qui vous écoute puis vous conseille !
7. Privilégier la qualité (car faible part) à la quantité (car leader sur le marché).
8. Si c'est vraiment celà, il ne faudrait surtout pas que Microsoft rencontre un gros succès dans l'immédiat. J'ose à peine imaginer l'effondrement de leur infrastructure informatique sous le flot de conversations / conseils super personnalisés à suivre !
9. D'où l'accès à ce nouveau Bing Prométhée uniquement sur invitation. Je ne vois pas d'autres explications.
10. Microsoft force Google à s'engager sur ce terrain et comme il est leader, il est incapable de répondre à la charge de calculs car techniquement / matériellement impossible.
😁
@Glop0606,
« On peut mal s'imaginer une IA sponsorisée genre quelle est la meilleure voiture électrique? Une Tesla (sponsored by Tesla). »
Je vous invite à utiliser Bing Prométhée !
Quand vous discutez avec Bing, dans ses réponses il indique les sources qu'il a utilisées.
On peut aussi cliquer sur ses sources pour se rendre directement sur le site en question !
Pas d'enfermement infini sur Bing comme certains le fantasment !
Vous savez la fin d'internet !
😁
Les liens sont juste présentés différemment et ils sont proposés en relation avec la discussion.
Pas de quoi fouetter un chat 🐱🐈 !
L’avantage avec les Macs, c’est que nous sommes assez peu concernés par les problèmes de GPU standards…
@421,
« L’avantage avec les Macs, c’est que nous sommes assez peu concernés par les problèmes de GPU standards… »
Excellentissime!
😁
Et en plus, vous ne savez pas à quoi vous avez échappé !
Ne soyez pas ni désolé, ni désireux de connaître cela !
Vous avez trop de la chance !
👍
Moi, y’a un truc qui m’interpelle : on a déjà du mal à définir l’intelligence alors comment peut-on parler d’intelligence artificielle ?
Et puis n’y a t il pas plusieurs formes d’intelligence ? La logique, la créativité, l’altérité, l’adaptation, la réflexion, les émotions, l’humour, etc. sont autant de formes d’intelligence.
Notre humanité en somme.
@toto_tutute,
« On a déjà du mal à définir l’intelligence alors comment peut-on parler d’intelligence artificielle ? Et puis n’y a t il pas plusieurs formes d’intelligence ? La logique, la créativité, l’altérité, l’adaptation, la réflexion, les émotions, l’humour, etc. sont autant de formes d’intelligence. »
Très bonne question.
C'est pourquoi il y a plusieurs développements simultanés.
Dall.e est bon dans les arts graphiques.
ChatGPT est bon pour discuter, répondre (but final en cours d'élaboration), composer ou traduire des textes.
Il y a des IA chez Adobe comme Sensei pour accélérer la sélection d'un sujet dans une photo, etc.
@toto_tutute
ne prenez pas trop au sérieux le terme de "intelligence artificielle".
Une bonne allégorie du phénomène autour de ce mot, c'est "on qualifie d'intelligence artificielle, chaque nouveau logiciel qui frappe l'esprit".
ainsi, dites vous que j'ai suivi des cours d'INTELLIGENCE (whoaAAAh) Artificielle (faite main) dans les années 90s. (du lisp, en gros)
et dans les années 70s, les premiers logiciels compétents de jeu d'échec était qualifié de prodige d'intelligence artificielle. Maintenant je présume que vous considérez ça comme un exercice facile de gros calcul bêbete.
Bref, sans dénigrer les travaux en algorithmes, en optimisation, en nouvelle approche de calcul, etc, méfiez vous quand même du terme "intelligence artificielle".
Il est porteur d'une aura mystique ("HAL" de 2001, le Terminator, le cinéma tout ça, etc) qui est exploitée par le commercial.
Ce sont des automates, des machines, utilisant des algorithmes ingénieux, profitant des progrès fous dingues en puissance de calcul ,stockage et masse de données accessible par l'usage et la gratuite contribution des gens qui ont publié leur vie sur 25 ans.
Chatgpt est un logiciel, une machine. Il utilise des modèles de langages qui imitent et prédisent ce qu'un humain moyen dirait.
Il n'est pas plus intelligent qu'une chaise, c'est de l'artificiel pour résoudre un problème précis dans un contexte précis avec des données préparées.
-
l'algo de Stable diffusion qui fait des prouesses en images farfelues, ne pas oublier qu'il profite de 20 ans de sites comme Flickr mais aussi de site de collections d'images d'artistes en tout genre, maintenus par des utilisateurs/passionnés qui patiemment on mis des étiquettes pour décrire les photos (chats, ciel, gothique, etc).
Et un sérieux investissement pour re-cataloguer encore plus précisément ces millions d'image, par des humains. ("nostalgie", "ciel d'automne le soir", "sentiment de désespoir mêlé d'amertume de faire un travail sans intérêt", "canapé en cuir", "chat bondissant", "chat qui se roule en boule", chat qui griffe", "encore un putain de chat", etc)
c'est donc aussi un gros travail de forçat, humain, plus ou moins reconnus, qui permet à ces logiciels d'être aussi étonnant.
dans 10 ou 20 ans, votre montre fera tout ça et vous vous plaindrez de la banalité de ces trucs insipides ;)
@oomu,
Rebonjour Fred,
Tu m'avais caché que tu programmais en LISP quand tu étais adolescent !
Je croyais naïvement que tu programmais principalement en Objective-C !
😁
Question métaphysique :
« Et un sérieux investissement pour re-cataloguer encore plus précisément ces millions d'image, par des humains. ("nostalgie", "ciel d'automne le soir", "sentiment de désespoir mêlé d'amertume de faire un travail sans intérêt", "canapé en cuir", "chat bondissant", "chat qui se roule en boule", chat qui griffe", "encore un putain de chat", etc) »
Mais c'est quoi cette obsession récurrente sur les chats, châtons ?
Et puis c'est quoi cette bouteille de lait ?
😁
Cher Fred, tu seras toujours pour moi une source d'inspiration et d'admiration illimitées.
En fait, je crains que tu sois mon maître à penser…
👍
@oomu
"des cours d'INTELLIGENCE (whoaAAAh) Artificielle (faite main) dans les années 90s"
Moi j’ai programmé un système expert en microProlog sur ZX Spectrum dans les années 80. On parlait déjà d’intelligence artificielle depuis une dizaine d’année.
Souvenir souvenir : https://worldofspectrum.org/archive/software/utilities/micro-prolog-sinclair-research-ltd
@Brice21,
Purée cela ne nous rajeunit pas !
Le fameux ZX80 que j'avais construit avec mes petits doigts !
La belle époque de la micro-informatique où tout coûtait une blinde, à moins de le construire soit même !
L'Apple II puis l'Apple IIc (c pour couleurs enfin bon c'était quelques couleurs !).
Microsystèmes, le magazine des programmeurs en herbe !
Misère, gros moment nostalgique…
😭
@Scooby-Doo
« La belle époque de la micro-informatique où tout coûtait une blinde, à moins de le construire soit même ! »
Suivis d’une période où les micros-ordinateurs personnels ne coûtaient pas trop cher, comme l’Amstrad CPC, qui fut le successeur du ZX 81 comme « machine du peuple ». J’avais développé un système expert rudimentaire, en Turbo Pascal, sous CP/M, avec mon Amstrad 6128, mon premier véritable ordinateur.
@ Scooby-Doo : « puis l'Apple IIc (c pour couleurs enfin bon c'était quelques couleurs !). »
Le c était pour « compact » (ce qui le distinguait des Apple II précédents). Au niveau des couleurs, il n’y avait pas de changement.
@Scooby-Doo
"Le fameux ZX80 que j'avais construit avec mes petits doigts !"
Je programmais en Forth sur celui-ci. Mon premier micro. J’adorais ce langage. 🥲
Avant je faisais de l’assembleur sur Z80. J’essayais de reproduire Moria, un jeu qui tournait sur les Système Plato de Control Data.
Avant je faisais du Fortran sur un mainframe. Mon premier vrai langage. C’était déjà un langage très évolué.
@oomu
« Et un sérieux investissement pour re-cataloguer encore plus précisément ces millions d'image, par des humains. ("nostalgie", "ciel d'automne le soir", "sentiment de désespoir mêlé d'amertume de faire un travail sans intérêt", "canapé en cuir", "chat bondissant", "chat qui se roule en boule", chat qui griffe", "encore un putain de chat", etc) »
Peut-être, mais « chat faisant du yoga » ça marche pas terrible, j’ai essayé. Faire des variations sur des thèmes pré-enregistrés n’est pas aussi efficace qu’un artiste humain, pouvant transférer un contexte (des positions du yoga, enregistrés sur des humains) à une situation imaginaire non pré-enregistrée.
une puce Nvidia A100 atteint 624 TOPs contre 17 pour un A16
Ces mesures sont-elles vraiment pertinentes en ce qui concerne les réseaux de neurones "physiques" ?
@marc_os,
Bonjour Marc une deuxième fois !
Toutes les personnes autour de moi qui travaillent sur de l'IA utilisent des nVidia A100 en attendant mieux.
Mon expérience n'est pas une vérité absolue.
Juste mon expérience.
C'est vendu pour du 624 TOPs.
Concernant un A16, j'en ai pas sous la main et je ne pense pas que j'en aurai un jour prochain.
C'est déjà trop la galère avec du A100.
Merci d'avoir pitié !
😁
@ Scooby-Doo
Oui bon, merci pour la réponse mais vous ne répondez pas à la question...
Quelle mesure de performances est pertinente pour des réseaux neuronaux implémentés dans des puces ? Pour des CPU classiques, on peut compter le nombre d'opérations par secondes. Mais ce comptage a-t-il du sens dans le cas d'un réseau neuronal ?
Quoiqu'il en soit, une "opération" sur un réseau de neurones ne peut en aucun cas être comparée à une opération effectuées par une CPU.
Donc peut-être peut-on parler aussi de nombre d'op par secondes, mais pour faire des comparaisons... il faudrait pouvoir je pense comparer des réseaux "seuls".
@marc_os,
Bonjour Marc pour la troisième fois !
« Donc peut-être peut-on parler aussi de nombre d'op par secondes, mais pour faire des comparaisons... il faudrait pouvoir je pense comparer des réseaux "seuls". »
Je ne voudrais surtout pas que vous soyez mécontent de ma réponse :
Les performances des A100 sont impactées par l'architecture système.
Je m'explique : la carte A100 existe en deux versions sous le même nom ! Oui je sais cela n'aide pas à la compréhension !
Vous avez les A100 NVLink et les A100 PCIe.
Le NVLink comme son nom laisse le supposer est un bus propriétaire nVidia optimisé notamment pour les A100.
Le PCIe est un bus fort connu.
Il semble que les calculs de performances ont été réalisés sur NVLink car plus performant.
C'est peut être pour cela que vous remettez en cause les 624 TOPs…
🤞
ChatGPT :
La puissance des cartes A100 de Nvidia est calculée en termes de téra-opérations par seconde (TOPs), qui mesure le nombre de calculs en virgule flottante que la carte peut effectuer chaque seconde.
Plus précisément, les 624 TOPs annoncés pour la carte A100 se réfèrent à la puissance de calcul en virgule flottante 16 bits (ou demi-précision), qui est souvent utilisée dans l'apprentissage automatique et d'autres charges de travail d'inférence.
Cela signifie que la carte A100 peut effectuer jusqu'à 624 billions d'opérations en virgule flottante 16 bits par seconde, ce qui la rend très puissante pour les applications d'IA.
Cependant, il convient de noter que la puissance de calcul varie en fonction des types de charges de travail et des configurations système utilisées.
Il n'y a pas de réponse précise à cette question, car le nombre de réseaux neuronaux ou de modèles TensorFlow qu'une carte A100 peut exécuter dépend de plusieurs facteurs, tels que la taille et la complexité des modèles, ainsi que la quantité de mémoire et d'autres ressources dont chaque modèle a besoin.
Cependant, il convient de noter que la carte A100 est actuellement l'une des cartes graphiques les plus puissantes disponibles pour l'entraînement et l'inférence de modèles d'IA, ce qui signifie qu'elle est capable de gérer de grandes charges de travail de modèles d'IA et de réseaux neuronaux.
En outre, avec son architecture Tensor Core dédiée, la carte A100 peut accélérer considérablement les performances de modèles d'IA prenant en charge les opérations de calcul tensoriel.
Moi :
Vous répondre me semble difficile car la taille maximale possible d'un réseau neuronal dépend aussi de la mémoire consommée par chaque neurone.
J'utilise des modèles qui vont de quelques centaines de Mo jusqu'à 3 Go.
Pour comparaison, une RTX 4090 c'est environ 83 Tflops et un A16 environ 17 Tflops.
Google conçoit ses TPUs depuis des années: les derniers en date ont une bande passante mémoire > 1.5Tops bien au delà de celle de Nvidia.
Le matos est une chose mais le data set et le temps pour engloutir toutes ces données sont le noeux du problème.
L’un des dernières AI de Googke à plus d’un milliards de paramètres. De plus ils sont à la pointe au niveau du quantique! Donc ce ne sont pas des demi-manchots! Le fait qu’ils n’ont pas vu venir le type d’AI qu’il fallait avoir sur le coude. Mais je ne doute pas qu’ils mettent tout en oeuvre pour redresser la barre.
Par contre pendant ce temps, Apple est au fraise pour ce type d’application.
@0MiguelAnge0,
« les derniers en date ont une bande passante mémoire > 1.5Tops bien au delà de celle de Nvidia. »
Vous faites référence à ceci je suppose :
https://cloud.google.com/tpu/docs/tpus?hl=fr
Je n'ai pas trouvé toutes les données pour comparer mais :
TPU v3 chip - up to 275 peak TFLOPS.
A100 c'est 624 TOPs
Vous êtes sûr que Google est devant nVidia ?
😁
Détail qui a son importance :
« Il est important de noter que la première version de l'A100 remonte à juste 6 mois, mais Nvidia lance déjà une version actualisée de son accélérateur. En outre, pour le nouvel A100, l'entreprise a également augmenté la vitesse d'horloge de la mémoire, portant la version 80 Go de l'A100 à 3,2 Gb/s/pin, soit une bande passante mémoire totale d'un peu plus de 2 To/s. »
Contrairement à votre affirmation qui explique que le TPU de Google a une bien meilleure bande passante avec 1,5 To/s, je crains que le bus de l'A100 ne soit de 2 To/s !
Donc nVidia A100 a un meilleur bus et est plus puissante d'un facteur 2,2 !
Du coup si Google s'équipe avec ses TPU v3 et non des A100, ce n'est plus 4 000 000 de A100 mais 8 800 000 de TPU v3 !
C'est encore pire !
😭
« Par contre pendant ce temps, Apple est au fraise pour ce type d’application. »
Je n'en sais rien ! Vous avez des informations comme quoi Apple ne s'intéresse pas aux IA ?
Il y a bien des NPU dans les M1 et M2 il me semble…
👍
super article !
merci aussi aux commentateurs spécialistes 😸 Échanges instructifs et respectueux.
Quand c’est bon il faut le dire
@e2x,
MacG a très régulièrement des super articles de fond bien construits et approfondis.
Après sur le forum personne n'est d'accord sur rien et c'est un vaste champ de bataille !
Surtout quand on est qu'un simple Scooby-Doo à la boîte crânienne sous dimensionnée mais à la truffe sur dimensionnée.
Ça équilibre le bestiau !
Même s'il y a plus de muscles que de cervelle…
😁
C'est pour cela que je suis en admiration devant ces IA qui semble réaliser certaines prouesses !
👍🤞
Au delà d’une possible pénurie de GPU, je vois venir un autre genre de pénurie…
Apple sera obligée, si elle veut exister en IA, de changer de politique par rapport aux GPU.
Je me demande dans quelle mesure la place misérable du GPU depuis… 20 ans ? chez Apple, ne sera pas à moyen terme un handicap très important. Ils n’ont aucunes compétences transversales en matière de GPU. Ce sera très difficile, compte tenu de la taille d’Apple, de sa culture du secret, d’en amener.
J’ignore à ce stade si Apple a vu venir la tempête. Google soi-même semble avoir manqué quelques bulletins météo, pourtant bien plus actif dans ce domaine qu’Apple…
Apple arrivera-t’elle à exister dans ce domaine ? Je pense que ce n’est pas gagné…
Pages