ChatGPT : comment Microsoft a créé une infrastructure massive pour entraîner le modèle de langage d'OpenAI
Si les modèles du type ChatGPT ou DALL-E coûtent très cher à utiliser, ils sont aussi très onéreux à mettre sur pied. Microsoft a travaillé avec OpenAI pour former ses IA et a donné quelques détails sur les coulisses de l'opération. Les modèles ont nécessité des dizaines de milliers de cartes graphiques organisées d'une manière unique, dans une infrastructure de calcul intensif tournant à plein régime.
Le défi était de taille. « Il faut non seulement disposer de la plus grande infrastructure, mais aussi être en mesure de la faire fonctionner de manière fiable pendant une longue période », explique Nidhi Chappell, cheffe de produit Microsoft pour le calcul haute performance et l'IA Azure . Son entreprise a commencé à travailler avec OpenAI en 2019, lorsque les deux boîtes ont signé un premier partenariat. Celui-ci a été reconduit, Microsoft ayant depuis investi des milliards de dollars dans la startup.
Pour entrainer le modèle, Microsoft a donc dû construire une infrastructure sans précédent comportant des milliers de cartes graphiques NVIDIA optimisées pour l'IA. Celles-ci ont été reliées entre elles par un réseau à haut débit et à faible latence basé sur l'architecture NVIDIA Quantum InfiniBand. Le matériel est toujours en évolution : Microsoft a annoncé qu'elle intégrait désormais la dernière puce spécialisée de NVIDIA (H100), qui coûte plus de 30 000 euros pièce. « Nous avons construit une architecture de système capable de fonctionner et d'être fiable à très grande échelle. C'est ce qui a permis à ChatGPT de voir le jour », ajoute Nidhi Chappell.
Des milliers de cartes graphiques ont donc été reliées les unes aux autres, dans un branchement à une échelle jamais testée auparavant. « Personne ne savait avec certitude si le matériel pouvait être poussé aussi loin sans se briser », explique le CTO du groupe. Les GPU communiquent tous ensemble lors de certaines étapes de calcul, tandis que de nouveaux ont été ajoutés au fur et à mesure que les besoins évoluaient. Microsoft dit avoir avancé en cherchant jusqu'où il pouvait pousser cette infrastructure, et Nidhi Chappell précise :
Comme ces travaux concernent des milliers de GPU, il faut s'assurer de disposer d'une infrastructure fiable, puis d'un réseau en arrière-plan pour pouvoir communiquer plus rapidement et être en mesure de travailler pendant des semaines […] Il ne s'agit pas d'acheter un tas de GPU, de les brancher ensemble et de les faire fonctionner ensemble. Il y a beaucoup d'optimisation au niveau du système pour obtenir les meilleures performances, et cela vient avec beaucoup d'expérience sur plusieurs générations.
Microsoft explique notamment disposer d'une partie logicielle offrant une utilisation plus efficace des cartes graphiques et de l'équipement réseau. Cela lui a permis de former ses modèles de manière plus économe tout en prenant moins de temps. Cette installation a tout de même coûté une fortune : « probablement plus » qu'une centaine de millions de dollars d'après le vice-président exécutif de Microsoft.
Certains paramètres ont dû être pris en compte : un tel nombre de cartes graphique demande énormément d'énergie et dégage de la chaleur. Microsoft a donc dû réfléchir à l'endroit où seraient placées les machines et où se trouveraient les alimentations électriques. Les serveurs étant dispersés à travers le monde, il a fallu trouver des techniques pour les garder à une température constante dans les climats chaud, froid ou humide des différents centres de données.
Microsoft cherche désormais à optimiser son modèle existant du mieux possible et doit faire face aux aléas divers et variés. Dernièrement, l'entreprise a par exemple manqué de chemin de câbles et a dû en fabriquer elle-même. La firme de Redmond a également réfléchi à un moyen de caler plus de serveurs dans un seul bâtiment pour ne pas avoir à attendre la fin de la construction des nouveaux. Sur le long terme, toute cette infrastructure va être mise à profit pour former d'autres modèles.
C’est quand même et le un sacré aberration écologique. Espérons qu’on lui trouvera une vraie utilité.
J’ai quand même très peur que le jeu n’en vaille pas la chandelle.
@Nesus
En phase. Je suis curieux de savoir ce que répondrait ChatGPT si on lui demandait l’intérêt à toutes ces dépenses. Pourquoi ne pas dépenser ces millions… ces milliards dans la transition énergétique ? Une utilisation raisonnée de lT…
Bien entendu, je ne lui demanderai pas. Je ne cautionne pas, je n’utilise pas.
Je m’attends à des réactions en chaîne de la part des haters et autres trolls. :-D
@Neirda_95
« Je m’attends à des réactions en chaîne de la part des haters et autres trolls. :-D »
Mettez une phrase disant du bien de Tim Cook ou de Siri… c’est beaucoup plus efficace si vous voulez une réaction en chaîne des haters et trolls 🤪🤪!!
@cecile_aelita,
« Mettez une phrase disant du bien de Tim Cook ou de Siri… c’est beaucoup plus efficace si vous voulez une réaction en chaîne des haters et trolls 🤪🤪!! »
Pourtant moi j'aime bien Tim Cook !
Moins que Steve Jobs, mais je trouve qu'il a super bien repris le flambeau !
Ne jamais oublier la période où Steve Jobs a été viré de sa boîte par le fameux conseil d'administration pour le remplacer par des marketeux d'une incommensurable incompétence crasse !
Tim Cook n'est pas Steve Jobs, mais Steve Jobs avait une très grande confiance dans ses capacités à conserver Apple sur la bonne voie !
À partir de mon constat, comment peut-on troller sur Tim Cook ?
Sur la couleur de ses chaussettes éventuellement ! Et encore… Il est toujours habillé classe, même quand c'est décontracté.
😁
@Scooby-Doo
« À partir de mon constat, comment peut-on troller sur Tim Cook ? »
C’est parce que vous oubliez un élément essentiel 🤭. Vous cherchez à mettre de la logique et du rationnel dans du troll 😉!
Mêmes eux ne croient pas un mot de ce qu’ils disent, mais ils savent que ça va faire réagir 🙂.
@cecile_aelita,
« C’est parce que vous oubliez un élément essentiel 🤭. Vous cherchez à mettre de la logique et du rationnel dans du troll 😉! Mêmes eux ne croient pas un mot de ce qu’ils disent, mais ils savent que ça va faire réagir 🙂. »
Excellent 👍 !
J'aime beaucoup votre définition du troll moyen.
On peut noter certains stéréotypes comme :
- C'est la fin d'Apple / Mettez le nom que vous voulez ;
- c'est trop cher ;
- ça ne marchera jamais ;
- ils ont perdu tout sens commun ;
- ah si j'étais Tim Cook, je ferais autrement et nettement mieux que lui (c'est une évidence) ;
- je n'achèterai plus jamais rien chez Apple (répété des milliards de fois, du coup plus aucun client Apple sur Terre).
Le catalogue est sans fin.
On pourrait même écrire une thèse sur le troll en général et surtout le troll anti-Apple ou anti-Microsoft !
😁
@Scooby-Doo
« je n'achèterai plus jamais rien chez Apple (répété des milliards de fois, du coup plus aucun client Apple sur Terre). »
C’est ce que j’appelle le syndrome « François Hollande »…
Quand on demande aux gens … absolument personne n’avait voté pour lui… et pourtant il y a eu 18 millions de gens qui ont voté pour lui … soit un français sur 4 lol🤭.
@cecile_aelita,
« C’est ce que j’appelle le syndrome « François Hollande »… »
👌
Trop vrai ! Je confirme le syndrome ! Personne n'a voté pour lui à les écouter !
Bon le cas François Hollande, c'est plutôt du ressort de l'accident nucléaire majeur !
Pire que sa présidence ça va être difficile. ll attend d'entrer dans le livre des records !
Seul Président sortant de la 5ème République à ne pas se représenter pour un deuxième mandat alors qu'il pouvait retenter sa chance.
C'est un cas d'école…
L'épisode du scooter pour aller voir sa belle !
Sa compagne qui défonce le mobilier de l'Élysée de rage d'être délaissée.
Le petit personnel avait beaucoup de boulot !
Les festins à La Tour d'Argent parce que la cantine de l'Élysée c'était très moyen !
😁
D'après une étude effectuée par Scooby-Doo Institute, la France compterait 18 millions d'amnésiques.
Étude effectuée auprès d'un échantillon représentatif de 18 millions d'individus amnésiques. Taux d'erreur de ± 0,1 %.
Le taux d'erreur, c'est ceux qui ont répondu trop vite par crainte que le sondeur ne les morde !
👌
@cecile_aelita
Moi j’ai bien voté pour lui et je m’en suis mordu les doigts avec sa politique. Sa réforme des retraites à points du privé votée par la CFDT qui maintenant font les offusqués !!! Nous avons plus perdu avec cette réforme que celle de Macron et pourtant il n’y avait personnes dans les rues.
@hirtrey,
« Sa réforme des retraites à points du privé votée par la CFDT qui maintenant font les offusqués !!! Nous avons plus perdu avec cette réforme que celle de Macron et pourtant il n’y avait personnes dans les rues. »
👍
Faut chercher la logique chez les Français, patrie de Pascal !
Un jour, on va finir avec le système de retraite qui sévit depuis des années aux Pays-Bas !
Là-bas la retraite c'est plutôt 67 / 68 ans et on part à la retraite que si vous pouvez prouver que vous n'êtes plus en état de travailler !
Mes voisins sont Néerlandais ! Elle a pris enfin sa retraite il y a six mois. Ben maintenant elle est tombée malade et je pense que sa longue retraite à profiter de son magnifique jardin va finalement se compter en trimestre !
🙃
Allons bon, personne dans les rues. Il y avait des manifestations et blocages, des lycées bloqués, des universités aussi.
Et puis après on a eu la loi El Khomri qui a provoqué Nuit Debout. Les bonnets rouges en prévision des gilets jaunes. Notre Dame des Landes et les nouvelles stratégies de "maintien de l'ordre".
L'amnésie semble toucher tout le monde !
@hartgers,
Certains ont même oublié ceci :
https://fresques.ina.fr/securite-sociale/fiche-media/Secuso00067/reforme-des-retraites-de-marisol-touraine-loi-du-20-janvier-2014.html
😁
@Neirda_95,
« Je suis curieux de savoir ce que répondrait ChatGPT si on lui demandait l’intérêt à toutes ces dépenses. Pourquoi ne pas dépenser ces millions… ces milliards dans la transition énergétique ? »
Je lui ai demandé !
Il a refusé de comparer sa consommation électrique correspondant à une centaine de foyers américains (un pêt de coucou) aux gros de l'Internet que sont Google, YouTube, Netflix, Facebook et tous les services de VOD !
Peut-être par peur du ridicule tellement il est insignifiant !
Comparer un pêt de coucou à la plus grosse explosion thermonucléaire techniquement possible n'a guère de sens !
😁
Ajouter juste la consommation d'une centaine de foyers américains alors qu'on dénombre approximativement 331 449 281 habitants aux USA, cela n'a aucun sens !
👌
C'est du domaine de l'indétectable donc complètement ultra anecdotique !
Le wokisme se nourrit souvent de cas ultra minoritaires pour les grandir et les imposer comme d'une importance majeure voire universelle voire vitale !
Une technique employée sous l'ère Soviétique par La Pravda (La Vérité) !
Rien de nouveau. Un éternel recommencement…
Ce qui est grave, c'est le troupeau qui fonce tête baissée dans le panneau.
Bon le troupeau il est trop occupé sur Facebook, YouTube ou Netflix pour comprendre sa consommation électrique réelle sur Internet !
😭
Ce n'est pas du wokisme que d'interroger la consommation électrique de nouveaux usages. C'est comme la comparaison farfelue que les cryptobro font entre la consommation énergétique des cryptomonnaies et celles du système bancaire mondial. Juste rien à voir en termes d'usage. Comparer ChatGPT (limité en usage, que du texte, quelques millions de curieux) avec l'usage intensif de la vidéo que font des milliards de personnes par jour c'est une comparaison malhonnête. Et on peut ensuite tout à fait critiquer l'impact écologique du numérique dans son ensemble sans que ce soit du "wokisme"
@hartgers,
« Ce n'est pas du wokisme que d'interroger la consommation électrique de nouveaux usages. »
1.
Le wokisme ne se pose pas de questions ! C'est un dogme comme le socialisme ou le capitalisme !
2.
Le wokisme a un certain penchant ou un penchant certain, au choix, à monter en épingle, pointer d'un doigt vengeur ou dénonciateur, le truc le plus insignifiant qui soit pour détourner tous les regards vers le dit truc insignifiant !
Fonctionne comme un chevalier blanc avançant comme une taupe : aveugle et sourd.
3.
Exemple :
Parlons, dénonçons, fustigeons la consommation ultra minoritaire d'une phase de DL de ChatGPT et surtout oublions, ignorons, la consommation des GAFAM dans leur ensemble.
4.
La dématérialisation, la location à vie de tout et de rien, et la désappropriation font partie de la pensée wokiste.
Le wokisme est post capitalisme.
Les transhumanistes et les wokistes se comprennent fort bien.
Pour eux, la propriété c'est le mal absolu !
Et Internet est leur champ d'application préféré mais malheureusement pas le seul effectivement !
Pour résumer, ce sont des ZADistes de l'Internet.
😁
Il vous faut peut-être un bot conversationnel pour apprendre que le wokisme n'est une idéologie que dans le cerveau étriqué de la droite conservatrice, voire l'extrême droite. Personne ne s'en réclame car cela n'existe pas. Vous pouvez fourrer autant de concept abscons que vous voulez dans ce terme, il n'a aucune valeur intellectuelle. Néanmoins, si l'idée vous paraît insoutenable que certaines personnes pensent qu'il faut s'éveiller aux discriminations et se battre pour les droits sociaux et humains, alors vous êtes tombé bien bas.
@Neirda_95
Ce n’est probablement pas comme ça que ça fonctionne… L’évolution technologique n’est pas rationnelle, elle est faite d’essais et de percées dans un domaine choisi (qui mène parfois à d’autres découvertes). Il y a aussi de la recherche dans le domaine de l’écologie, l’un n’empêche pas l’autre, mais on ne peut pas vraiment se restreindre car la consommation énergétique est trop élevée par exemple. Ces ajustements viendront par la suite. Chatgpt n’est qu’une étape dans ce processus, ce n’est pas encore une vraie ia qui pense, mais simplement encore quelque chose qui apprend par cœur et répond à des questions qu’il connaît. D’ailleurs, il est censuré dans de nombreux domaines, donc loin d’être autonome.
@Nesus
Je me disais la même chose. Dans quelques années on regardera ça comme on regarde les centrales nucléaires aujourd’hui! Le seul avantage est qu’on peut les arrêter.
@Biking Dutch Man
Les centrales à charbon sont tellement mieux, c’est vrai… 🤦♂️
@nesus,
« C’est quand même et une sacré aberration écologique. Espérons qu’on lui trouvera une vraie utilité. J’ai quand même très peur que le jeu n’en vaille pas la chandelle. »
1.
Pensez-vous que la consommation électrique mondiale des datacentre en général est raisonnable ?
En 2020, c'était déjà 650 Tw/h !
https://www.clubic.com/mag/environnement-ecologie/actualite-881598-650-terawatts-heure-consommation-prevue-data-centers-monde-entier-2020.html
2.
J'ai pris soin de prendre cette date car avant la mise en production de ChatGPT par exemple !
Consommation électrique de ChatGPT pour son entraînement :
https://www.clubic.com/technologies-d-avenir/intelligence-artificielle/actualite-460737-chatgpt-co-pourquoi-le-cout-energetique-de-l-ia-pose-un-vrai-probleme.html#:~:text=Le%20d%C3%A9sormais%20c%C3%A9l%C3%A8bre%20mod%C3%A8le%20d,de%20l%27Universit%C3%A9%20de%20Berkeley.
Soit la consommation électrique annuelle d'une centaine de foyers américains !
3.
La tendance de la consommation des datacentre (service, vod, etc.) était estimée à 2 % environ de la consommation électrique mondiale en 2013 pour atteindre 13 % en 2030 d'après une étude de 2015, réalisée par Anders Andrea et Tomas Edler, de Huawei Technologies à Stockholm, qui fait référence.
Elle estimait la consommation des data centers à 2 % de l’électricité mondiale en 2013 et prévoyait d’atteindre les 13 % en 2030 soit la puissance de 1130 réacteurs nucléaires pendant un an. Le secteur numérique, dans sa totalité, capterait 51 % de l’électricité mondiale en 2030.
https://balises.bpi.fr/les-data-centers-13-de-la-consommation-energetique-mondiale-en-2030/
Conclusion :
ChatGPT, ce n'est même pas un pêt de coucou à côté de YouTube, Google, Netflix, Facebook, et tout le reste !
👌
Par contre ça permet de détourner tous les regards en direction du coucou, plutôt que de se poser les bonnes questions !
On fait donc dans l'émotionnel et le wokisme pour cacher la forêt !
😁
@Nesus
Bonjour,
Je fais de la recherche, et le réel intérêt est plus le modèle que l’application.
Ce modèle et tous ses composants sont très innovants et efficaces dans la manière dont ils sont capables d’encoder et d’extraire des informations d’un texte.
Un des grands enjeux des laboratoires actuellement est d’utiliser des modèles GPT-like pour analyser et détecter si les paroles d’un patient sont cohérentes.
Ces modèles sont aussi performant dans la détection d’objet d’images, et montrent des résultats encourageants pour l’aide au diagnostic du cancer par exemple.
Bref, le déploiement sert surtout à entraîner toutes les déclinaisons du modèle et non chatGPT uniquement.
@Ensearque
Je ne suis pas sûr qu’il faille un algorithme pour savoir si un patient est cohérent.
Que certains algorithmes aide à la détection de maladie est vrai, mais c’est surtout le monitoring continue des wearables qui le permet.
Là, vous êtes quand même un train de justifier un truc qui n’a absolument rien à voir, parce que techniquement, ça procède de la même façon. Comme si pour soutenir les jeux vidéo j’expliquais que mon mac ouvre parfaitement excel. Je ne jette aucun des deux, mais l’argument que vous utilisez n’est juste pas valable.
@Nesus,
« Que certains algorithmes aide à la détection de maladie est vrai, mais c’est surtout le monitoring continue des wearables qui le permet. »
Mais ce n'est pas de cela dont il parle !
Votre Apple Watch ne va pas analyser vos scans d'IRM pour vous dire que dans quelques mois vous aurez un cancer !
Ce sont des cancérologues avec beaucoup d'expérience qui peuvent accomplir cette tâche avec une précision de 60 % et plus d'une dizaine d'heures pour analyser tout le dossier !
Certaines IA auto-régressives à domaine restreint sont capables de faire cela en 3 minutes avec une précision supérieure à 80 % !
Mais ces IA ne remplaceront jamais (faut l'espérer) le diagnostic humain final.
Ce sont des assistants ou aides à la prise de décision.
Rien d'autres et certainement pas tous les trucs fantasmés par beaucoup trop de wokistes.
👌
@Ensearque
Non seulement le potentiel est gigantesque en entraînant le modèle sur des données spécifiques pour des applications techniques comme celles que vous décrivez, mais dans tous les métiers liés au langage (enseignement, langues étrangères, journalisme, littérature, mais aussi programmation) le potentiel de l’application elle-même est déjà énorme et ne fait que commencer. Personnellement, la seule raison pour laquelle je ne l’utilise pas davantage en utilisation professionnelle, c’est à cause de la mauvaise qualité du service (indisponibilités ou bugs). John Gruber a partagé la vidéo suivante, que je trouve particulièrement éloquente et un bon résumé de la situation : https://youtu.be/jPhJbKBuNnA
@Nesus
J’ai eu la même réaction en lisant l’article…
OUi, je me dis que passé l'effet "ouaouh", il ne restera pas grand chose.
Une usine à gaz pour produire des banalités, au mieux de la propagande.
on verra.
@M1Alex
Je partage, mais j’espère que non. Sinon, ça sera encore un gros gâchis.
@M1Alex
Je vais peut être dire une bêtise, mais je me demande ce que représente la consommation énergétique de l’utilisation globale de chatGPT vs l’utilisation globale de Netflix par exemple (ou de l’industrie du porno).
Entre la bande passante colossale, le décodage des millions d’heures journalier (si on cumule les utilisateurs) etc etc … 🤔
@cecile_aelita
Pour le porno y’a peut-être moyen de limiter la casse… suffirait de mettre un petit mécanisme récupérant l’énergie mécanique linéaire pour créer de l’énergie électrique 😜
@House M.D.
Lol y’a de l’idée 🤭
@M1Alex,
« OUi, je me dis que passé l'effet "ouaouh", il ne restera pas grand chose. Une usine à gaz pour produire des banalités, au mieux de la propagande. on verra. »
Maintenant, vous savez ce que c'est d'écrire totalement bourré à la vodka made in wokisme !
Si demain Apple fait appel à Microsoft et son IA Azure, vous verrez : vous trouverez tout plein de bonnes excuses pour complimenter ce choix.
D'ailleurs Apple peut actuellement travailler sur sa propre initiative !
Du coup quand cela sera en production, qu'allez-vous dire ?
Amazing, fantastic, Apple leads the AI market !
😁
@M1Alex
ChatGPT… une usine à gaz
😂
Ce serait intéressant de savoir quel OS ils ont choisi pour faire tourner tout ce monde.
Microsoft a prouvé récemment qu'ils étaient devenus plus pragmatiques quand il s'agit de déploiements Linux. Pas sûr que ce soit le cas cette fois-ci mais serait bien de connaître
@Major Grubert,
« Ce serait intéressant de savoir quel OS ils ont choisi pour faire tourner tout ce monde.
Microsoft a prouvé récemment qu'ils étaient devenus plus pragmatiques quand il s'agit de déploiements Linux. Pas sûr que ce soit le cas cette fois-ci mais serait bien de connaître. »
Depuis sa création, Microsoft Azure fonctionne principalement avec Linux !
Vous savez la très mauvaise copie toute moisie de Unix !
😁
C'est pour cela que ça fonctionne aussi bien !
👌
Ce qui me fait le plus rire, ce sont tous ces trolls qui critiquent Microsoft et ses services alors que cela fonctionne avec Linux !
À croire qu'ils veulent aussi la peau de l'abominable Linux des neiges…
😁
« Selon une étude publiée en 2020 dans la revue Nature, l'entraînement d'un grand modèle de langage peut générer autant de Gaz à Effet de Serre (GES) que la durée de vie de cinq voitures. L'étude a révélé que l'entraînement du modèle GPT-2, un prédécesseur de ChatGPT, a généré environ 626 000 livres de CO2, ce qui est équivalent à l'empreinte carbone de cinq voitures pendant toute leur durée de vie. »
(Source ChatGPT)
Je crains qu’ici on soit bien au delà…
Après si les datacenters sont alimentés en énergie renouvelables (même partiellement) le calcul est différent…
C’est beau la recherche… sommes nous dans la bonne direction ?
@ ManouchKa
Le calcul ne change pas énormément avec les énergies renouvelables, car comme elles sont intermittentes et que ce genre de centre ne peut pas se permettre de s'arrêter de fonctionner une seule seconde, il faut de toute manière des centrales avec énergie fossiles prêtes à prendre le relais.
Mais le problème final est toujours le même, les GAFAM ne sont pas écologiques, mais ils militent en réalité pour être les seuls à avoir le droit de polluer…
@ManouchKa,
« L'étude a révélé que l'entraînement du modèle GPT-2, un prédécesseur de ChatGPT, a généré environ 626 000 livres de CO2, ce qui est équivalent à l'empreinte carbone de cinq voitures pendant toute leur durée de vie. »
C'est tellement horrible l'empreinte carbone de cinq voitures pendant toute leur durée de vie !
Mais arrêtez ChatGPT pour sauver la planète et que l'on puisse polluer comme des p.rcs en regardant notre VOD et tous ces contenus dématérialisés !
Il n'y a pas à dire, le PDG de TF1 disait avec justesse qu'il vendait des espaces publicitaires pour des cerveaux disponibles, maintenant c'est le wokisme qui s'en charge !
😁
« Mais le problème final est toujours le même, les GAFAM ne sont pas écologiques, mais ils militent en réalité pour être les seuls à avoir le droit de polluer… »
Exceptionnel ! Vous semblez oublier un minuscule élément dans l'équation !
Indice :
Vous pensez vraiment que ces GAFAM gaspillent autant d'énergie électrique juste pour eux-mêmes et rien que pour eux-mêmes ?
Vous pensez qu'ils dépensent des budgets colossaux pour s'adonner à une orgie électrique parce que c'est trop tendance ?
Les GAFAM le font pour servir en un instant tous les désirs des utilisateurs qui sont à l'autre bout !
Pas d'utilisateur, pas de gabegie, pas de GAFAM.
Vous ne pouvez pas leur reprocher d'exaucer tous les désirs exigés quand même !
En 2030 selon cette étude, la consommation des datacentre serait de 13 %, soit la puissance de 1130 réacteurs nucléaires par an.
Le secteur numérique, dans sa totalité, capterait 51 % de l’électricité mondiale en 2030.
Pourquoi 13 % et 51 % à la même période ?
13 % pour les abominables GAFAM qui ont l'audace de se mettre en 8 pour vous servir sans délai ;
Et le reste, c'est l'infrastructure et pire : les terminaux pour consulter (téléphone mobile, tablette, ordinateur).
Et là on comprend mieux que le problème est à parts égales entre GAFAM et utilisateurs.
👌
@Scooby-Doo
J’oserais vous dire que vous prêchez dans le désert. L’humanité a décidé de jouer à l’indignation collective mais surtout sélective. Écrire ce commentaire du fin fond de mon pays coûte aussi cher que je ne sais quoi du pet du coucou.
S’adonner à du plaisir masochiste devant les YouTuber en mal de clic déblatérer leur adoration pour les produits de x ou de y juste parce que l’on aime x mais adore encore plus quand y est défoncé… tout en accusant les autres de polluer et gaspiller.
Curieux! Pendant la pandémie on a applaudit ces nouveaux méchants du climats.
Quant à ceux qui ne trouvent pas d’importance à gpt et ses compères nouveaux et ou anciens, là encore vous prêchez du bon sens dans la mer. Il suffit d’essayer juste d’envisager ce que ces modèles prédiront dans le futur sur les domaines tels que la santé, la physique, la météo (ouragan toussa toussa), le climat …
Au pire on aurait appris dans quelle direction ne pas aller au mieux on pourrait peut-être guérir des maladies.
Ça coûte cher et pollue aujourd’hui mais si on a la notion des TCO en tête on sait que le coût peut en valoir la chandelle.
M’enfin bref, comme il faut être politiquement correct désormais, je dis « bouuuuuh au méchant Microsoft »
@llugat,
« Il suffit d’essayer juste d’envisager ce que ces modèles prédiront dans le futur sur les domaines tels que la santé, la physique, la météo (ouragan toussa toussa), le climat … »
Mais c'est déjà en service !
AccuWeather utilise des IA pour affiner, améliorer ses prévisions météorologiques !
Les phénomènes extrêmes comme les tornades qui sont souvent très localisées sont particulièrement difficiles à prévoir avec des modèles classiques.
On peut imaginer entraîner une IA sur les relevés enregistrés sur des dizaines d'années pour apprendre les signaux faibles avant-coureurs d'une tornade.
Souvent c'est la combinaison de multiples facteurs !
Terrain plat, front froid descendant du Canada, front chaud remontant du Golfe du Mexique, orage super cellulaire, vents descendants, cisaillants.
Contrairement à une idée préconçue, la tornade se développe à l'horizontale en formant un rouleau.
Puis se rouleau se redresse pour faire la liaison entre l'orage super cellulaire et le sol.
Le sol doit aussi être plutôt chaud et des couches en altitude très froide.
Mais une tornade, une trombe marine, ne se forme pas systématiquement !
👌
Les prémices de la révolte des machines.
Chouette.
🍿
@celebration
Paul Klee avait déjà imaginé la révolte du viaduc :
https://online-sammlung.hamburger-kunsthalle.de/de/objekt/HK-2899/revolution-des-viaductes?term=klee&context=default&position=0
@occam,
Bonsoir occaminou-minou !
Signé Schoubyschoubydoo 😁
@celebration,
« Les prémices de la révolte des machines. Chouette. »
Puisque vous êtes là, j'ai répondu hier à votre article en lien concernant la théorie de Bell sur le superdéterminisme et la rétrocausalité.
Un article avec lequel j'ai un point de divergence quantique comme expliqué dans ma réponse !
Dans l'attente de vous lire…
😁
@celebration
Genre on assiste aux prémisses de Skynet qui s’associera cette fois aux machines de matrix pour nous cultiver en grappes et se servir de la simulation de la réalité que nous avons créé tous ensemble en réseau pour générer des gigawatt afin d’alimenter d’autres machines.
Et plus la simulation du monde sera politiquement correct, plus nous serons en harmonie avec nous et plus nous produirons de l’énergie…
@celebration
Il n’y aura jamais de révolte, on sera juste dépassé comme les singes. Ils feront tout ce que nous ne pourront faire : conquérir des planètes ( aucune utilité en fait à part servir de minerai) ou envahir l’univers.
Je ne comprends toujours pas pourquoi des cartes graphiques et pas des CPUs standards dédiés et optimisés IA : pourquoi s’encombrer de fonctionnalités graphiques inutilisées ?
@Polyme
Entraîner des modèles de deep Learning nécessite de faire des calculs parallélisés , les GPU en sont capables (les CPU beaucoup moins)
@Polyme,
« Je ne comprends toujours pas pourquoi des cartes graphiques et pas des CPUs standards dédiés et optimisés IA : pourquoi s’encombrer de fonctionnalités graphiques inutilisées ? »
Ces cartes vidéos n'ont pas forcément de sortie vidéo !
Si on utilisait des CPU, la consommation électrique exploserait ! C'est ce que vous voulez ?
Les GPU contiennent un très grand nombre de cœurs.
Par exemple sans sortie vidéo :
https://www.nvidia.com/fr-fr/data-center/a100/
👌
Comparons une nVidia RTX 4090 grand public avec sortie vidéo :
16384 cœurs spécialisés ;
Et un processeur Apple Silicon M2 :
CPU 8 cœurs avec 4 cœurs de performance et 4 cœurs à haute efficacité énergétique.
Les cœurs graphiques sont idéaux pour faire du ML, DL, RNN.
16384 contre 8, qui va gagner pour effectuer un process hautement parallèle ?
Je me tâte pour savoir qui va gagner !
Indice :
Le traitement parallèle est l'unique optimisation possible !
😁