Meta construirait sa propre infrastructure massive pour entrainer ses modèles d'IA
Meta compte bien rattraper OpenAI dans la course aux modèles de langage. Si elle a récemment présenté son nouveau Llama 2, celui-ci n'est pas encore au niveau du GPT-4 d'OpenAI. Qu'à cela ne tienne : l'entreprise de Mark Zuckerberg envisage de finaliser un nouveau modèle qu'elle espère au moins aussi efficace que son concurrent direct au début d'année prochaine. Le Wall Street Journal rapporte que Meta serait en train de mettre la main sur de nombreuses cartes graphiques spécialisées de NVIDIA afin de construire un énorme data center dédié à son entraînement.
La nouvelle peut surprendre. Microsoft dispose déjà de sa propre infrastructure lui ayant coûté des millions de dollars et notamment utilisée pour entraîner ChatGPT ou les premières versions de Llama. Les deux entreprises se sont récemment rapprochées à l'occasion du lancement de Llama 2, et on pouvait donc s'attendre à ce que le parc de Microsoft soit réutilisé pour de futurs projets. Cependant, des personnes proches du dossier affirment que Meta veut cette fois-ci entraîner son IA sur sa propre infrastructure. Le modèle sera ensuite diffusé de manière open source.
Avec ce nouveau modèle, Meta voudrait développer « des outils d'IA capables d'émuler les expressions humaines ». À terme, des chatbots devraient être proposés dans WhatsApp et Instagram : Mark Zuckerberg avait évoqué le développement de « personnages IA » capables « d'aider les gens de diverses manières ». Une première version du concept pourrait être déployée pas plus tard que ce mois-ci.
Meta ne veut pas se laisser faire par ChatGPT et va mettre de l'IA dans WhatsApp et Instagram
Si Meta fait de son mieux pour rattraper OpenAI, cela risque de ne pas être suffisant. GPT-4 est sorti au mois de mars, et l'alternative de Meta arriverait quasiment un an après. Google aurait également un nouveau modèle dans les tuyaux baptisé Gemini, qui pourrait voir le jour entre temps. Toute l'industrie est dans la course, les rumeurs voulant qu'Apple débourse quotidiennement des millions de dollars pour faire progresser ses technologies d'IA. Amazon planche de son côté sur une nouvelle version plus intelligente d'Alexa.
Et leurs modèles diront-ils que cette course à la plus grosse est une catastrophe en termes de durabilité ?
@Mac1978
❔
@Mac1978
« Durabilité », vous dites ?
Vous vouliez peut-être dire :
LA catastrophe dure’ex nihilo ?
((J’ai crû voir un vilain RoO minet !))
(((le Chat GPT∅)))
Ils sont peut être pas mauvais en IA. Bon le metavers ça c'est mort. Threads ça à l'air de retomber. Tout cas ils en ont du blé à dépenser.
@Chris K
C’est surtout imaginez les bases de données qu’ils ont pour entraîner leur IA… ils pourront faire une IA debile qui ne pense qu’à se poster en selfie me direz-vous 😅
@whocancatchme
une ia pour mettre des ❤️ et des 👍🏽
ca n’a pas de prix !!!
@raoolito
"une ia pour mettre des ❤️ et des 👍🏽"
et, régulièrement, conseiller de voter républicain et aussi d'arrêter de croire toutes ces conneries sur le réchauffement climatique...
@pocketalex
ah nonpas possible
Elon a bien dit que les IA etaient democrates 😅
blablabla
@ech1965
Rien compris
@Baptiste_nv18
il dit qu’il est pas content car il va payer une taxe.
le reste c à bypasser et donc sur le fond il ne dit rien d’interessant 😁
@ech1965
Prière de ne pas se mettre à l'extérieur pour commenter... Ce soleil de septembre impose une surchauffe neuronale déplorable pour la compréhension.
On est dans un déclin social mondial, ou chaque ressources utilisées se trouve de plus en plus rare, avec des ressources qui s’amenuisent à une vitesse fulgurante, et il y a des sociétés multimilliardaires qui s’amusent à dépenser un nombre incalculable de ressources pour remplacer quoi???? d’autres êtres humains mais artificiel. Alors moi y’a pas de problème à remplacer des humains de manière artificielle, mais si un être humain artificiel demande pour fonctionner la quantité de 10 millions de personnes en terme d’énergie pour moi, ça n’a aucun intérêt. On se trouve plus dans les années 60 ou 70 ou le pétrole coulait à Flo ou l’écologie c’était un mot qu’on voulait même pas entendre parce qu’on se disait ça n’arrivera jamais, mais aujourd’hui on est en 2023 et on se rend compte depuis maintenant une bonne dizaine d’années que tout ce qu’on a fait. Depuis le début c’était de la merde et on continue à faire de la merde. 💩 j’adore 👏
@Hazuka
Point de vue intéressant !
@chrisfrank
Il y a beaucoup de sources très fiables, mais je peux vous renvoyer vers l’une des sources francophones les plus connus , Jean-Marc Jancovici
Mais je trouve qu’on fait vraiment de la merde pour à peu près tout aujourd’hui . en créant recréant, on s’imaginant que l’énergie est illimité. Malheureusement, la terre elle à la fâcheuse, tendance de ne pas se gonfler avec le temps. à moment donné, on va manquer de tout, et plus personne n’aura rien
@Hazuka
ne t'inquiète pas, les changements profonds de notre société à faire pour la survie de l'espèce humaine seront fait
juste qu'ils seront fait bien trop tard, mais ils seront fait.
Entre temps, bon courage au citadin qui revient bredouille du supermarché, et qui a une famille a nourrir... il n'avait qu'a aller dans la rue au bon moment pour manifester pour le climat au lieu de regarder Netflix sur son canapé, il n'avait qu'à voter pour un écolo et non pour un banquier ou une facho (ou à l'identique, pour un insoumis), bref on s'est compris : ça part en couille grave et les politiques ne font rien ... pas plus que les populations. Il arrivera donc ce qu'il arrivera, mais soit rassuré : une fois bien trop tard, les mesures à prendre seront prises
@pocketalex
"Entre temps, bon courage au citadin qui revient bredouille du supermarché, et qui a une famille a nourrir... il n'avait qu'a aller dans la rue au bon moment pour manifester pour le climat au lieu de regarder Netflix sur son canapé"
Ah la belle utopie. C’est vrai que manifester pour le climat, ça a vachement porté ses fruits jusqu’ici. Manifester, ça fait bien quinze ans que ça n’a jamais abouti au changement pour lequel les manifestations ont démarré. On peut le déplorer, mais sinon moins on pouvait le constater et se rendre compte qu’il est nécessaire de faire autrement…
@pat3
vu le degré d'urgence, on devrait avoir 50% de la population dans la rue (d'où mon commentaire) ... et là ça changerait quelque chose, c'est une certitude
Mais si on a 0,01% des gens dans les manifs du climat, c'est le mieux du mieux. Donc les choses se passeront plus tard, avec les "petits soucis" collatéraux
@Hazuka
+1 👏
@Hazuka
Bien dit, d’ailleurs le patron d’OpenIA chatGPT a dit qu’en gros il fallait développer à fond les IA car ils permettront de « régler » le problème du climat facilement et rapidement.
Depuis que ChatGPT est sorti et a montré ce qu’il est techniquement possible de faire, il semble y avoir une vrai course pour créer/entrainer des modèles d’IA de plus en plus large (ChatGPT aurait environ 175 milliards de paramètres).
Je crois qu’il est estimé que le cerveau humain a environ 85 milliards de neurones et que chaque neurone est connecté par environ 10 000 synapses à d’autres neurones…
D’après certaines études (SemiAnalisys) le coût d’entrainement (sur des supercalculateurs pdt 6 mois) de ChatGPT GPT 3.5 serait entre disons 10 et 50 millions de dollars et le coût d’utilisation (inference) d’environ 3 millions de dollars par mois…
Mais malheureusement il semblerait que la méthodologie des « transformers » n’est pas facilement transposable a des modèles de plus grande échelle (1000 milliards et+ de paramètres) car elle pose alors des problèmes importants en terme de coût d’entrainement (plusieurs 100 millions / milliards d’euros), temps d’entrainement (plusieurs années), temps d’inference, consommation d’energie…
Il me donc probable que, a un moment donné, cela va pousser les Big Tech à explorer des façon plus rapide et plus efficace en terme de consommation d’énergie…
En particulier, certaines études semble montrer qu’avec des mémoires non-volatiles memristives (type Phase Change Memory (PCM), ReRAM, MRAM,…) dans le domaine analogique, au lieu de numérique, il semble possible de gagner au moins un facteur 100x en terme de vitesse, et au moins 1000x/10 000x en terme d’efficacité energetique…
Qd qqu’un arrivera a montrer que c’est possible et aussi beaucoup plus efficace, alors là, on verra beaucoup, beaucoup, beaucoup… plus de modèles d’IA être entrainé car cela coutera bcp moins cher !!!!
https://rain.ai
https://www.eetimes.com/research-breakthrough-promises-end-to-end-analog-chips-for-ai-computation/
https://www.eetimes.com/rain-demonstrates-ai-training-on-analog-chip/?utm_source=aihardwareshow&utm_medium=youtube
@dujarrier
impressionnante démonstration
si je résume : ce sera encore mieux et moins cher plus tard 😉?
@raoolito
Je dirais plutot que, de mon point de vue personnel, cela ne fait pas vraiment sens d’allouer actuellement plusieurs 100 millions de dollars pour developper de large modèle d’IA : « c’est mettre la charrue avant les boeufs »…
Il me paraitrait beaucoup plus judicieux de, en 1ère étape, d’abord allouer ces 100 millions de dollars pour accélérer la mise en production a très grande échelle des mémoires non-volatile memristive (type VG-SOT-MRAM developpé par le centre de rechercge européen IMEC), et une fois cette brique technologique disponible, en 2ème étape, allouer qques millions de dollars pour developper 100x plus rapidement et pour 100x / 1000x / 10 000x moins cher de très large modèle d’IA… : ça me semblerait plus logique…
De mon point de vue, c’est comme si les Big Tech essayait de créé d’enormes supercalculateurs en utilisant la technologie des tubes à vides, au lieu de d’abord créer le transistor (bcp plus efficace energetiquement que les tubes a vide) et ensuite de creer un supercalculateur avec des transistors : bien que un supercalculateyr avec des tubes a vide soit peut etre techniquement réalisable, ce serait très inefficace en terme de consommation d’énergie, encombrement,…
"De mon point de vue, c’est comme si les Big Tech essayait de créé d’enormes supercalculateurs en utilisant la technologie des tubes à vides, au lieu de d’abord créer le transistor (bcp plus efficace energetiquement que les tubes a vide) ..........."
Cela a déjà était fait et ça s'appelait ENIAC
https://www.hp.com/ca-fr/shop/offer.aspx?p=computer-history-all-about-the-eniac#
@codeX
Oui, justement, je suppose que l’ordinateur ENIAC etait moins fiable, très encombrant, consommait beaucoup plus d’energie… qu’un ordinateur a la puissance de calcul equivalente, mais fait avec des transistors en silicium…
C’est pour ça que je dis que, bien que techniquement possible, les Big Tech ont besoin de prendre conscience que l’utilisation actuelle d’uniquement des transistors en silicium et mémoire volatile n’est PAS une façon énergétiquement efficace pour l’objectif de créer des réseaux de neurones artificiels : l’avancée technologique (rupture technologique) dont il y a besoin est les memristors (mémoire non-volatile memristives)
Comme dans de nombreux domaine, il faut utiliser le bon outil pour la bonne application, c’est BEAUCOUP plus efficace…
Bien que techniquement possible, la simulation logicielle de reseaux de neurones artificiels avec des transistors au silicium et des memoires volatiles est néanmoins TRES inefficace d’un point de vue énergétique…
Il semble par contre que, l’utilisation de memristor (type ReRAM, MRAM) puisse permettre d’emuler le fonctionnement réel des synapses et a le potentiel diminuer par 1000x / 10 000x la consommation d’energie comparé a une simulation logicielle de reseaux de neurones artificiels faite uniquement avec des transistors au silicium et des memoires volatiles…
@dujarrier
Vous décririez donc, une architecture où mémoire et logique seraient plus proches, du fonctionnement de ce qu’elles émulent; ce qui tomberait sous le sens ?
@fleeBubl
Oui, c’est ça, les composants memristors (dont les memoires non-volatile comme la PCM, ReRAM, MRAM,… semble faire partie), semblent être des composants beaucoup mieux adaptés (consommation d’énergie beaucoup plus faible de 100x / 1000x / 10 000x moins !!!) pour émuler des réseaux de neurones inorganique (non-biologique), plutot qu’utilisé des transistors en silicium…
J’aurai tendance a pensé que les memristors sont des composants mieux adaptés pour tout système sensori-action (détecté qqch, et ensuite déclenché une action), tel robots, enceinte intelligente, thermostats,…
Et que les transistors en silicium resteront mieux adaptés pour des calculs bruts tel feuille excel pour calcul de comptabilité,…
Donc, a titre personnel, j’ai du mal a comprendre cet acharnement à allouer plusieurs 100 millions de dollars, voire plus 1 milliards de dollars dans des start-up lié à l’IA… sans d’abord avoir allouer cet argent a produire a plus grande echelle/volume les mémoires non-volatiles (en particulier la MRAM, type VG-SOT-MRAM developpé par le centre de recherche europeen IMEC), car cela permettrait ensuite de creer bcp plus rapidement et pour beaucoup moins cher de nombreux réseaux de neurones artificiels, moins consommateur d’énergie…
@dujarrier
Le prix n’est pas un problème pour eux
Le temps compte, être en avance sur les concurrents. C’est ça leur logique
@Lexada
Bien sur, je suis conscient que le facteur temps est important, mais si l’une des sociétés Big Tech souhaite réellement vouloir se demarquer de ses concurrents, investir en parallèle dans les technologies des mémoires non-volatiles émergentes (PCM, ReRAM, MRAM,…) donnerait probablement un énorme avantage compétitif vu que ça couterait beaucoup moins cher ensuite…
@dujarrier
Oui mais il a fallu qu’il y ait l’ENIAC pour qu’ensuite il y ait le RAMAC, etc. Même si les délais sont raccourcis aujourd’hui, l’histoire coule quand même dans un seul sens.
@dujarrier
C’est que les bigtech sont d’abord des Big money : elles investissent d’abord là où il y a de l’argent à se faire, et en second lieu là où il y aura de l’argent à se faire. 😉
Donc, aujourd’hui, le nerf de la guerre économique est à celle qui aura la plus grosse… IA, peu importe les moyens pour la fabriquer. Quand les choses se seront stabilisées sur ce plan, il sera temps de guerroyer pour être celle qui aura la plus grosse IA… au moindre coût.
Mais attendre aujourd’hui d’avoir le meilleur coût équivaudrait à être totalement déclassé demain… et dans l’incapacité de créer une IA à moindre coût.
La logique est économique avant d’être technique.
@pat3
Oui, toit a fait d’accord sur la logique economique.
Neanmoins, je pense vraiment qu’il y a un manque de vision/anticipation, un peu comme Steve Jobs qui avait pressenti l’utilité de créer des ordinateurs personnels avant que ça n’existe…
Pour moi, ça me parait évident que depuis des années il y a un manque important d’investissement (sous-investissement) visant à produire des memristors / puces de mémoires non-volatiles type MRAM, qui ont pourtant un champ d’application très vaste.
Il existe une entreprise americaine, Everspin, qui fait produire a faible volume des puces mémoires non-volatiles STT-MRAM de 1Gbit, et cette société semble actuellement avoir une capitalisation boursiere d’environ 200 millions de dollars.
En comparaison, des start-up dans le domaine de l’intelligence artificielle comme Open AI a je crois reçu plus de 1 milliards de dollar, ou Anthropic plus de 750 millions de dollars,…
Si Everspin (ou d’autres sociétés comme Avalanche Technology,…) se voyait egalement allouer plusieurs 100 de millions (ou 1 milliard) de dollars supplémentaires, en théorie, si bien gérer cela pourrait énormement accelerer le developpement et la mise en production a grand volume de mémoire non-volatile MRAM / memristor qui serait utile pour l’IA, mais aussi les objets connectés,…
Comme pour ChatGPT, c’est lorsque l’une des entreprises montrera de façon indiscutable une puce qui fera de l’IA avec des memristors, tout en etant beaucoup plus efficiente energetiquement, que les autres se decideront a allouer des ressources financières dans cette voie…
Par exemple la start-up américaine Rain Neuromorphics (https://rain.ai/about-us) espère réussir a developper une 1ère puce IA avec des memristors qui serait environ 140x plus efficace que le status quo… J’aimerai vraiment qu’ils réussissent pour faire avancer les choses…
On peut aussi voir le verre à moitié plein et se dire que l'IA va nous aider à trouver des solutions à tous nos problèmes...🤞
@powergeek
Trouver des solutions à tous nos problèmes de consommation, de pétrole et de dépenses de CO2 avec de l’énergie, étant presque directement relié au pétrole et automatiquement lié à la déperdition en CO2. Ça peut être intéressant mais dans le cadre d’une utilisation nucléaire globale par exemple si un réacteur nucléaire était utilisé uniquement pour l’IA du monde entier par exemple.
Certains détracteurs vont me dire oui mais le nucléaire c’est dangereux c’est des choses qu’on voit pas alors c’est très dangereux. Je suis désolé mais j’ai plus peur pour mes gosses de la voiture et surtout de la cigarette parce que c’est des milliers de morts chaque année de tuer, alors que le nucléaire c’est zéro. 👌
Du coup, imagine un réacteur nucléaire, même petit pour alimenter toutes les IA du monde pour trouver des solutions sur nos surconsommation de pétrole là ça serait intéressant
Malheureusement, dans la plupart des pays où se trouve ces serveurs surpuissant où sont stockés les IA dans le monde se trouve principalement alimenté, soit par des centrales à gaz soit par des centrales à charbon. Donc au final est-ce réellement viable?
Je vous laisse donc cette réflexion extrêmement compliqué à débattre
“Risque de ne pas être suffisant”… s’ils ne rattrapent pas leur retard, ils sont morts.
META a des moyens quasi illimités et les investisseurs qui suivent derrière (avec ce qui sexy aujourd’hui et donc attire des milliards en investissement : l’IA. Ce qui est has been aujourd’hui : le Metaverse).
Je n’aime pas cette société, force est d’admettre qu’ils savent se remettre en question.
@manuinbangkok
"Je n’aime pas cette société, force est d’admettre qu’ils savent se remettre en question."
C'est une lecture, j'en ai une autre : les investisseurs ont longtemps suivi Mark Zuckerberg dans son délire de positionner Facebook comme concepteur de casques VR et comme éditeur d'un métavers, jusqu'a cramer un sacré paquets de milliards pendant plusieurs années dans ce domaine alors que les "masses" n'ont jamais émis le moindre intérêt sur le sujet. C'est une logique d'aveuglement qui s'en est suivie, qui n'a que bien trop duré, et l'émergence de ChatGPT l'année dernière a juste révélée au grand jour que Meta était enfermé dans une (couteuse) voie sans issue, à cramer le pactole pour tenter de convaincre le monde entier que la VR c'est super, alors que le monde entier prenait conscience de l'énorme potentiel des IA
Et à un moment, "on" (les investisseur, le board, etc) ont gentiment pris le Marko enttre 4 murs pour lui expliquer que "ses conneries de metavers", ça va 2 minutes.
Et assez soudainement, le Marko nous a fait une jolie conférence de presse pour annoncer que tout ce que l'entreprise faisait depuis des années, ils allaient lever le pieds, et que la majorité des investissement seraient finalement fléchés sur l'IA, ou pour le dire autrement : on a pas vu passer le train, on est à la bourre, et maintenant on va courir derrière
Perso je trouve tout ça pathétique, et la remise en question c'est plutôt "vite on change de cheval et on fait bonne figure"