LLaMA : l'alternative à GPT-3 lancée par Meta est déjà dans la nature
Le puissant modèle de langage qu'a présenté Meta le mois dernier est déjà en fuite. Baptisé LLaMA, il ne s'agit pas d'un chatbot comme ChatGPT ou Bing mais d'une base brute utilisée pour faire tourner un service similaire. S'il était censé rester réservé à une poignée de chercheurs et aux laboratoires s'inscrivant sur une liste d'attente, The Verge rapporte qu'un fichier torrent de LLaMA circule d'ores et déjà sur 4chan et est désormais disponible sur GitHub. Téléchargé massivement, certains s'inquiètent des conséquences de la diffusion à grande échelle d'une telle technologie.
Meta a présenté LLaMA comme un modèle visant à aider les ingénieurs à faire avancer leurs travaux sur l'IA. L'entreprise promet que sa technologie surpasse le GPT-3 d'OpenAI tout en nécessitant moins de ressources. À terme, LLaMA devrait être la base faisant tourner les futurs services liés à l'IA des plateformes de Meta, qui a visiblement prévu un équivalent à ChatGPT. L'entreprise n'a pas démenti la fuite dans ses communiqués.
Meta ne veut pas se laisser faire par ChatGPT et va mettre de l'IA dans WhatsApp et Instagram
Télécharger les fichiers en fuite de LLaMA ne devrait pas servir à grand-chose pour l'utilisateur lambda : il ne s'agit pas d'un chatbot livré clef en main, mais de son moteur de plus de 200 Go. Il faut donc des connaissances techniques pour en faire quoi que ce soit. Le modèle n'a pas été affiné pour la discussion, et il nécessite également une solide configuration pour fonctionner.
Les conséquences de cette fuite inquiètent. Sur les forums, de nombreux internautes s'activent pour faire tourner le modèle sur leurs ordinateurs personnels et arrivent déjà à générer du texte. Cet évènement risque d'être un grand changement dans le secteur étant donné que LLaMA pourrait devenir le premier chatbot open source téléchargeable par n'importe qui, là où OpenAI et Microsoft gardent précieusement sous clef les composants de leurs services. Les dérives d'un tel programme entre de mauvaises mains ne sont pas difficiles à imaginer : génération de spams, de fake news, de contenus problématiques…
Ce scénario est similaire à celui que nous avons connu pour les modèles de générations d'images. Si le DALL-E d'OpenAI a grandement popularisé la technologie en la rendant ultra accessible et grand public, une alternative open source fonctionnant en local a rapidement été lancée. Les garde-fous de celle-ci pouvant être désactivés facilement, cela a eu pour effet de poser de nombreuses questions.
DALL-E, Stable Diffusion (2/2) : des IA qui soulèvent de nombreuses questions
Deux points de vue s'opposent sur le sujet des IA. Certains veulent tout ouvrir afin de vite mettre en évidence les failles et d'éviter que tout ne fonctionne qu'au travers d'une poignée d'entreprise. En face, d'autres pensent que ces modèles potentiellement dangereux devraient être gardés privés pour éviter les dérives. Il ne reste plus qu'à attendre de voir quelles seront les conséquences de cette fuite, en bien comme en mal.
Est-ce vraiment si inquiétant d’avoir ça dans la
Nature ?
Et si oui, pourquoi donc ?
:)
"Les dérives d'un tel programme entre de mauvaises mains ne sont pas difficiles à imaginer : génération de spams, de fake news, de contenus problématiques…"
@Fabricius
Le problème est que des gardes fous ou des couches de contrôles n’ont pas encore été implémentés. Ce qui veut dire que l’on peut s’en servir pour faire dire ou faire des actions peu morales, contraire à ce que souhaitait Meta.
@Ensearque
Ah oui meta ce grand gardien de la moralité 🤣
@cosmoboy34
Meta n’a surtout pas envie qu’un malin génère un texte style Min Kmpf, et que cela leur retombe sur le dos
@Ensearque
Je m’inquiète pas trop pour eux. Ils ont fait bien pire et en sortent toujours les mains propres d’une manière ou d’une autre.
C'est une IA 'généraliste', j'imagine qu'il y a plein de trucs 'rigolos' à lui faire faire.
Une IA spécialisée en médicaments devait rechercher les produits les plus efficaces et les moins délétères ; quelqu'un lui a demandé de faire l'inverse. Résultat ? Des dizaines de milliers de nouvelles armes chimiques générées en quelques heures.
https://www.theverge.com/2022/3/17/22983197/ai-new-possible-chemical-weapons-generative-models-vx
Après, ça ne veut pas dire qu'elles sont toutes militarisables. Mais dans le lot...
Si tu couples ça avec une AI qui recherche le moyen le plus simple/efficace de synthétiser une molécule...
"Est-ce vraiment si inquiétant d’avoir ça dans la
Nature ?"
oui, toutes les technologies, armes, savoir et connaissances ne devraient pas être dans la nature, mais dans MA commode.
"Et si oui, pourquoi donc ? "
parce que les sont méchants et violents
alors que je suis gentil et pacifiste.
Après les virus, maintenant c’est les IA qui s’échappent des labos…
@ vomito
> c’est les IA qui s’échappent des labos
Cette IA est-elle en vérité chinoise ? 🤪
Hé hé... Tout le monde sait que quand le Llama est fâché, il (se) crache.
(N'est-ce pas, capitaine ?)
@ Matlouf
Il chante aussi !
@Matlouf
🦙 contre 🐈💨, ils font exprès ou quoi ?
Oui… mais en fait dès que quelque chose comme cela est inventé il n’est qu’une question de temps avant que cela fuite et soit détourné.
Vouloir garder cela dans la main de grandes entreprises est irréaliste, et mettre des garde fou qui sont par nature désactivables est une course sans fin.
L’AI apportera de très bonnes choses comme elle apportera sûrement de très mauvaises choses. Et on a pas attendu une AI pour avoir des propos haineux, on y arrive très bien tout seuls, merci beaucoup.
Par contre on vient de mettre le doigt dans un truc qui pourrait sortir de notre contrôle dans quelques temps… la SF nous en parle depuis longtemps.
bah, pas pire que la charrue.
Cela ne va que mettre en évidence les lacunes dans les technos qui constituent l'Internet aujourd'hui
Les DNS, les serveurs de mail, etc...
L'AI ne fait qu'automatiser des choses qu'un humain peut déjà faire. Rien de nouveau sauf la quantité de nuisance.
J'ai récupéré les fichiers hier soir. Ils représentent 250Go de données environ.
Pas encore testé.
@LolYangccool
Oui, comme indiqué dans l’article.
Qqun a un lien 😜? Edit : cf 4chan
@jopaone
On le trouve en 30s chrono. ;)
Une fuite ou un coup marketing ?
Je ne voix pas en quoi ces libérations seraient un nouveau danger. Les méchants n'ont pas attendu l'IA pour la "génération de spams, de fake news, de contenus problématiques". Le pire du Web est là depuis plusieurs années.
À la limite, c'est une menace pour l'emploi des petites mains des fermes à trolls.
Ce n’était qu’une question de temps qu’un tel moteur ne fuite ou soit Open Source. Ne pas oublier l’histoire derrière OpenIA et le pourquoi du Open dans leur nom.
C’est juste que lorsque Sam Altman a vu le potentiel qu’il s’est dit qu’il y avait moyen de se faire de l’argent avec GPT-3 (et ChatGPT) et donc il a décidé de le garder pour eux. On est très loin de leur but de vouloir faire une IA respectueuse de l’humanité qui était le « dogme » de départ.
Mais en même temps, lorsque l’on voit qu’il est président d’Y Combinator, il ne faut pas s’étonner. Ce sont des hommes d’affaires.
Maintenant, cela reste des IA génératrice, certes plutôt puissante, mais je ne doute pas que d’autres travailleront dans le sens de détecter ce genre d’outil pour éviter les dérives.
Maintenant, est-ce que les Meta, Twitter et autres réseaux, les rechercheront vraiment ?
@valcapri
La structure juridique choisie ne leur permettra pas de gagner beaucoup d’argent comparé au potentiel.
C’est peut-être surtout quand Altman a vu le coût des développements et de l’infrastructure pour répondre à la demande qu’il s’est dit qu’il fallait un moyen pérenne de monétiser.
@hptroll
Ah oui mais ça c’est l’explication normale qui buzze pas.
@hugome
😅😉
ohlalala ... mais qu'est ce qu'ils ont fichu ...
oh non ! ils ont cassé l'humanité !
@7X
« À la limite, c'est une menace pour l'emploi des petites mains des fermes à trolls »
Déja qu’avec l’IA, YetAnotherGit blablateur pétri de technologie arrogante et au ton précieux s’est transformé en Cecile, blablateuse plus accessible aux ménagères de moins de 50 ans, ce qui est une révolution, cela sera divertissant de la voir supplanter ou s’attaquer aux joyeux animateurs de la diversité culturelle sur ces forums. Mais il faut limiter les interventions à 3 par débat pour laisser cet espace vivable.
@Mike Mac
🫣 🤭 🤣 Grand méchant !
Mais côté algorithme, bien vu, ça doit donner à peu près ça.
Quant à « limiter les interventions à 3 par débat pour laisser cet espace vivable », vivement, oui !
Un ami scientifique a institué cette règle sur l’espace commentaires de son site : aucun participant n’a droit à plus de 10 % des commentaires sur un fil. Dès qu’il dépasse, avertissement. En cas de récidive, suspension pour une semaine. S’il répète, suspension définitive. Ça marche. Les dialogues sont plus réfléchis, le ton plus civilisé, les contributions plus substantielles.
@ occam : « Un ami scientifique a institué cette règle sur l’espace commentaires de son site : aucun participant n’a droit à plus de 10 % des commentaires sur un fil. »
Les conversations doivent démarrer plutôt mollement, du coup. 😁
@BeePotato
🛌 "Les conversations doivent démarrer plutôt mollement"
C’est tout le contraire. Ça concentre.
On y vient pour apporter une contribution, pas pour marquer des points contre un adversaire. Même en cas de divergences majeures. Les avis, aussi tranchants qu’ils soient, doivent être étayés. Ensuite, au lectorat de se former une opinion. Pas de matchs qui s’éternisent, ni d’empoignades qui dégénèrent en rixe verbale.
Vous vous souvenez de ce que raconte Feynman au sujet de sa première séance de travail à Los Alamos, tout jeune, avec Bohr, Fermi, Oppenheimer, Bethe et un tas d’autres autour de la table ? Qui l’a impressionné à vie.
Chacun y présentait son point de vue. Une seule prise. À la fin, le chef de conférence résumait le consensus, les divergences, les éventuelles objections qui avaient pu être formulées en fin de séance, et les points à résoudre. Feynman, habitué depuis Princeton au corps-à-corps, au one-upmanship perpétuel, en resta sur son cul. On pouvait donc avoir un débat concis, constructif, intelligent et civilisé, entre des gens qui en leur fief étaient férocement compétitifs, sinon féroces tout court.
@ occam :
Je vois que la plaisanterie, pourtant soulignée par un smiley, n’a pas été comprise.
Explicitons donc : si cette règle du « aucun participant n’a droit à plus de 10 % des commentaires » était appliquée de façon stricte, outre le fait que ça interdirait les conversations en petit groupe, il ne serait pas facile de trouver un volontaire pour lancer une conversation (ou écrire n’importe laquelle des 8 premières réponses). 😉
@occam
Très intéressant ça ! Je vais proposer la chose dans les forums auquel je participe.
Le format débat est vraiment bien et on ne l’utilise vraiment pas assez.
@Mike Mac
ça c’est marrant.
Dans IA Le I n’existe pas et n’est pas prêt d’exister
L'excellent Simon Wilson s'est amusé avec la version 7B et llama.cpp de Georgi Gerganov (celui qui a aussi implementé Whisper vers C/C++. Il vient de récidiver avec LLaMA).
Il s'est servi de son MacBook Pro M2 avec 64 Go pour cela. Le modèle a utilisé 4 Go de Ram et 748% de CPU. Il pense que le modèle 13B (B comme milliards de paramètres) est jouable sur sa machine.
Pour le modèle 65B, il faudra fort probablement une plus grosse machine. (Le 7B fonctionne aussi sur un MacBook Pro M1 Pro).
https://til.simonwillison.net/llms/llama-7b-m2
Bref, d'ici quelques semaines on devrait probablement voir arriver des apps Mac de type MacWhisper, mais basées sur le modèle de langage de Meta et utilisable par le commun des mortels.
@vincentn
C’est là que je suis vert d’avoir acheté un puissant iMac Intel.
Mis profond par Apple
@hugome
Pourquoi ? Lorsque vous avez acheté votre machine, elle convenait parfaitement à vos besoins, non ?
À moins de l’avoir acheté au moment ou juste avant l’annonce du passage aux Apple silicon, pas de regrets à avoir.
Alors oui, votre machine ne peut pas réellement exploiter des technologies de 2023, mais c’est le jeu de l’informatique.
Je ne peux pas exploiter certaines technologies avec mon MacBook Pro Intel, choses que je peux faire actuellement avec mon Mac Studiio M1 Max. Et ce dernier ne pourra probablement pas ou mal faire tourner certaines choses dans 4 ans, à la pointe de la technologie à ce moment-là.
Mais au final, et mon MacBook et mon Mac Studio auront été exploités au mieux, me donnant entièrement satisfaction.
N’oublions pas qu’il existe des solutions payantes en api.
L’intérêt principal du local, c’est d’économiser qqs dizaines d’euros par mois
Il doit pas y avoir beaucoup de gens capables d’entraîner un modèle local pour faire des trucs qu’on peut pas déjà faire avec une api.