GPT-4 : Steve Wozniak et Elon Musk demandent une pause dans le développement de l'IA

Félix Cattafesta |

Le co-fondateur d'Apple Steve Wozniak a signé une lettre ouverte demandant une pause dans le développement des IA génératives comme GPT-4. Son nom apparait à côté d'autres pointures de la tech comme Elon Musk ainsi que plusieurs chercheurs en IA. Les signataires réclament une meilleure réglementation de la technologie ainsi qu'une surveillance plus poussée sur ce domaine.

Steve Wozniak en 2011. Image : Wikipédia.

« Les systèmes d'IA dotés d'une intelligence pouvant concurrencer celle des humains peuvent présenter des risques profonds pour la société et l'humanité », explique la lettre. Les signataires déplorent le manque de préparation dans le développement des différentes IA et une course hors de contrôle pour déployer des modèles de plus en plus puissants. Ils craignent que les risques soient difficiles à anticiper et à contrôler.

Devons-nous laisser les machines inonder nos canaux d'information de propagande et de fausses vérités ? Devons-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, nous rendre obsolète et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? Ces décisions ne doivent pas être déléguées à des leaders technologiques non élus.

Si ces questions peuvent sembler hallucinées, la crainte que l'IA puisse dérailler et se retourner contre ses créateurs est bien réelle. OpenAI a d'ailleurs testé son modèle GPT-4 pour s'assurer qu'il ne risquait pas de se rebeller et devenir nocif. Si les testeurs n'ont rien trouvé de dangereux, le modèle a tout de même réussi à mentir et à embaucher un humain pour résoudre des Captcha à sa place. Le CEO d'OpenAI se disait lui-même « un peu effrayé » par la technologie et la manière dont elle pourrait affecter le monde du travail, les élections et la diffusion de la désinformation.

GPT-4 : OpenAI a vérifié que son modèle ne pouvait pas se rebeller

GPT-4 : OpenAI a vérifié que son modèle ne pouvait pas se rebeller

« Les systèmes d'IA puissants ne devraient être développés que lorsque nous serons convaincus que leurs effets seront positifs et que les risques sont gérables », explique le texte. Les signataires invitent les laboratoires d'IA à faire une pause d'au moins 6 mois sur l'entraînement de leurs projets plus puissants que GPT-4. Ce moment de réflexion devrait être utilisé pour élaborer et mettre en œuvre des protocoles de sécurité contrôlés et supervisés par des experts externes indépendants.

Les signataires n'appellent pas à un arrêt complet du développement des IA, mais plutôt à un ralentissement dans une « course dangereuse vers des modèles de boîte noire toujours plus grands et imprévisibles ». Le texte fait ici référence à la récente décision d'OpenAI de ne plus divulguer certains secrets de fabrication de ses modèles. Ce choix inquiète certains experts, qui estiment que la transparence des informations permet aux chercheurs indépendants de détecter certaines failles.

La lettre a été signée par plusieurs spécialistes du domaine, avec notamment des membres du laboratoire d'IA de Google, le patron du principal concurrent d'OpenAI (Stability AI) mais aussi par des chercheurs et des universitaires. Elle a été mise en ligne sur le site du Future of Life Institute, une organisation fondée en 2014 s'intéressant aux risques existentiels modernes (réchauffement climatique, armes nucléaires…).

avatar hartgers | 

Ce n'est pas un problème la simulation de tissus. Je dis juste que ce n'est pas une compétence facile à acquérir quand on veut un résultat précis.

avatar Nesus | 

@Bicus

Et c’est une très bonne chose. Ça va enfin demander à l’humain de faire une effort de compréhension. Quand je vois les gens taper sur Google une info et lire juste les 3 lignes qui ressortent de la recherche sans même cliquer sur le lien pour tout lire, j’avoue avoir envie de l’humanité s’éteigne. Le doute obligera à la réflexion et ça sera une très bonne chose.

avatar Bicus | 

Après Facebook, Twitter, Trump, le Covid-19, Hanouna, ... comment peux-tu croire que le doute obligera à la réflexion et favorisera l'effort de compréhension ?

Personnellement j'ai perdu tout espoir depuis bien longtemps !

avatar Nesus | 

@Bicus

C’est une question de volume. Aujourd’hui un avis vaut pour un fait. Toutefois, la limite est compréhensible pour les non indigents.
Demain (presque aujourd’hui), la technologie créera de faux faits que personne ne pourra intuitivement (avec connaissances générales) contester. Du coup, nous serons collectivement obligés de produire de la source (ça c’est déjà le cas avec Facebook et compagnie) mais également de la réflexion.
Ça ne rendra pas l’idiot, intelligent du jour au lendemain, mais ça fera monter le niveau global.

avatar Bicus | 

Je ne vois toujours pas en quoi la prolifération d'intox (désormais rédigées en masse et à toute vitesse par des algorithme et appuyées par des images photo-réalistes crées de toutes part à la même vitesse) va engendrer par réaction quoi que ce soit de positif ou de constructif dans l'humanité.

Le principe de Brandolini, malheureusement maintes fois vérifié ces dernières années, va plutôt dans l'idée du sens contraire : un monde où plus rien n'est "fiable" car tout peut être falsifié de façon assez réaliste pour être crédible, et où la fabrication de l'intox (photos incluses) est désormais bien plus simple et plus rapide que ne l'est la démonstration de la falsification (désintox qui, de toutes façons, n'intéressera personne car on sera très rapidement passé à la fake-news suivante).

avatar Nesus | 

@Bicus

En temps que Nietzschéen, je vous répondrais que du chaos nait la lumière. Ce que j’ai expliqué dans ma réponse précédente.

avatar Scooby-Doo | 

@Bicus,

« Après Facebook, Twitter, Trump, le Covid-19, Hanouna, ... comment peux-tu croire que le doute obligera à la réflexion et favorisera l'effort de compréhension ? Personnellement j'ai perdu tout espoir depuis bien longtemps ! »

👍

Cela a commencé avec les programmes de télé-réalité, bien avant C8 qui n'existait même pas !

Dernier épisode en date : les concours de baffes aux USA !

😁

avatar iPop | 

@raoolito

Oui je connais, excellente cette chaîne, du pur délire mais bluffant.

avatar Nesus | 

@raoolito

Ça fait plaisir de lire du bon sens.

avatar Urubu | 

@raoolito

avatar Bicus | 

Il est en effet grand temps de pauser pour se poser les bonnes questions sur les dérives de ces nouvelles technologies, qu'il s'agisse de la génération d'images :
https://www.francetvinfo.fr/internet/intelligence-artificielle-de-fausses-images-qui-inquietent_5735546.html

ou des réponses textuelles :
https://podcasts.apple.com/fr/podcast/complorama/id1550565028?i=1000596337183

avatar rikki finefleur | 

Pas besoin d'ai pour transformer des images.
Photoshop existait avant.
Devions nous arrêter photoshop car susceptible de réaliser de fausses photos ?
Sachant qu'à la base PS est justement là pour trafiquer des photos.
Créer un ciel qui n'existe pas, l'éclaircir , l'assombrir, changer des couleurs, enlever des taches de rousseur, des personnages etc.. Bref que des fakes sur PS.

avatar Bicus | 

Photoshop est conçu pour modifier des images existantes, pas pour fabriquer de fausses photographies à partir de rien (même si, là encore, l'intégration de Sensei par Adobe pose question).
Surtout, Photoshop nécessite déjà d'avoir Photoshop puis d'avoir le temps d'apprendre à (bien) savoir s'en servir, pour arriver à un résultat crédible.
MidJourney nécessite juste de savoir chatter sur Discord pour obtenir en quelques minutes, sans aucune connaissance technique ni artistique, une fausse « photographie » réaliste d'Emmanuel Macron ramassant les poubelles.

Le problème de fond n'est pas l'existence de ce type d'outils (qui existent depuis longtemps et sont très utiles dans certains domaines), mais la rapidité et la facilité avec laquelle le très grand public peut s'en servir pour faire tout et n'importe quoi avec, de manière crédible (la crédibilité du résultat étant le facteur-clé dans le monde de désinformation qui est le notre aujourd'hui).

Je pense qu'il faut encadrer l'utilisation de ces outils :
- tout comme une voiture ne peut être conduite qu'après obtention du permis
- tout comme l'achat d'une arme à feu requiert -là encore- un permis soumis à plusieurs conditions
- tout comme beaucoup de médicaments requièrent une prescription médicale émise par un professionnel de santé
- tout comme les magazines pornographiques ne sont pas vendus à « La Grande Récré »

avatar rikki finefleur | 

Bicus
On peut tout a fait créer des fakes avec PS ( c'est d’ailleurs un des rôles de PS, que celui de modifier , retoucher des images, ou photos et donc de transformer la réalité ).
On n'a pas attendu l'ia pour le faire.
Après que le technicien soit bon ou pas, ne change rien à l'affaire. Qui dit retouche d'image, dit souvent transformation de la réalité.
Et on n'a pas attendu , non plus PS , pour faire des retouches d'images. Cela existait auparavant sur l'argentique.

Aujourd'hui c'est juste plus facile. Mais les fakes ont toujours existés. Ils n'avaient juste pas le même nom, on disait plutôt, montage photo ou retouche d'images.

avatar occam | 

@Bicus

"Il est en effet grand temps de pauser pour se poser les bonnes questions sur les dérives de ces nouvelles technologies"

Est-il trop tard pour un « Asilomar de l’intelligence artificielle » ?

En 1975, une conférence internationale réunissait à Asilomar, en Californie, les scientifiques à la pointe de la recherche en ADN recombiné.
Thème : les bases de la sécurité à instaurer et à respecter, afin d’éviter que des micro-organismes génétiquement modifiés ne se transforment en monstres incontrôlables.
https://www.ncbi.nlm.nih.gov/books/NBK234217/

https://onlinelibrary.wiley.com/doi/abs/10.1002/9780470015902.a0005613.pub2

Le témoignage de son instigateur principal, Paul Berg :
https://dnalc.cshl.edu/view/15021-The-moratorium-letter-regarding-risky-experiments-Paul-Berg.html

Nous devons encore beaucoup aux principes établis à Asilomar.

avatar vicento | 

@occam

Merci pour ce partage très intéressant

avatar occam | 

@vicento

Je viens de retrouver cet article rétrospectif de Paul Berg (libre d’accès). Sa conclusion est glaçante :

«  That said, there is a lesson in Asilomar for all of science:
the best way to respond to concerns created by emerging knowledge or early-stage technologies is for scientists from publicly-funded institutions to find common cause with the wider public about the best way to regulate — as early as possible.
Once scientists from corporations begin to dominate the research enterprise, it will simply be too late.
 »

https://www.nature.com/articles/455290a

J’ajoute que le « modèle Asilomar » me préoccupe depuis plus de 40 ans. Jeune journaliste scientifique à l’époque, j’avais fait une interview de Werner Arber, Nobel de médecine 1978 avec Hamilton Smith et Daniel Nathans pour leur contribution à la découverte des endonucléases de restriction, les « ciseaux moléculaires » dont un type particulier, CRISPR cas-9, commence à révolutionner la génétique moléculaire.
Comme la plupart des Nobélisés, Arber fut obligé de faire une tournée de conférences. J’en suivis une partie. À mon étonnement, il insista énormément sur les prémisses et conséquences d’Asilomar, et sur les moratoires volontaires décidés par les différents laboratoires, dont le sien. Il disait, en substance :
si ceux qui maîtrisent la matière ne prennent pas en main la gestion des risques, avec « safety first » pour règle suprême, personne d’autre n’aura les compétences pour le faire à leur place, quelle que puisse être la législation. À l’expression de mon étonnement — « Mais ça sort du cadre de la science, c’est une question d’éthique ! » — il me recadra sèchement :
« Toute la science est une question d’éthique. »

avatar Derw | 

@occam

😍

avatar hawker | 

Je comprend leur raisonnement et dans le fond, le futur leur donnera surement raison.

Mais ces décisions sont financièrement non plausibles .
Si un acteurs ralenti, il prend le risque que les concurrents ne les fassent pas et c’est hors de question pour une compagnie multi milliardaire d’être naive. De plus, quid des companies en retard sur openai, est-ce qu’ils arrêtent aussi leur progres, ou ils continuent en se disant qu’ils arrêtent quand ils sont au niveau? Aucuns sens dans la logique de ces regles du jeux complètement pliables.

avatar lepoulpebaleine | 

@hawker

C’est un peu comme l’arme atomique. Les pays qui l’ont ne sont pas légitimes pour empêcher les autres de l’avoir.
Il faut donc trouver un équilibre : que tous les acteurs aient accès à des IA de puissance similaire.

avatar spockyss | 

Elon Musk aurait signé ?
Pourtant Twitter est aussi une usine à fake news.

avatar Scooby-Doo | 

@spockyss,

« Elon Musk aurait signé ? Pourtant Twitter est aussi une usine à fake news.»

👍

Une grosse usine de portée mondiale !

Tellement vrai ! Et là, Elon ne trouve rien à redire ! Mais quel faux c*l !

👌

avatar hirtrey | 

@spockyss

Il essaye de se venger, il a été viré d’OpenAI 😂😂😂

avatar Scooby-Doo | 

@hirtrey,

« Il essaye de se venger, il a été viré d’OpenAI 😂😂😂 »

Elon Musk serait rancunier ? Comment cela ?

😁

avatar marc_os | 

> OpenAI a d'ailleurs testé son modèle GPT-4 pour s'assurer qu'il ne risquait pas se rebeller

Ben voyons.
Ils sont forts OpenAI en communication bullshit.
Rappel : Pour se « rébeller », encore faut-il avoir une conscience.
Bientôt on va nous sortir que GPT-4 a une âme.
(GPT-4 n'ayant pas de couleur, qui sait... 🤪)

avatar Nesus | 

@marc_os

Je suis même étonné qu’ils n’aient pas commencé par là. Après tout, c’est plus difficile à démontrer.

avatar Glop0606 | 

@marc_os

Carrément… ça me rappelle l’époque de la PS2 qui était tellement puissante qu’on avait peur qu’on s’en serve pour envoyer des missiles… c’est du marketing pour faire du buzz à bas coût…
Mais il y’a des risques (non pas skynet) et pour moi c’est que on saura plus dans le futur si ce qu’on voit est vrai ou faux, donc on sera toujours dans l’incertitude et bonjour pour avoir des infos réels.

avatar Darkiños | 

« La lettre a été signée par plusieurs spécialistes du domaine, avec notamment des membres du laboratoire d'IA de Google et le patron du principal concurrent d'OpenAI (Stability AI) »

Forcément, lorsqu’on est à des années lumières de la qualité du produit de son concurrent, il est plus pratique de proposer une pause générale pour se mettre à son niveau !

avatar hartgers | 

Elon Musk a participé à la fondation d'OpenAI. Mais lui il pense que les IA sont trop "woke"...

avatar celebration | 

Pour éclairer sur l’IA, une récente interview de Philippe Guillemant, électron libre physicien, ancien du CNRS et spécialiste de l’IA.

https://youtu.be/zkM9A1S3Vlw

avatar Crunch Crunch | 

Merde l… 😱😨
Matrix, Terminator, ca s'est, c'est maintenant ?!?

😳

avatar gwen | 

Heureusement que personne n’est monté au créneau quand ils ont commencé à monter leurs premier ordinateur dans un garage les deux Steve. Je ne suis pas certains qu’ils auraient arrêter leur projet si on leur avait gentiment demandé par communiqué de presse. 🤣

avatar rikki finefleur | 

@gwen
🤣

avatar Malouin | 

Les chinois vont bien rigoler…

avatar Seb42 | 

Et bien nous sommes quand même champions pour se tirer une balle dans le pied

avatar v1nce29 | 

Ça servait à rien de mettre la France à feu et à sang pour les retraites vu que l'IA va nous mettre au chômage d'ici une dizaine d'années.

avatar chepiok | 

Je trouve qu’ils ont raison. On y fonce trop tête baissée sous couvert de vouloir contrer la concurrence.

avatar 2-fre | 

Le loup est dans la bergerie

avatar SebastienFr | 

Personne ne relève ça ?

« Si les testeurs n'ont rien trouvé de dangereux, le modèle a tout de même réussi à mentir et à embaucher un humain pour résoudre des Captcha à sa place. »

Je suis preneur de sources si vous avez à en partager.

avatar Wadjih | 

J’ai plus tôt l’impression que c’est du marketing indirect

avatar Mike Mac | 

El GPT ++ demande à ne pas être stigmatisé !

Et rappelle bien volontiers ce proverbe français :

"Le vin est innocent, l'ivrogne seul est coupable".

avatar bgy11 | 

Ultron risque d’apparaître pour de bon 😅

avatar Nicolas56 | 

Et ils ont raison!

avatar Harschism | 

Pour les anglophones… an enlightening podcast straight from the horse’s mouth:

https://m.youtube.com/watch?v=L_Guz73e6fw

avatar DarKOrange | 

LOL les concurrents d’Open AI (Google) qui lui demandent de faire une pause de 6 mois sur le développement de son produit… 6 mois c’est le temps qu’il leur faut pour les rattraper ? 🤡

avatar hartgers | 

Je me demande quand même si Elon Musk est sincère en signant cette lettre ouverte.
Le supremaciste blanc/transhumaniste qui veut vivre sur Mars avec ses clones et vend des voitures autonomes aurait des considérations éthiques concernant les IA, alors qu'il a financé OpenAI ?
C'est très douteux. A mon avis (et ce n'est qu'une supposition, hein), il s'inquiète surtout de l'impact même marginal des IA sur les élections de 2024. Lui et sa clique de supremacistes blancs sont alarmés du fait que Chat GPT ait des garde-fous qui l'empêche d'écrire des trucs racistes ou discriminants. Or la droite conservatrice se nourrit essentiellement des peurs et haines pour avancer leur agenda autocratique. Les bots conversationnels pourraient rapporter quelques points cruciaux dans les élections !
Cela étant dit, je souscris à l'idée que la manipulation de la "pensée" des IA ne dépend que d'une poignée de techniciens et on imagine très bien ce qu'une dictature peut en faire. La Chine n'a pas attendu avant de livrer la sienne exempte de critique envers le régime.
En sous-main il y a des luttes politiques qui se jouent et cela me parait logique que des milliardaires avec un syndrome de persécution se sentent dérangés par la tournure des événements. On verra ce que ça donne !

avatar pocketalex | 

C'est bien que BING carbure à l'IA, ce serait pas mal qu'Amazon carbure à l'IA aussi

Histoire que quand on tape "SSD nVme 2To", on ait pas dans les résultats des HDD Sata de toutes les tailles, comme actuellement.

avatar Sonic Tooth | 

Une étude américaine s’est penchée sur le développement de ChatGPT en sondant 1000 dirigeants d’entreprises aux États-Unis. Premier enseignement : ChatGPT est déjà massivement implanté dans les usages. 48 % des entreprises ont procédé à des licenciements et 33 % de leurs dirigeants estiment que ChatGPT entraînera « certainement » des licenciements d’ici à la fin de l’année et 26% jugent ce phénomène « probable ».
Bienvenue au 21ème siècle et à la nouvelle génération abonnée au chômage à vie. Comme ça les gens en effet n’auront plus rien comme prétend Klaus Schwab. Mais de là à ce qu’ils soient heureux…

Pages

CONNEXION UTILISATEUR