Intelligence artificielle : Wozniak, Musk, Hawking ne veulent pas d'armes autonomes

Mickaël Bazoge |

L’intelligence artificielle est « potentiellement plus dangereuse que les armes nucléaires » a prévenu Elon Musk, fondateur et patron de Tesla et de SpaceX. Cette même IA est « notre plus importante menace existentielle », craint Stephen Hawking, le célèbre physicien anglais. Nous n’en sommes pas encore aux flottes de Terminator de Skynet ou aux Sentinelles exterminatrices de Bolivar Trask (X-Men), mais de plus en plus de grands esprits s’alarment des avancées des technologies liées à l’intelligence artificielle et du potentiel désastreux qu’il y aurait à voir les armées développer des systèmes de défense entièrement autonomes. Et si les armes intelligentes, devenues complètement hors de contrôle, venaient à s’en prendre à l’humanité toute entière ?

Dans une lettre ouverte présentée à l’occasion de l’IJCAI (les conférences internationales sur l’intelligence artificielle qui se tiennent à Buenos Aires), plusieurs grands noms appellent les gouvernements du monde à interdire le développement d’armes offensives autonomes afin d’empêcher une course à l’armement qui pourrait bien signer notre perte. Elon Musk et Stephen Hawking sont signataires, tout comme Steve Wozniak le cofondateur d’Apple, Noam Chomsky le penseur américain, et d’autres chercheurs.

Les drones ou les missiles téléguidés peuvent continuer à patrouiller dans les cieux : ce sont des soldats humains qui prennent les décisions. En revanche, le développement d’armes autonomes est à proscrire, estiment-ils. « Si une puissance militaire de premier plan commence à investir dans les armes autonomes, une course à l’armement sera virtuellement inévitable, et la finalité de cette trajectoire technologique est évidente : les armes autonomes deviendront les Kalashnikov de demain ».

À l’instar des biologistes et des chimistes qui n’ont aucunement envie de participer au développement d’armes biologiques, ces chercheurs ne veulent pas aider à la conception d’armes autonomes, ce qui pourrait provoquer un rejet de l’IA chez le grand public et réduire les bienfaits de cette technologie, explique la lettre. Celle-ci n’est adressée à personne en particulier, mais elle peut servir à éveiller les consciences autour de cette problématique de plus en plus importante.

avatar vrts | 

avec ces mêmes I.A. qui tomberont un jour sur cet article et iront faire executer les lanceurs d'alertes :)

avatar atipoul | 

"This open letter will be officially announced at the opening of the IJCAI 2015 conference on July 28, and we ask journalists not to write about it before then. "

Bravo.

avatar just | 

"Embargoed until 4PM EDT July 27 2015/5PM Buenos Aires/6AM July 28 Sydney"

Article publié à 15h30 à New York.

30 petites minutes d'avance seulement donc.

avatar staycalm | 

Si les militaires décident qu'ils veulent des armes autonomes, personne, ***personne*** ne pourra les arrêter... De toutes façons, c'est secret défense !

avatar iapx | 

Déja actuellement et contrairement à ce qui est écrit dans l'article, ce ne sont que rarement des militaires qui dirigent des drones, voire prennent des décisions d'utiliser leurs armes léthales, en général aux États-Unis, il s'agit de civils travaillant pour des contracteurs privés...

C'est de plus en plus problématique!

avatar Giloup92 | 

@just
Une IA journaliste aurait respecté l'heure !

avatar oomu | 

ce genre de déclarations me dépassent. Surtout de la part de quelqu'un comme Hawking.

On dirait un discours d'otakus de cinémas.

La "Kalashnikov" de demain... comme si la Kalashnikov n'était pas déjà la Kalashnikov de maintenant et qu'elle ne suffisait pas pour faire des ravages et des horreurs.

Tout comme les drones sont déjà une catastrophe, permettant de tuer à moindre frais (une fois l'investissement initial fait), le pilote bien au chaud (donc moins de risque et moins de traumatisme pour le gentil pays qui a des drones). Il facilite l'envoi de bombe qui sont toutes sauf chirurgicales.

C'est déjà terrifiant et cela aurait du provoquer un rejet de la radio par le fameux "public". Non ? ha bon.. ben continuons.

-
Les armes dites "autonomes" seront aussi autonomes que leurs autonomies, leur signal radio, leurs capteurs, leurs programmes le permettront.

On est pas dans des films, on ne créé que des calculatrices géantes, des machines qui suivent un déroulé.

Ca sera quoi une arme "autonome" ? un drone essentiellement qui va gérer seul son parcours, repérer une cible programmée (imaginons un pont ou un village) et boum.

Le problème est que ce genre d'article vit dans le monde merveilleux des X-mens et des Terminators.

La vraie vie c'est massacre, égorgement, pillage, viols, bombes, etc. Pas des IAs cools devenues "folles".

Et pour ça, il suffit de voir Syrie, Irak et autres Niger pour savoir que le drone automatisé ne fera pas pire, il le fera juste pour moins cher !

c'est l'économie qui est le moteur de tout ça : moins de surveillance par un opérateur (c'est + cool de dire opérateur que soldat hein ? on se sent tout de suite + guilleret, à la fraîche) = moins de frais. Mais ça ne reste qu'une arme sophistiquée avec une volonté humaine derrière.

-
La technologie est possible, elle sera donc utilisée. C'est la nature humaine.

Mais confondons pas avec les comics et les IAs extraordinaires et invraisemblables.

avatar Cap.Achab | 

Bien d'accord.
Quand je lis "Les drones ou les missiles téléguidées peuvent continuer à patrouiller dans les cieux : ce sont des soldats humains qui prennent les décisions", ça me glace le sang.
Je note l'ironie de l'auteur à travers cette phrase, mais ça transcrit parfaitement la pensée non-dite du consortium. On massacre à distance, d'un petit coup de joystick en Arizona, les victimes collatérales (et innocentes, donc) se comptent en milliers depuis le lancement des programmes, mais pas de souci ! Il n'y a pas une once d'intelligence artificielle à l'intérieur, que de la connerie humaine. Circulez !

Je pense, je sais, que l'IA deviendra une menace à long terme, puisqu'elle est conçu sur ces programmes pour supplanter l'humain faillible, mais pour l'instant notre plus importante menace existentielle reste notre propre espèce.

En revanche, là où je ne suis pas d'accord oomu, c'est que tu lis cette dépêche avec ton œil d'humain du 21e siècle. On ne parle pas de "calculatrice géante" ni de programme qui se déroule, on ne parle pas de science fiction, ça l'est en 2015, ça l'est moins d'un point de vue projection future ; on parle d'une conscience artificielle qui sera capable de prendre des décisions à la place d'un humain, d'un véritable esprit synthétique qui sera force de choix, de jugement et de décision. Ca arrivera forcément un jour, peut-être dans 20, 50, 200 ans, mais ça arrivera.
Les toutes dernières études montrent déjà des avancées significatives (l'histoire du robot qui a "conscience" de ne pas être infecté, brrr).

"On est pas dans des films", mais Hawking sait qu'un jour un appareil armé doté d'une possibilité de choix autonome (le plus basique des cas de création d'IA) sera lancé, comme on est aujourd'hui à l'aube d'avoir une voiture autonome, ce qui était de la pure SF digne de Demolition Man dans les années 1980.
La mise en garde reste importante, même si elle est inutile. Ca sera pour la postérité.

avatar oomu | 

"Je pense, je sais, que l'IA deviendra une menace à long terme, puisqu'elle est conçu sur ces programmes pour supplanter l'humain faillible, mais pour l'instant notre plus importante menace existentielle reste notre propre espèce."

puisque vous savez déjà l'avenir (marc de café ?) avez vous vraiment besoin de moi encore ?

Je ne dis pas que ça n'arrivera pas, je dis qu'il est pu-é-ri-le de nous bassiner avec des images de Terminator et autre Matrix, qui sont aussi vraisemble que des contes de fées avec des dragons.

Ce sont des discours pour enfants.

-
"on parle d'une conscience artificielle qui sera capable de prendre des décisions à la place d'un humain, d'un véritable esprit synthétique qui sera force de choix, de jugement et de décision. Ca arrivera forcément un jour, peut-être dans 20, 50, 200 ans, mais ça arrivera."

ceci est de la science FICTION.

ça n'existe PAS et ce n'est pas ça l'intelligence artificielle ! Ce n'est pas ça qui est créé. On ne sait même pas ce qu'est un "véritable esprit naturel" alors un synthétique...

Les IAs c'est de la programmation ,du lisp par exemple, ce sont des statistiques sur des échantillons gigantesques (par exemple le projet CAPTCHA de google pour améliorer la lecture automatique : ce sont des humains qui ont lu des mots et nourris la base de réponses de Google).

Ce n'est pas des cerveaux. c'est même pas HAL de 2001 l'odyssée de l'espace, une machine extraordinaire qui dépasse l'entendement et les limites de tout ce qu'on fait en processeurs et programmation linéaire.

""On est pas dans des films", mais Hawking sait qu'un jour un appareil armé doté d'une possibilité de choix autonome (le plus basique des cas de création d'IA) "

Hawking sait surement beaucoup de choses sur les données récupérées par la Nasa et les accélérateur de particules du monde, mais il ne sait pas l'avenir. Ni moi.

avatar BeePotato | 

@ oomu : « ceci est de la science FICTION. ça n'existe PAS »

En effet, ça n’existe pas encore.
Ce qui ne signifie nullement que ça n’existera jamais.

« et ce n'est pas ça l'intelligence artificielle ! »

Si. Tu as une définition biaisée du terme « intelligence artificielle ».

avatar oomu | 

en effet elle est biaisée, c'est la définition universitaire (sans me contenter de pondre la définition exacte d'un cours).

En effet c'est pas celle du très sympathique film de Steven Spielberg (que j'adore: ce film a une photographie magnifique et se déroule comme un tragique conte de fée implacable) : A.I.

Mais c'est la réalité. On s'en fout totalement de créer une "conscience" ou le fonctionnement de la raison humaine en "intelligence artificielle". Ce n'est que des techniques informatiques pour solutionner des problèmes décisionnels.

ni + ni -.

-
je dirais même plus, pour amuser : si à force de brancher entre eux des supers processeurs intel à 4 nanometres de gravure et milliards de transistor on finissait par "auto-générer", genre phénomène émergent, une "conscience". ça serait un bug à dézinguer rapidement.

Qui veut une conscience quand on veut un esclave !

avatar BeePotato | 

@ oomu : « en effet elle est biaisée, c'est la définition universitaire »

Non, même pas.
Tu confonds l’objet des travaux actuels et la définition du concept d’IA.

« Mais c'est la réalité. On s'en fout totalement de créer une "conscience" ou le fonctionnement de la raison humaine en "intelligence artificielle". »

Non, tout le monde ne s’en fout pas.

avatar oomu | 

"Tu confonds l’objet des travaux actuels et la définition du concept d’IA."

Non, si vous voulez être ultra précis, je fais référence à "Intelligence artificielle faible" qui est ce dont on parle actuellement, le domaine d'ingénierie développé pour les besoins des drones et autres algo de reconnaissance de forme, de paroles et chemins à prendre, et j'en passe.

Ni plus ni moins.

Le soucis, c'est que si tôt qu'on dit IA, ça y est c'est l'explosion de fantasmes sur les neuroscience, la cognitivité, les Golems et débarque Skynet. ohé bon.

-
"Non, tout le monde ne s’en fout pas."

ok, le "on" était mon côté mutin. Par "on", je veux dire l'industrie, la recherche en algorithme pour automatiser des machines ou robots.

-
Moi, personnellement, oui , je suis très intéressé d'avoir mon R2D2 personnel :)
Je l'appellerais Georges, on gambaderait dans la forêt et je le serrerai très très fort (gniiii).

avatar BeePotato | 

@ oomu : « Non, si vous voulez être ultra précis, je fais référence à "Intelligence artificielle faible" »

Je veux toujours être ultra précis.
Ça permet d’éviter de grands blablas pleins de grandes affirmations au sujet d’un domaine aussi vaste que l’intelligence artificielle, appuyés par des expressions du genre « définition universitaire » pour mieux les faire passer. :-P

« qui est ce dont on parle actuellement »

Oui et non : l’article fait bien référence aux programmes de contrôle de drones, mais la discussion dans les commentaires est vite partie sur l’intelligence artificielle au sens large (et surtout futur) du terme.
Du coup, préciser de quoi on parle est nécessaire, en évitant de se contenter du terme générique « intelligence artificielle » quand on fait un commentaire sur quelque chose de bien plus restreint et limité.

« le domaine d'ingénierie développé pour les besoins des drones et autres algo de reconnaissance de forme, de paroles et chemins à prendre, et j'en passe. »

Pour les autres domaines, je ne sais pas, mais pour ce qui est de la reco de la parole, on n’utilise même pas le terme d’intelligence artificielle, même suivi de l’adjectif « faible ».

« Le soucis, c'est que si tôt qu'on dit IA, ça y est c'est l'explosion de fantasmes sur les neuroscience, la cognitivité, les Golems et débarque Skynet. ohé bon. »

C’est bien normal, puisque ça en fait partie.
Quel intérêt d’utiliser le terme « intelligence artificielle » si ce n’est pas pour envisager ce niveau d’intelligence ? Parce qu’encore une fois, pour ce qu’on fait actuellement en reconnaissance de ceci ou de celà, ou même dans la gestion de dialogue et les assistants numériques, on ne s’amuse généralement pas à sortir le terme « intelligence artificielle ».
En fait, il n’y a bien que des gamerzzz pour utiliser ce terme pour désigner des programmes actuels. :-)

avatar oomu | 

"Les toutes dernières études montrent déjà des avancées significatives (l'histoire du robot qui a "conscience" de ne pas être infecté, brrr)."

??

un robot n'a pas de "conscience" (avec ou sans ""), c'est une machine, un automate sophistiqué : un assemblage de transistor où on fait passer ou pas le courant (état binaire). C'est même pas comparable au cerveau d'une souris (les neurones sont capables d'une bien plus grande richesse d'état et connexion que les machines de Turing)

-
"un appareil armé doté d'une possibilité de choix autonome"

ce qu'on appelle un drone. Il sera autonome dans les limites de son électronique et de ce pourquoi il a été conçu. Il sera le résultat d'une volonté humaine.

Et s'il a un bug ? ben il crashera, perdra son équilibre ou videra ses balles n'importe où. Comme si l'accident n'était pas déjà notre lot.

avatar phoenixback | 

@oomu :
Mais si on te dis que ce ne sera pas "juste une arme avec une volonté humaine"

Quand on parle d'IA on veut dire que le truc pourra décider selon ses propres critères et sans prévenir personne voila la crainte, faut voir plus loin quand on parle d'IA".

De plus envoyer des drones autonomes (on comprends BEAUCOUPS et EN MEME TEMPS et POUR MOINS CHER) và décomplexer l'acte de faire la guerre, donc non ce n'est pas juste une kalashnikov c'est bien pire puisque infatiguable et LACHE.

avatar oomu | 

"Quand on parle d'IA on veut dire que le truc pourra décider selon ses propres critères et sans prévenir personne voila la crainte, faut voir plus loin quand on parle d'IA"."

sigh...
ces critères ne tombent pas de Jupiter.

Ils sont la traduction de choix humains.

Une ia n'est qu'un ensemble d'algorithmes pour prendre une décision. Ce n'est pas un "cerveau" qui va vivre sa vie.

Ce n'est qu'un logiciel, un système expert, un google search si vous préférez et çà ne fera que ce que pourquoi la machine est conçue.

Le problème, à mon sens, c'est que faire des fariboles à la Terminator et autres X-men (vous savez les histoire pour enfants avec des mutants super cools qui combattent des méchants plein de muscles pas cools) éloignent totalement de la réalité (la guerre, le viol, la déportation de gens, etc) et des enjeux politiques SERIEUX ET REELS de notre pays.

La Technicité militaire est déjà là, la France y est pour une grande part, et c'est pas du terminator rigolo et autres contes pour enfants à la Matrix.

-
"và décomplexer l'acte de faire la guerre"

rassurez vous, il est déjà super décomplexé "l'acte de faire la guerre".

-
"c'est bien pire puisque infatiguable et LACHE."

diantre ? on a inventé la super-batterie infinie ? je pourrai l'avoir pour mon iphone.

avatar karayuschij | 

« Ce n'est qu'un logiciel, un système expert, un google search si vous préférez et çà ne fera que ce que pourquoi la machine est conçue. »
À propos de Google search, une simple recherche devrait t'enseigner que « ça » ne prend pas d'accent, du moins dans le cas où tu l'utilises.

avatar oomu | 

Laissez aux Oomus et aux acariâtres le soin de signaler la moindre petite faute chez autrui. Vous, il vous faut être meilleur que ça, moi je me charge de la mesquinerie.

ça ne prends pas d'accents sur le a dans le cas où je l'ai utilisé.

avatar heret | 

c'est l'économie qui est le moteur de tout ça
Non, pas seulement.
Si le drone téléguidé ou l'arme autonome tombe aux mains de l'ennemi, il n'y aura pas d'otage. Donc pas de contre-propagande pour manipuler l'opinion publique du pays à qui appartiennent les drones ou robots. Tu n'as pas dû comprendre pourquoi les USA et les Européens ne veulent pas de troupes au sol en Irak et en Syrie. Tu n'as pas non plus compris le symbole de la Kalachnikov.
Oomu ... quelle pièce !

avatar oomu | 

"Tu n'as pas dû comprendre pourquoi les USA et les Européens ne veulent pas de troupes au sol en Irak et en Syrie."

le traumatisme des morts. Merci je connais. Mais dans la pratique, les USA ont toujours des soldats sur place. Pour des hélicoptères ou des avions, y a toujours des humains pas loin, en opérateurs. Les Machines ne changeront rien à cela. Voyez ce qu'on appelle les "conseillers militaires".

Dans la pratique le développement des drones autonomes est une exigences qui viendra des Peuples. Pourquoi envoyer nos frères et soeurs quand on pourra dire "oh, le robot ira à la place". Cependant le Robot aura besoin de mécaniciens, d'opérateurs, d'ingénieurs, de formateurs (hé, pour vendre le robot, faut vendre aussi la prestation et son Robot Care avec garantie étendue...)

"Tu n'as pas non plus compris le symbole de la Kalachnikov."

j'ai très bien compris, merci. ne présumez pas.

Tout mon propos est de dire : naïveté ! La kalachnikov a déjà fait son oeuvre, elle a déjà rendu le meurtre et massacre économiquement viable.

C'est une arme facile à faire et entretenir.

D'ailleurs, sauf une révolution titanesque sur les propulsions et les processeurs, je vois guère des drones être aussi simples et bon marché.

-
il n'y a pas si longtemps on nous faisait peur avec les "bombes sales" , quand la Russie a laissé filer des stocks nucléaires.

Où en sommes nous de cette panique là ? Elle n'est plus grave ? Les Lettres Ouvertes ont fait leur oeuvre ?

-
Dans les années 80, début du "micro-ordinateur", y avait pléthore de film pour nous annoncer la perte de liberté et l'ordinateur devenu fou

(Electric Dreams, qui se termine bien... snirfl y avait un cerveau là dedans..., Wargames, Tron, etc): les années _80s_. Même peur face à l'émergence primitive de la nouveauté : les zordis à la maison.

Ces peurs et fantasmes correspondent aux modes de nos époques.

Mais pas à des réalités concrètes sur le terrain où c'est déjà l'Horreur.

avatar oomu | 

pour tout dire, j'ai l'impression de lire une mauvaise préquelle du manga "Pluto" de Urasawa (qui traite exactement de cette question de la robotisation et IA militaires) avec autant de réalisme que ces "lettres ouvertes".

avatar phoenixback | 

La réalité rattrape souvent la fiction fais pas l'étonné, et on s'en fou que ca rappel Terminator ou un manga dont les peuples sont connectés par nouilles sautés entre eux.

Le problème est grave.

avatar oomu | 

bon, après, c'est sur que dire qu'on prend pas au sérieux un truc signé de Noam Chomsky, faut être un peu dingue, inconscient, un coup à se faire carboniser sa réputation pour longtemps :)

bah. Tout cela me parait pas très sérieux et d'avantage une critique antimilitariste pour toucher le grand public que de réelles inquiétudes sur les "IAs".

avatar iPoivre | 

Faudrait déjà qu'on comprenne comment marche notre cerveau avant de réussir à faire une IA, ce qui n'est pas gagné (cf. Un article très intéressant dans le dernier Humanoïde).

Et comme d'habitude ce sont ceux qui sont à la bourre dans ces recherches qui tirent la sonnette d'alarme...

Pages

CONNEXION UTILISATEUR