Profilage racial : après IBM, Microsoft et Amazon réduisent la voilure de leur reconnaissance faciale
Les technologies de reconnaissance faciale à des fins de surveillance des populations n'ont plus trop la cote depuis l'explosion des émeutes contre le racisme et la violence policière aux États-Unis et ailleurs. IBM a cessé de vendre des logiciels de reconnaissance ou d'analyse des visages, et arrête aussi tout développement et recherche sur le sujet (lire : IBM abandonne la reconnaissance faciale pour ne pas alimenter le profilage racial).
Amazon et Microsoft ont décidé d'emboîter le pas d'IBM, sans être aussi radicaux toutefois. Le géant du commerce en ligne a annoncé un « moratoire » d'un an sur l'usage par la police de Rekognition, sa technologie de reconnaissance faciale. Elle reste disponible pour les organisations de lutte contre le trafic d'être humain et l'exploitation des mineurs.
Amazon demande au gouvernement américain de voter une législation plus musclée concernant l'usage éthique des technologies de reconnaissance des visages. L'entreprise espère que ce moratoire donnera le temps nécessaire au Congrès US de décider des bonnes pratiques en la matière. Amazon a été assez discret sur l'utilisation de Rekognition par la police aux États-Unis ; a priori, elle n'était réellement utilisée que par deux services, en Oregon et en Floride.
Microsoft a pris le même chemin qu'Amazon : le géant du logiciel a décidé de ne pas vendre sa technologie de reconnaissance faciale aux services de police aux États-Unis tant qu'une loi n'aura pas été votée sur le sujet (d'ailleurs, aucun service ne s'en sert). Brad Smith, le président du groupe, a laissé entendre au Washington Post que Microsoft se gardait la possibilité de fournir son système aux organismes de lutte contre le trafic humain et autres causes, là aussi à l'instar d'Amazon.
Ces technologies ont été pointées du doigt dans des études qui, en 2018 et 2019, ont établi des biais raciaux contre les personnes avec une peau sombre. Des biais dus au fait que ces systèmes sont entraînés avec des modèles majoritairement blancs et masculins.
Le bon sujet à dérapages 😋
@doobie28
https://media2.giphy.com/media/l0IsIZw8doJm3ysRq/giphy.gif?cid=4d1e4f294...
.
.
Le gouvernement va les attendre genre! Les développements Top Secret ou Militaires existé bien avant!
@BleuRooster
on n'est plus au temps de la guerre froide, désormais ce sont les compagnies privées qui ont la technologie, les etats ne font que co-produire avec du budget et des promesses de contrats.
un exemple? SpaceX , s'il n'en fallait qu'un.
@raoolito
Ouais bien sûr 🙄 l’état transparent à 100% d’ailleurs demain je visite la zone 51!
@BleuRooster
Qui parle de transparence? J'ai écris que les états sous-traitent avec les entreprises meme pour des soldats ( cf sociétés privées militaires) alors la recherche qui demande d'énormes capitaux je ne vois pas pourquoi ils s'en priveraient
@BleuRooster
" demain je visite la zone 51!"
Tu cours aussi vite que Naruto ?
@IceWizard
Encore plus vite 😅
@raoolito
"on n'est plus au temps de la guerre froide, désormais ce sont les compagnies privées qui ont la technologie, les etats ne font que co-produire avec du budget et des promesses de contrats.
un exemple? SpaceX , s'il n'en fallait qu'un."
Pas forcément un bon exemple. SpaceX a bénéficié d'un colossal transfert de technologies gouvernementales, quand la NASA lui a donné l'intégralité de TOUTES les recherches faites en 60 ans sur les moteurs de fusées.
@IceWizard
Ah je ne savais pas. Il n'empêche ca confirme mes dires: désormais voici ce qu'on a, charge a vous d'améliorer le truc on vous aidera avec des sous et nos ingénieurs si besoin.
On est loin du labo secret caché sous les montagnes
le secret se garde mieux par le privé que par l'état, où peut travailler n'importe qui. un ex Coca-Cola.
@marenostrum
Pepsi, c'était un ex de pepsi... enfin c peut-être un autre sujet ?
:p
je voulais dire que la formule de Coca-Cola est la chose la mieux gardée au monde, selon les dires. deux personnes seulement le savent et ne peuvent pas prendre le même avion ensemble. tandis que les secrets qui garde un état (qui ne doivent pas être nombreux quand même) sortent un moment donné.
@marenostrum
Ah pardon
Et moi qui voyait une allusion a l'embauche de John Sculley :)
@raoolito
😂👍
Tant mieux !
Mais dommage qu’il ait fallu cette raison liée au racisme pour que ces technologies n’aient plus la cote alors qu’existaient déjà suffisamment d’autres raisons.
Le risque est que les concepteurs reviennent plus tard en affirmant avoir corrigé le biais raciste de ces technologies et que ça reparte de plus belle.
@rua negundo
le revers de la medaille c'est que du coup, d'ici un an, les chinois et autres russes, israeliens etc.. auront leurs propres technos mises au point (que dis-je? encore plus au point !) qu'ils vendront à tout vents.
La nature a horreur du vide et les citoyens occidentaux se pensent dans un monde bipolaire de gentlemen...
@raoolito
Naïveté ? Non en occident on fait la morale mais on vent des armes et on installé des dictatures exemple la France Afrique
@en chanson
La naïveté des gens, pas des decideurs. Nos parents qui sortaient de la guerre nous disaient que leur vie etait alors plus agreable plus facile... les livres d'histoire prouvent bien que si on notre generation a encore quelques beaux cadavresdans le placard, comparé à eux on est des hippies
@raoolito
Pas besoin de parler au futur, l’Asie maîtrise la récolte faciale depuis belle lurette, regarde Megvii en Chine par exemple
@baklawa
Idem pour les israéliens en effet :(
@rua negundo
''Le risque est que les concepteurs reviennent plus tard en affirmant avoir corrigé le biais raciste de ces technologies et que ça reparte de plus belle.''
Je pense que depuis la base, la situation est mal présentée. Ce ne sont ni la police,ni les technologies qui sont racistes ou ont des biais racistes. Mais bien évidemment l'individu ou le système derrière l'uniforme et la technologie. C'est l'homme et la société qui sont racistes et intègrent cette attitude en revêtant l'uniforme ou en développant ces technologies.
Il faut plutôt s'attarder sur la société plutôt que la manifestation de la déviation sociale dans les institutions.
@Osei Tutu
Absolument, la police a un problème de recrutement, de culture et de hiérarchie. Tant que c’est basé sur “courir vite et tirer bien” ce sera difficile d’avoir des collaborateurs compétents pour développer, valider, calibrer et accréditer des méthodes biométriques.
Cela dit sans technologie et science forensique, c’est retour à Vidocq.
Il n'ont qu'a faire des images en N&B et le tour est joué, plus de couleur.
"Ces technologies ont été pointées du doigt dans des études qui, en 2018 et 2019, ont établi des biais raciaux contre les personnes avec une peau sombre. Des biais dus au fait que ces systèmes sont entraînés avec des modèles majoritairement blancs et masculins."
"La peau de cet homme est noire, Dave, je pense que cela indique qu'il est un criminel"
"sont entraînés avec des modèles majoritairement blancs et masculins"
Wait. Ca veut dire que les Blancs sont majoritairement plus fichés que les Noirs. Il y a un biais racial contre les Blancs alors.
@vince29
"Wait. Ca veut dire que les Blancs sont majoritairement plus fichés que les Noirs. Il y a un biais racial contre les Blancs alors."
Sérieusement ?
@vince29
Pas forcément, il suffit de ficher la minorité pour ignorer le reste.
Ce qui doit pas être difficile s’ils vont tous au même club.
@raoolito
L'inspecteur général des services : Et n'oubliez jamais : tous coupables.
Commissaire Mattei : Même les policiers ?
L'inspecteur général des services : Tous les hommes, M. Mattei.
——Paul Amiot, Bourvil, dans Le Cercle rouge de J.P. Melville
@raoolito
Peut-être me donnes-tu une piste pour comprendre cet article pute à cliques de macg :-)
Il n'y a bien sur pas de "biais raciaux" dans le dysfonctionnement de la reconnaissance des visages noirs (ça marche ou ça ne marche pas. Si ça ne marche pas, c'est que la technologie doit être abandonnée ou améliorée.
Je ne comprends donc pas l'affirmation d'un lien entre "profilage racial" et reconnaissance faciale
Cet article est bâclé, juste destiné à surfer sur racisme/antiracisme au lieu de nous aider à comprendre et nous faire notre propre opinion.
Maintenant en te lisant, tu ouvres une piste différente : le problème ne serait pas si je te lis bien un problème de reconnaissance de visages (ça marche ou ça marche pas) mais d'algorithme prédictifs de comportements, et là on est proche de la sorcellerie et je comprends l'urgence pour IBM et Amazon d'abandonner ces délirs fascisants.
Bon à quand un véritable article qui nous permettrait de comprendre enfin de quoi il s'agit ?
:-(
@J'en_crois Pas_mes yeux
Je te laisse en discuter avec la rédaction :)
En tous cas, cette théorie du mauvais apprentissage est la conclusion de l'article
@raoolito "cette théorie du mauvais apprentissage est la conclusion de l'article"
Cette conclusion ne fait pas sens : OK, les algorithmes fonctionnent mal avec les visages noires car insuffisamment entrainés ? Cela est un défaut rédhibitoire contraire au cahier des charges qui doit être corrigé au plus vite. Cela n'a rien d'un objectif caché destiné à un profilage racial ou à persécuter des minorités.
L'affirmation de profilage ou de biais raciale est soit délirant, soit repose sur des données autre qui me manquent pour comprendre et faire ma propre opinion.
@J'en_crois Pas_mes yeux
“L'affirmation de profilage ou de biais raciale est soit délirant, soit repose sur des données autre qui me manquent pour comprendre et faire ma propre opinion.”
Tout pareil, je comprends pas.
@Bigdidou
Deuxième article où toi et moi nous exprimons notre incompréhension totale, deuxième article où nous nous retrouvons face au silence assourdissant des lecteurs et de rédaction de MacGénération.
Intelligence collective... ?
Ça rappelle la candeur des 70 scientifiques qui avaient bossé sur la bombe nucléaire puis signé une pétition contre son usage!
Quoi? Vous dites que ma bombe fait des morts? Ça alors!
https://en.wikipedia.org/wiki/Szilárd_petition
@PierreBondurant
A l'époque le regime Nazi sous les bombes savait qu'il était à pas grand chose d'avoir la sienne. Évidemment sous les feux croisés russes et anglo-saxons ils n'ont pas pu y arriver.
On peut dire ce qu'on veut, la bombe seraient arrivée d'une manière ou d'un autre, la question était " entre les mains de qui?"
@raoolito
Mon point c’est les mecs d’Amazon qui nous la joue jeune jouvencelle effarouchée après avoir vendu un logiciel de reconnaissance faciale a la police US! Ils pensaient qu’ils allaient en faire quoi? S’en servir pour taguer les collègues sur Facebook au barbecue annuel du commissariat?
@PierreBondurant
Oui, c'est d'autant plus etrange qu'on croirait soudain que le police US ( les polices, ya des polices municipales, les polices de l'etat et les agences de police gouvernementales) bref soudain c'est l'apparteid aux usa??
Je doute clairement que ceux ayant acheté leurs systèmes se disaient " chouette on va pouvoir repérer les noirs dans les foules"
@raoolito
"A l'époque le regime Nazi sous les bombes savait qu'il était à pas grand chose d'avoir la sienne. "
Pas seulement les nazis. L'Empire Japonais y travaillait aussi. L'une des premières choses que les américains ont fait après la défaite japonais a été de détruire les centres de recherches nucléaires Impériaux, en balançant tous l'équipement dans la baie de ToKyo.
@IceWizard
Ho ben crotte je ne le savais pas!
@PierreBondurant
Pour une fois, la perspicacité coutumière de vos remarques vous fait ici défaut.
Votre remarque ignore l’acuité et la subtilité de l’analyse de Leó Szilárd avant, pendant et après l’élaboration de la bombe A. Elle ignore son anticipation exacte de la brutalité nazie et du potentiel destructeur d’une arme nucléaire entre les mains d’un tel régime. Elle ignore son anticipation de la rivalité nucléaire US-URSS et les conséquences d’un arsenal découlant de cette rivalité.
Ni Szilárd, ni ceux de ses co-signataires qui savaient les enjeux n’étaient le moins du monde « candides ». Ils étaient pleinement conscients des dilemmes et de la dialectique.
À titre d’exemple, Jenö (Eugene) Wigner, immense physicien, d’origine hongroise comme Szilárd.
Pardonnez-moi de recourir à un souvenir personnel. Le prof de mon prof de physique était Frits Houtermans, personnage inénarrable, ancien communiste ayant eu la distinction d’avoir été d’abord incarcéré par la NKVD en URSS puis par la Gestapo en Allemagne nazie. Relâché grâce à l’intervention de Max von Laue, il fit partie du groupe de physiciens et chimistes affectés au développement nucléaire allemand. Il assuma consciemment une fonction de « frein ».
Mais il fit plus. En mai 1941, un collègue nommé Friedrich Reiche ayant miraculeusement obtenu l’occasion d’émigrer vers les USA, Houtermans le chargea de transmettre un message personnel à son vieil ami et collègue Wigner, qui travaillait de son côté avec Fermi au « Projet Manhattan ». Le message de Houtermans à Wigner disait en substance : dépêchez-vous, nous y sommes presque, et ni moi, ni Heisenberg, ni les autres ne pourrons plus freiner les choses pendant longtemps.
On m’a dit — je n’ai pas pu vérifier — que Houtermans fit envoyer quelques mois plus tard un autre message plus succinct à Wigner, par télégramme expédié depuis la Suisse par un ami.
Sachant que tout le trafic télégraphique à partir de la Suisse était intercepté par les services nazis, Houtermans prenait un risque suicidaire. Et Wigner prit très au sérieux l’avertissement de son ami : pour survivre, pour empêcher un massacre planétaire, il fallait battre de vitesse l’effort nucléaire nazi. Tout comme il entreprit par la suite tout ce qu’il pouvait pour enrayer l’escalation nucléaire, une fois le péril nazi écarté.
J’insiste : Szilárd, Wigner et les autres avaient une conscience aigüe des dilemmes et de la dialectique.
@occam
Qui parlait de dérapage dans ce sujet ? Je trouve qu'on se rapproche plus du documentaire d'Arte ici :)
Merci Occam!
@occam
Je dois reconnaître qu’une fois de plus comparaison n’est pas raison, et que c’est comparaison est un peu légère de ma part pour une autre raison: autant les scientifiques qui bossaient sur l’arme atomique devait se douter que ça n’allait pas servir pour la cueillette des pâquerettes ni pour autre chose d’ailleurs, autant les codeurs d’Amazon ont pu bosser sur la reconnaissance faciale pour plein d’autres raisons que le flicage de la population: comme l’ajout d’une fonction dans un logiciel de photothèque (comme celui d’Apple qui marche déjà bien) ou pour un réseau social a la Instagram, ou encore pour sécuriser l’accès à des bâtiments importants type central nucléaire (on y revient!).
Ceci dit Amazon, l’a vendu aux forces de l’ordre, fallait pas s’attendre à un potentiel dérapage!
Merci pour ton post, très intéressant, les contradictions qui ont dû traverser ses hommes exceptionnellement intelligents devaient être aussi incroyables que l’histoire dans laquelle ils vivaient.
@PierreBondurant
Et moralité la bombe est toujours là...
Cette communication de Gafam est lamentable...
Bla bla bla...
Il faut paraître bien blanc!
Étant donné le principe du secret des affaires les sociétés peuvent dire ce qu’elles veulent ce sera invérifiable de toute façon (sauf si un lanceur d’alerte au sein de la société prend le risque de vérifier et de s’exposer mais vu comment on traite les lanceurs d’alerte...) Si la décision avait été annoncée hors contexte « Georges Floyd et violences policières » on pourrait peut être les croire mais là c’est juste ridicule. On comprend tout de suite que ces sociétés ont besoin de se faire une belle image et c’est l’occasion.
« Microsoft [...] a décidé de ne pas vendre sa technologie de reconnaissance faciale aux services de police aux États-Unis tant qu'une loi n'aura pas été votée sur le sujet (d'ailleurs, aucun service ne s'en sert). »
Quel geste ! Arrêter de vendre un service inutilisé 🤣
Les chinois arrivent à reconnaître les individus même porteurs de masque antivirus avec leur détection faciale avancée.
Ils sont sur la bonne voie pour détecter les porteurs de sweat à cagoule. Un gros progrès contrre la délinquance, non ?
Quiet people lives matter ! Or not...