Google Brain reconstitue les images pixellisées comme dans les séries TV

Mickaël Bazoge |

Les experts des séries TV ont bien de la chance : même s'ils vivent à notre époque, ils bénéficient d'une technologie révolutionnaire qui leur permet de transformer une bouillie de pixels en photo propre et nette désignant généralement le coupable ou un témoin très important. Cela donne quelque chose comme ça :

Les prodiges de l'intelligence artificielle permettent néanmoins de nous approcher de plus en plus des résultats obtenus dans les séries et les films de SF. Google Brain, une des expérimentations en intelligence artificielle d'Alphabet, peut ainsi « améliorer » une image très pixellisée de façon assez convaincante. Voici quelques exemples :

Dans la colonne de gauche, des photos de 8 pixels sur 8. Au centre, l'image 32 x 32 reconstituée par Google Brain. À droite, les images d'origine : le logiciel n'est pas si éloigné de la réalité — Cliquer pour agrandir

Comment ce miracle est-il possible ? S'il est évidemment impossible de créer de la matière à partir de rien, Google Brain exploite deux réseaux neuronaux pour s'approcher de la vérité. Le premier (« conditioning network ») compare les images 8 x 8 avec des photos en haute résolution qu'il réduit à 64 pixels.

Le second réseau (« prior network ») « ajoute » à l'image 8 x 8 des détails en haute résolution, en piochant dans un grand volume d'images HD. Quand l'image source est agrandie, ce réseau y intègre de nouveaux pixels qui correspondent autant que possible à ce que l'image peut représenter. Un exemple : il est probable qu'un pixel marron en haut de l'image soit un sourcil. Quand celle-ci est agrandie, le prior network comble le vide en piochant parmi les sourcils marron de sa collection.

L'image finale est le fruit de la cogitation de ces deux réseaux. Le résultat, c'est une représentation « plausible » de la personne ou de la scène dans la meilleure définition possible, en partant d'une image où les détails sont pratiquement inexistants. Une technique qui donne des rendus parfois étonnants :

Dans la colonne de gauche, les images à reconstituer. Les colonnes suivantes présentent des variations dans les résultats — Cliquer pour agrandir
Dans la colonne de gauche, les images source. La quatrième colonne présente les images d'origine. Dans les autres colonnes, des variations (la colonne NN affiche les images HD les plus proches des sources) — Cliquer pour agrandir

Il faut garder à l'esprit que les images en haute résolution ne sont pas réelles. Elles tentent simplement de « deviner » l'image réelle. D'ailleurs, dans le jargon on appelle les détails ajoutés numériquement des « hallucinations ». Les services de police et de justice qui seraient tentés d'appliquer cette technique doivent avoir cette prévention bien en tête : les images créées par Google Brain ne sont que des représentations numériques, et pas la réalité. Pas encore, du moins.

avatar YARK | 

Génial ! Tu lui files une grille de mots croisés et t'obtiens Michael Jackson !

avatar codeX | 

Excellent !!!!

avatar CountDown | 

Pourquoi faire ? Un nouveau sujet pour améliorer l'IA ?

avatar JLG01 | 

La photo original était en mémoire lorsque le logiciel à fonctionné?
Cela pourrait expliquer le résultat, un biais logiciel qu'il faudrait vérifier.
Il n'en reste pas moins que c'est une image imaginée, par reconstituée.

avatar Kreeger | 

Je vois pas l'intérêt de dépixeliser un fouillis de pixels qui peut très bien donner n'importe quoi comme résultat ! Autant traiter le problème à la source et faire de meilleures cameras ou de meilleurs enregistrements c'est tout. Franchement avec 8 pixels comment voulez vous arriver à retrouver les détails d'origine même approximatifs?! Un visage ou un légume écrasé avec des confettis convertis en 8 pixels pourrait donner les même 8 pixels!

Pages

CONNEXION UTILISATEUR