Adobe cherche à transférer automatiquement le style d'une photo vers une autre

Florian Innocente |

Adobe et l'Université Cornell travaillent à améliorer les techniques de transfert du style d'une photo vers une autre. Par exemple, vous avez la photographie d'une ville prise en pleine journée et le cliché, dit de référence, d'une toute autre ville mais cette fois plongée dans la nuit. L'idée est d'obtenir une version nocturne de la première image en empruntant le style de la seconde.

L'image d'origine à gauche et celle dont on veut récupérer le style à droite Cliquer pour agrandir
Deux techniques plus anciennes, aux résultats médiocres, et en troisième, la photo obtenue par les chercheurs avec leur nouvelle méthode Cliquer pour agrandir

Ce type de procédé marche pas trop mal pour transformer des photos en tableaux en piochant dans une collection de styles artistiques (ce que fait une app comme Prisma).

Faire la même chose en préservant le photoréalisme d'une image est une autre paire de manches, expliquent les chercheurs dans leur exposé (pdf). Grâce à l'emploi de réseaux neuronaux ils tâchent d'éviter que cela ne ressemble à une peinture ou une colorisation grossière. De faire en sorte que les éléments dans l'image ne se surimposent pas et qu'ils restent bien délimités. Par exemple qu'un ciel ne déborde pas sur un bâtiment que l'eau d'un lac ne s'étende pas dans la forêt qui l'entoure. Dès lors chaque photo est comme indexée dans son contenu, pour en répertorier les grandes masses.

La technique n'est pas encore parfaite, il subsiste des défauts parfois criants. Cela peut être l'aspect général qui manque de réalisme, qui ne reproduit pas assez l'ambiance chromatique désirée ou des éléments qui ressortent déformés (comme des fenêtres dans une façade).

Des limites existent aussi. Il est plus sûr d'associer des photos qui partagent des points communs plutôt que d'en prendre deux représentant des scènes complètement différentes. Cela marche mieux aussi avec une scène comportant des objets ou bâtiments.

La photo de référence à gauche, celle que l'on va traiter à côté et tout à droite le résultat obtenu (la photo "c" utilise une autre technique) Cliquer pour agrandir
La photo de référence à gauche, celle que l'on va traiter à côté et tout à droite le résultat obtenu (les photos "3" et "4" utilisent d'autres techniques) Cliquer pour agrandir

On ne sait sous combien de temps ces travaux pourront déboucher dans une fonction Photoshop utilisable simplement et avec des résultats pertinents. Au-delà des images fixes, la vidéo est également un domaine où ces techniques pourraient s'avérer intéressantes.

Source
The Verge & Adobe
Tags
avatar pocketalex | 

Bientot la fin des photographes professionnels, des graphistes, etc

On prend une photo, on dit a quoi on voudrait qu'elle ressemble et zou !

avatar r e m y | 

@pocketalex

Je pense qu'on pourra même se passer de la première étape... pourquoi prendre une photo quand il y en a des milliards dans la banque d'image de GooglePhotos, alimentée en permanence par ceux qui continuent à en prendre et à les stocker volontairement chez Google!

avatar pocketalex | 

@remy : ben quand tu dois shooter ta petite soeur ou ta maison...

avatar Berechit | 

En réalité, non : même avec des milliards de photos, celles que vous, nous, ils faisons ont un contenu. Le style, c'est la mise en scène, les rapports d'expositions, etc...

avatar bobdu87 | 

Pas de chance, pour ça les algo sont déjà bien meilleurs que toi et ce depuis des années déjà...

avatar oomu | 

c'est un débat vieux comme le monde en art. Oui, vieux comme le monde ! avant même l'idée de l'ordinateur, y a toujours eu la réflexion autour de la technique remplaçant l'humain.

Et bien sur le débat pris forme concrète avec les premiers travaux sur la photographie ou l'automatisation de toute forme de processus en calcul.

Chaque évolution technologique précipita le monde de l'Art dans une "Crise". Sans la photographie, l'art aurait continué à pondre des tableaux hyper-réalistes. Parce qu'une simple machine pouvait pondre une image de la réalité, l'impressionnisme, le surréalisme, etc devinrent des pistes légitimes à explorer pour les Artistes et créa un nouveau marché.

Photoshop bouleversa le monde de la photo. Cela a révolutionné du coup la production d'image et a créé de nouveaux professionnels. Et de nouvelles approches de la photo (HDR, cadrage impossible, et bien sur nos célèbres monst..Heu people ultra lissés).

Chaque technologie ne tue pas l'humain mais lui ouvre de nouvelles frontières.

Il en sera de même ici. Les réseaux de neurones et autre techniques d'intelligence artificielle pour automatiser les tâches ingrates vont ouvrir de nouveaux champs d'exploration pour un plus grand nombre de personnes (+ accessibles). Il n'y a aucune raison que cela tue l'art.

La composition, le style ou la mise en scène ne peuvent pas être "meilleure par un algo", parce que ce n'est pas la machine qui a un désir de créer.

La Machine ne peut qu'appliquer les règles arbitraires de ce qui marche (et que l'on sait depuis des siècles; perspective, règle des 2/3, nombre d'or, cercle chromatique, et j'en passe) mais pas savoir ni décider pourquoi faire une oeuvre.

Il vous faudra toujours un "artiste" pour naviguer dans le champs du possible et pondre quelque chose qui un sens humain.

On aura beau dire à son ordinateur "hmm, ajoute ici une photo de tyrannosaure dans un F14 style pop-art mais pas ringard et une pointe de folie joyeuse, j'te fais confiance pour me trouver une harmonie colorée chiadée mais pas trop choquante, merci coco", la machine ne pourra que prendre dans une base pré-fournie ce que signifie ces mots et ne suivre que des programmes, aussi élégants soient ils.

La machine ne peut que pondre que la même chose que ce qu'un autre terminal équipé du même logiciel pondra.

Parce que la machine ne "veut" pas créer quelque chose.

Seul un farfelu humain peut décider de coller un short au tyrannosaure dans le tomcat et révolutionner ainsi le Grotesque Ridicule qui sera viral chez les jeuuuunes.

avatar xDave | 

Oomu, je ne suis pas d'accord.

Ce sont des baltringues d'humains sans humanité qui créent ce "danger" de croire que tout est simple et sans effort.

ça ne m'émerveille pas, ça m'exaspère et franchement, je rêve du jour où un développeur sera assez con pour se mettre au chômage lui-même par prétention.

Mais ce n'est pas prêt d'arriver, ils ne sont pas si cons après tout... quoi que...

avatar macfredx | 

@oomu

"La Machine ne peut qu'appliquer les règles arbitraires de ce qui marche (et que l'on sait depuis des siècles; perspective, règle des 2/3, nombre d'or, cercle chromatique, et j'en passe) mais pas savoir ni décider pourquoi faire une oeuvre. "

Tout à fait. Ne pas oublier que les plus grandes photos ne respectent pas forcément ces règles au pied de la lettre. La différence entre un humain (et son œil) et une machine...

avatar HellTiger | 

Le but de cette application est uniquement pour transformer les photos de Trump qui sont des photos moches et dégueulasses et quelque chose qui ait à peu prêt de la gueule, pour ne pas qu'il ait la honte sur twitter

avatar bobdu87 | 

Fais le ménage devant ta porte avant de critiquer celle des autres...
Avec sarkozy et hollande comme 2 derniers président y a pas de quoi fanfaronner...

A moins que le dicton du coq qui chante fièrement sur un tas de fumier ne soit pas dénué de sens...

avatar oomu | 

en quoi avoir d'horribles présidents interdit de se plaindre d'un horrible super-président ? L'un n'empêche pas l'autre

et on peut balayer devant chez soi tout en foutant des coups de balais dans la gueule de son voisin. Tout est possiiiiiiible :)

avatar oomu | 

C'est bien de mettre en avant les nouvelles approches en manipulation d'image parce qu'Adobe en parle, mais je pose ça ici:

https://github.com/jcjohnson/neural-style

Vous trouverez ici quelques logiciels (linux) pour mettre en oeuvre le transfert de "style" via un réseau de neurones. Travaux de Leon A. Gatys, Alexander S. Ecker, et Matthias Bethge qui sont cités dans le document de Adobe.

Tout l'enjeu est de transférer le style sans détruire les informations locales d'une oeuvre (par exemple les cils d'un oeil, les cratères de la lune, etc)

avatar Pas-un-philosophe (non vérifié) | 

si on prend une photo de Christine Boutin et qu'on y applique le style de miss univers, il se passe quoi ?

avatar YARK | 

Miss IonImposible

avatar xDave | 

Miction impossible ;-)

avatar xDave | 

Il se Pasqua, avec des seins, et c'est pas joli joli…

avatar xDave | 

Purée, deux fois que l'AI de ce navigateur de pub détruit mon argumentation.:-)

Pour faire bref, vivement que les développeurs, qui se commettent (de Halley, mais aussi ne font que passer…) dans ce genre de choses acquièrent une conscience de l'humanité OU se retrouvent à leur tour au chômage ayant créé leur propre démon dévoreur d'emplois.

Quelle prétention!

En même temps, quand je vois que ces gens n'ont pas eu les couilles d'être "artistes" * parce que c'est trop "précaire" et que ça ne rapporte pas "5000€ minimum par mois"... comment dire...

* Et viennent chialer lors de réunions de potes parce qu'ils ont eu une vie de... mais aimeraient bien "s'épanouir" aujourd'hui / se reconvertir... zut la retraite (forcée?) ah oui, il y a des banquiers, des Wall-Street Men aussi qui tiennent le même discours.. "tu as de la chance.. mdr (!), de faire ça" etc etc...

#VivelIA # MondeDeMerde #Abitbol

avatar vince29 | 

Si le but c'est de faire de l'art, le plus simple c'est d'accrocher une étiquette avec un prix indécent à proximité de l' "oeuvre".
Ca marche aussi avec les smartphone. Collez une pomme à un smartphone quelconque et certains vont le trouver paré de toutes les vertus et en avance sur son temps.

avatar lamainfroide | 

@Florian Innocente
Sur la deuxième image "ref, original, résultat", le commentaire est le même que sur la première.
Or, il semble que l'ordre serait plutôt "photo de référence, photo originale,..., résultat".

Sans intention à la polémique de ma part.

CONNEXION UTILISATEUR