Avec Sensei, le futur de Photoshop va être étonnant

Florian Innocente |

La conférence d'ouverture d'Adobe MAX 2017 a été l'occasion de voir ce que le futur réserve à Photoshop. Moteur de cette (r)évolution à venir, le système d'intelligence artificielle "Sensei", déjà utilisé pour certaines fonctions des logiciels existants.

Dans le cas de Photoshop, il prend la forme d'un assistant comme peuvent en avoir macOS avec Siri ou Windows avec Cortana, à ceci près qu'il est ici spécifiquement optimisé pour aider les utilisateurs de logiciels de création graphique.

Trois axes de recherches ont été montrés : l'usage de la voix et du langage naturel pour demander un coup de main à Sensei ; sa capacité à anticiper des actions et fournir des outils dont vous pourriez avoir besoin et le "creative graph", véritable journal de bord de vos travaux que l'on peut manipuler pour triturer ses images jusqu'au dernier moment.

David Nuescheler, l'un des chercheurs d'Adobe, démarre avec le croquis sommaire d'un personnage féminin dans un cadre spatial. Il sera utilisé pour créer des contenus destinés à une app sur iPad.

Tout à droite de l'interface, un gros point bleu, le symbole de Sensei peut être cliqué. Il ouvre un tiroir contextuel. Celui-ci contient un champ de requête façon Siri mais on peut utiliser la voix pour poser des questions à l'assistant.

Cliquer pour agrandir

Sans même faire cet effort, Sensei a automatiquement généré, et affiché dans cette colonne, des mots-clefs basés sur les éléments qu'il a réussi à identifier dans le croquis (femme, visage, espace, étoiles, vaisseau spatial, etc). Il montre également, par des vignettes, lesquelles de ces portions de l'image globale ont été extraites et reconnues.

Cliquer pour agrandir

Le moment d'après, Nuescheler demande à Sensei — avec la voix — de lui trouver des images relative à son croquis. Le moteur lui présente alors une photo du cosmos, puisée dans la photothèque Adobe Stock. Chaque élément ajouté au document de travail contient ce petit bouton Sensei, comme par exemple ce visuel. Un clic supplémentaire et Sensei ouvre une nouvelle interface qui offre plus de détails sur cette photographie.

Cliquer pour agrandir

À nouveau, Sensei tâche d'identifier les objets qui la composent (des étoiles, une nébuleuse, une constellation…). Chacun de ces mots clefs est isolé et peut servir de critère si l'on veut pousser plus loin ses recherches.

Cliquer pour agrandir

Ainsi, le terme étoiles est pourvu de trois curseurs (à gauche dans l'image ci-dessous) pour que Sensei trouve d'autres images où les étoiles sont plus grosses ou, au contraire, pour que leur densité soit plus importante et avec des couleurs plus (ou moins) vives. En variant le poids de ces critères, Sensei peut orienter ses recherches dans la base de données d'Adobe et affiner les résultats.

Cliquer pour agrandir
Cliquer pour agrandir

Aller à la pêche dans Adobe Stock c'est bien, mais on peut avoir aussi sa propre photothèque et besoin justement d'utiliser ses visuels pour ce travail. Lorsqu'on glisse l'une de ces photos dans le document, le bouton Sensei vient s'y coller. Un clic et à nouveau l'assistant ouvre l'interface de travail sur cet objet.

Cliquer pour agrandir

Sensei a ici identifié un studio photo, la présence d'une échelle à l'arrière-plan, puis le visage du sujet, qu'il s'agit d'une femme et qu'elle porte ce qui ressemble à une combinaison spatiale. Tout cela forme autant de mots-clefs. Là, explique David Nuescheler, voilà que votre client préfèrerait que le mannequin regarde de l'autre côté, vous obligeant à devoir parcourir une à une les montagnes de photos prises durant la séance de shooting.

Cliquer pour agrandir

Ou pas. Sensei ayant reconnu un visage il va afficher des boutons de contrôle permettant de jouer sur son orientation (droite, gauche) ou sur des parties et caractéristiques (sourire, yeux). Après avoir cliqué sur l'orientation, un curseur permet de faire défiler à haute vitesse toutes les images de votre séance photo où la jeune femme a le visage tourné dans l'autre sens.

Cliquer pour agrandir
Cliquer pour agrandir

Après quoi, lorsqu'on a repéré une photo qui conviendra mieux, on peut l'appliquer sur le fond d'espace que l'on avait précédemment retenu. Là encore, Sensei se propose de donner un coup de main. À droite dans l'interface (le pavé rouge) il propose de créer tout seul un masque autour du sujet pour l'intégrer convenablement dans le fond.

Cliquer pour agrandir

L'assistance de Sensei ne s'arrête pas là. Le moteur peut proposer des polices de caractères parmi celle que vous utilisez souvent et qui iront avec la tonalité graphique du visuel en question.

Cliquer pour agrandir

Si votre client veut subitement décliner aussi sur iPhone ces différentes documents, il suffit de basculer dans XD, l'application de prototypage d'interfaces. On demande à Sensei de « Créer une maquette pour l'iPhone 8 ». Aussitôt dit, aussitôt fait, les 6 écrans précédents pour l'iPad sont recomposés en autant d'écrans pour un iPhone et le chemin de navigation entre eux est préservé.

Cliquer pour agrandir

Dernière étape de cette démonstration spectaculaire, le creative graph. Tout le cheminement qui a conduit du croquis initial au visuel final est présenté sous la forme d'un arbre où l'on va pouvoir à nouveau jouer avec les variables qui sont autant de feuilles.

Cliquer pour agrandir

La branche dépendant de la photographie du mannequin contient par exemple le mot-clef déjà utilisé précédemment, celui du visage. Un clic et on peut encore à ce stade changer son orientation.

Cliquer pour agrandir

En remontant à la racine de cet arbre, au niveau du croquis, où Sensei avait détecté un visage féminin, on peut demander à le remplacer par un visage masculin qui sera pioché dans votre stock d'images. Le visuel final est alors modifié pour montrer un homme plutôt qu'une femme dans la tenue spatiale.

Cliquer pour agrandir

Comme toute démonstration bien huilée, on ne sait quelles sont les limites et les contraintes du système. Si toutes ces fonctions sont envisageables prochainement ou si certaines ont encore besoin de quelques années de développement. Adobe n'a pas dit non plus quand on disposerait de tout ou partie de ces outils. Reste que la présentation était assez étonnante et que l'on avait du mal parfois à croire que l'on était dans Photoshop. La démo de ce prototype débute à 2h13 dans la vidéo.

avatar vlsf1 | 

A terme on risque d’avoir des outils complètement fous où on pourra « tourner » la tete d’une personne sur une photo sur la gauche ou la droite.

Par contre pour toutes les suggestions j’ai peur que ça uniformise (encore plus) la création graphique... meme si, si l’IA est vraiment intelligente, elle ne donnera jamais 2 fois la même chose

avatar Florian Innocente | 
La nature de la démo et sa courte durée donnent effectivement l'impression que le gus n'a plus grand chose à faire, sinon de feuilleter des choix proposés par l'assistant et valider.
avatar Lecorbubu | 

@vlsf1

Tout à fait d’accord. Ce genre de procédé est pas mal pour le grand public qui a envie de faire un truc sympathique sans forcément avoir beaucoup de compétence mais pour les pros je suis un peu plus dubitatif.

Quelle part laisse t-on à l’imagination et à l’intuition avec ces techniques ? Je suis frappé de voir qu’on cherche à traiter un boulot de créatif avec une logique technocrate. Ça laisse songeur.

avatar occam | 

@ Lecorbubu

« Quelle part laisse t-on à l’imagination et à l’intuition avec ces techniques ? »

Cette question sous-entend que la nature de l'imagination et de l'intuition humaine serait de nature radicalement différente des modes de fonctionnement de l'intelligence artificielle.
Cela reste à démontrer.

Les progrès tant des neurosciences que de la recherche fondamentale ein intelligence artificielle suggèrent plutôt que nous avons tendance à surestimer notre créativité consciente — notre capacité de produire du nouveau avec de l'ancien, de l'inconnu à partir du connu — et à sous-estimer la complexité des fonctions intégratives des opérations que notre système nerveux gère d'une manière qui nous est, essentiellement et fondamentalement, inconsciente.

avatar Lecorbubu | 

@occam

Si tu ne connais pas déjà, je te conseilles l’écrit d’un chercheur qui s’appelle Pierre Giorgini dont l’ouvrage s’intitule La Transition Fulgurante. Dans lequel il vient à démontrer que dans un système de plus en plus informatisé et automatisé les disciplines qui peuvent être encore incarné par l’homme sont celles des milieux créatifs, de l’invention.

Bien entendu cette recherche n’est pas une vérité absolue mais elle permet une vision intéressante de ces problématiques.

avatar Lecorbubu | 

@occam

Par ailleurs ce qui me dérange beaucoup c’est cette idée de suggestion dans le process de création, l’IA d’adobe va comprendre, dans le cas présent que l’illustration est en lien avec l’espace, soit la démo est étonnante et ne me pose pas de problème particulier.

En revanche, ce qui est plus dérangeant c’est d’être assisté par une IA qui va suggérer des références standardisés alors que ce type de travail va solliciter le vécu, la sensibilité, les références personnelles de l’artiste réalisant l’image, des paramètres que le logiciel n’intègre pas. En utilisant cet assistant je risque d’avoir les mêmes suggestions que mon voisin alors qu’en temps normal on aurait peut être pas du tout eu recours aux mêmes éléments.

Ce procédé vient encore plus influencer la notion d’imaginaire collectif. L’idée de l’espace ne me renvoie pas nécessairement à ce que Adobe montre ici...

Bon, et pour avoir été dans ce milieu créatif et encore le côtoyé je ne peux que me marrer doucement quand je vois que le résultat de toute cette technologie de pointe produit une affiche de block Buster hyper conventionnel à la qualité douteuse ...

avatar JoTaPé | 

Question : les réseaux de neurones ont-ils de l'imagination ?
Si on considère qu'imaginer c'est créer des liens entre connaissances déjà acquises, la réponse est oui.
Si imaginer c'est inventer, créer de nouvelles connaissances, c'est non.
Alors, les artistes, les crais, les créateurs ont encore de l'avenir devant eux :-)

avatar harisson | 

@JoTaPé

Ce n'est pas tout à fait vrai, il y a récemment des IA qui ont inventé un nouveau langage de communication/langue pour communiquer entre elles (projet arrêté).

Et puis bon, même sans IA, l'imagination humaine tend à diminuer, formatée par l'"entonnoir de la logique économique de masse".

avatar iPop | 

@Lecorbubu

La communication dans ses formes ne sont que des moyens économiques.
Vous voulez faire de l'art ? Acheter des toiles.
Alors oui il y'a des perles mais ça reste qu'un moyen.

avatar Lecorbubu | 

@iPop

Art = toile ou peinture ? Eh bien... on n’est pas sorti de l’auberge.

avatar Carbonized | 

Le problème, c'est que l'on va avoir encore plus de détourages pourris parce-que "Mr je m'imagine graphiste" va utiliser cette fonction alors que le résultat est mauvais.

avatar 0MiguelAnge0 | 

Partout pareil: quand lea castes se sentent menacées, les mêmes clichets resortent....

avatar pariscanal | 

Cela me semble être juste des contraintes et une usine à gaz , C est un système encombrant pour la création ,
C est bien pour le commercial qui veut sa créa lui même ?

avatar lesurfeurfou | 

La fin des DA ?

avatar SidFik | 

@lesurfeurfou

La fin des da non, pas tant que l'ia aura le monopole sur la création à default de l'avoir sur l'exécution, la fin des graphistes ou des executant par contre est plus probable, etant donné le peu de considération pour ces metier, il n'est pas impossible de penser que certaines boites voulant minimiser leurs couts au maximum vont faire l'impasse sur la partie création en la refilant à une ia qui fera le boulot comme ils l'entendent et pour moins cher.

Et puis au moins l'ia ne chippotera pas quand ils s'agira de mettre "ce logo en plus gros"

avatar harisson | 

@SidFik

"Et puis au moins l'ia ne chippotera pas quand ils s'agira de mettre "ce logo en plus gros"

L'IA market déclenchera l'alarme en disant que si le logo est plus gros, il perdra beaucoup d'argent et plouf plouf département marketing fermé pour optimisation des coûts ^_^

avatar SidFik | 

Cool comme cela a terme on vas aussi pouvoir se passer du metier de graphiste, une aubaine pour les comerciaux qui se sentent l'âme d'un créatif, ils vont enfin pouvoir vendre de la merde standardisé sans avoir un con qui fait chier à leur rappeler que le truc est graphiquement indigeste ....

Remarquez, peut être qu'a terme leur profession aussi vas finir pas être remplacé par une ia, mais je sent bien qu'ils auront les moyens de faire en sorte de se protéger ...

avatar Fennec72 | 

Peut-on considérer que l’arrivée de challengers comme ceux d’Affinity pousse Adobe à innover ?

avatar Hasgarn | 

@Fennec72

Je ne trouve pas cette solution innovante.
Ça pourrait être de la R&D et dans ce cadre, pour quoi pas.

Actuellement, Affinity ou Pixelmator court après Adobe qui a une avance historique et des applications métiers très complètes. Adobe tente un truc et cherche à encadrer la création pour mieux enfermer et intégrer. Ça, c'est une chose que les concurrents ne pourront pas faire de sitôt.

Par contre, les concurrents ont tout intérêt à écouter les besoins de leurs clients, ça leur donnera un avantage certain.

avatar conster | 

@Hasgarn

Adobe, comme beaucoup d’autres ne veut pas rater le train de l’IA qui est la prochaine lame de fond pour tout ce qui va toucher le développement. Elle pose des jalons pour ce qui deviendra incontournable d’ici peut de temps...

avatar Hasgarn | 

Le problème n'est pas l'IA mais ce qu'ils en feront.
Et j'ai pas confiance

avatar Hasgarn | 

Ça me donne franchement l'impression qu'adobe en a marre de développer des outils pour créatifs (et par conséquent la variété) et préfère la normalisation.

Mouais…

avatar DouceProp | 

C'est amusant de voir que l'affiche finale a peu à voir avec l'idée de base en dessin...
Vivement que Photoshop donne des idées et face la mise en page tout seul histoire que les DA, graphistes et leurs copains n'aient plus de boulot... Salaud de Sensei, je suis déjà contre ce truc.
(Je serai à la retraite quand ce machin sera au point et vraiment utilisé...)

avatar victoireviclaux | 

Ce forçage d'Adobe, d'aller vers des solutions d'abonnement... ça me gratte...

avatar umrk | 

Un "Sensei" est un instructeur en arts martiaux, auquel on doit le plus grand respect .....

avatar debione | 

Le final donne l'impression d'une affiche pour un nanard de série Z. (on prend toutes les références, on les mélange, et on a un truc moche...)
Après c'est subjectif, car cela reste de... l'art...

avatar zoubi2 | 

Je ne suis pas graphiste et totalement incompétent en la matière. Je comprends bien la réaction des pros sur ce sujet... Mais franchement : Vous raisonnez comme si tous les graphistes étaient des créatifs doués et qu'ils feraient tous bien mieux. Tu parles ! Comme si nous n'étions pas cernés par une avalanche de merdes royales... Autrement dit : Sensei ne fera pas pire que xx% des graphistes qui nous cernent. Les 100 -xx restants resteront bons, feront incomparablement mieux et survivront.

avatar debione | 

Comme les photographes? À force de se prendre pour des photographes avec leurs smartphones, d'agir comme tel, le métier à presque complètement disparu.
Les gens se contente de médiocrité si on leur dit que c'est vachement bien parce que c'est eux qui l'ont fait.

C'est la magie de l'uberisation, donne un smartphone à quelqu'un et il te dira qu'il pourra faire photographe de mariage ou de presse, donne cet outil a un quidam et il te dira qu'il peut être graphiste, hors on sait tous que c'est faux. C'est pas parce que j'utilise Logic tous les jours plusieurs heures que je me considère comme musicien.

avatar Kokobama | 

Je ne vois vraiment pas ce qui turlupine certains dans cette news :
C’est un outil visant à simplifier le travail du créatif lors de sa phase de « compositing ». Lorsque l’on cherche des postures bien précises dans un shooting regroupant plusieurs dizaines de gigas de photos c’est typiquement le genre d’aide bienvenue à mon avis... De quoi se concentrer totalement sur l’idée sans compromis ni irritant.
Ça n’est certainement pas conçu pour le grand public, ni pour les amateurs que nous sommes nombreux à être.
Si c’est au point, belle initiative d’Adobe en faveur des pros.

avatar debione | 

Ce qui me turlupine là dedans est la chose suivante: l'iteration menant à l'acte de produire de la culture. Tu peux poser la question à n'importe quelle musicien, photographe, graphiste, metteur en scène ou même fabricant de bière, il y a beaucoup de choses "super" qui sont produites justement parce que des "erreurs" sont survenues, ou de simple effet de la recherche à perte ( on sait que cela ne va pas fonctionner mais on essaye quand même). C'est par cela que l'on peut toucher au génie...
Si une recette existait cela se saurait depuis longtemps, hors ici c'est exactement ce qui est proposé, une recette. Si tu mets du paprika partout, tout aura le goût de paprika toujours. Bonne chance pour donner un goût d'anis à ton paprika?

avatar Kokobama | 

@debione

Ok, donc tu utilises Logic plusieurs heures par jour et tu n’es pas musicien. Je me demande comment tu t’en sers?
Oui un heureux hasard peut en effet conduire un créatif à transcender son œuvre... Bien sûr. Mais enfin créer ne se résume pas qu’à expérimenter!
Certains créatifs savent dès le départ où ils veulent aller : ils ont une idée précise dans la tête qu’ils tendent à matérialiser.
À mon avis, il y a plus de dessinateurs qui commencent leur dessin avec une idée en tête que de dessinateurs qui tracent un trait au hasard...
Perso, je suis heureux de pouvoir trouver un son de Lead avec divers attributs bien précis parmi une multitude de sons divers et variés lorsque je suis en pleine compo : Je sais quel son je veux, j’ai l’outil pour chercher ce son rapidement... ça marche, tant mieux, ça ne marche pas, je change. Je gagne du temps, et peu donc me recentrer sur l’essentiel : la création. Je ne vois pas en quoi la machine prend le pas sur mon imagination. Elle me simplifie juste la vie.
C’est le même principe pour Sensei d’après ce que j’en vois.
Non vraiment je ne vois pas ce qui te turlupine!

avatar debione | 

Oui tout comme je cuisine une dizaine de fois par semaine sans être cuisinier.
Pour moi un musicien est quelqu'un qui a une formation, c'est la saxo avec qui je joue de temps à autres qui me sort une partition pour me montrer ce que je joue et qui va m'annoncer qu'elle va m'accompagner mais en quinte diminuée ( je dis des trucs au hasard, je comprends pas grand chose à ce qu'elle me dit), un musicien est quelqu'un capable de lire et de retranscrire la musique, bref avec un bagage théorique.
Moi, je bidouille du son depuis 25 ans, avec des machines, avec mon ordi... Mais ma seule façon de lire une partition est de compter les lignes entre les notes, et je suis toujours pas sur de ou est le DO sur mon clavier. C'est mon oreille qui me dicte si cela marche ou pas.

Alors je ne fonctionne pas du tout comme toi quand je cherche un son de Lead avec divers attributs ( j'ai toujours une vague idée de la sonorité que j'aimerais mettre), mais force est de constater que ce que je réussis de mieux dans le son c'est justement quand je cherche un son de lead et que je vais me retrouver avec tout autre chose, justement parce que j'ai essayé autre chose que ce que je pensais au départ, et autre chose que les sons Lead de Logic ou de mes Arturia ( il y a une différence notoire pour moi entre prendre un son Lead et créer son son Lead, et cela s'entend).

Ici c'est la même, on réduit le champs des possibles ( et réduire les champs dès possible dans l'art est toujours néfaste). Je pense qu'il faut faire une distinction entre la technique de l'art et l'art. Si je fais un flyer ou un visuel quelconque, je vais suivre des codes très précis que je sais essentiel ( Lieu, heure, date bien en évidence)... la suite de ces codes précis que l'on peut retrouver dans tout art, n'est pas en soit de la création. C'est juste une suite de règles techniques, comme l'horloger qui suit les règles pour poser son engrenage.

C'est un peu aussi comme pour la photo, un des arts qui me touche le plus. Une photo parfaitement cadrée, avec une luminosité parfaite, une balance des blancs impeccables est souvent autant attirante qu'une femme à la beauté froide. C'est joli, mais ca évoque pas grand chose.
Après tout dépend évidement de sa propre sensibilité à l'art, ce que l'on attend de lui ( pour moi, cela doit me toucher les tripes, les émotions, évoquer des sensations)

avatar Kokobama | 

Ton avis est intéressant mais je ne le partage pas du tout.

Jimmy Hendrix était autodidacte et pourtant c’est un (LE?) guitariste le plus créatif de son temps.
Pas besoin d’avoir fait le conservatoire pour être musicien à mon avis.
Tout est question de passion et de de pugnacité

Bref, je pense que mes compos les plus intéressantes sont celles avec lesquels j’ai été le plus fidèle à l’impulsion de départ. Même si en cours de prod j’ai pu prendre des directions bien différentes de celles que j’avais imaginé, la chanson garde une certaine spontanée, une certaine raison d’être.
À contrario, les musiques qui sont nées d’une page blanche et donc d’une expérimentation totale n’ont bien souvent que peu d’intérêt rétrospectivement. De la soupe prétentieuse sans but émotif particulier, sans urgence. Ça n’engage que ma prod bien sûr... Et puis il y a des exceptions.
Ca fait 20 piges que je maltraite cubase pour ma part.

L’exemple du son lead facile à trouver avec les attributs était un simple parallèle avec Sensei, et il est évident qu’il demeure bien mieux de se frotter à la synthèse et au sound design sur du hardware. Mais en général, quand on fait ça, c’est que l’on sait plus ou moins ce qu’on cherche et que l’on est plus vraiment dans « l’heureux hasard » que tu prônes.

Enfin, beaucoup estime que c’est dans la contrainte que l’on est le plus créatif. Donc réduire le champ des possibles n’est pas forcément contre-productif au contraire.
Les Beatles et 4 pistes = Strawberry Fields!

Pour terminer, Sensei ne s’adresse pas aux amateurs, mais aux pros, qui ont un cahier des charges avec des contraintes précises de temps et de rentabilité entre autres. Le but est justement de pouvoir tester ultra rapidement un grand nombre de possibilités. Et parfois même, être gratifié par un heureux hasard?

Bien à toi.

CONNEXION UTILISATEUR