Jeff Han, le multi-touch aujourd'hui et demain

Florian Innocente |
Il y a deux ans lors de la conférence TED (Technology, Entertainment, Design) Jeff Han avait fait grand bruit avec sa démonstration d'une interface multi-touch sur grand écran. Un procédé qui s'est aujourd'hui glissé dans quelques millions de poches avec Apple, que HP amène sur les dalles de ses ordinateurs de bureau et dont Microsoft fera l'une des nouveautés du prochain Windows après l'avoir utilisé dans une table interactive.

Dans une interview chez Wired, Jeff Han analyse cet engouement croissant autour du multi-touch et les défis qu'il implique pour l'avenir. Il estime que l'on a à peine effleuré ce qu'il est possible de faire. Figurant parmi les pionniers de cette évolution de l'interface entre l'homme et la machine, il ne ménage pas ses critiques sur la manière dont elle a été mise en oeuvre. Il ne cite jamais Apple avec son iPhone ou Microsoft avec sa table Surface mais on devine leurs noms entre les lignes.



Han, qui a fondé Perceptive Pixel et qui travaille exclusivement sur cette technologie, estime que si l'on veut en exploiter toutes les ressources il faut repartir d'une feuille blanche et de métaphores inédites "Comme le dit Yoda, il faut désapprendre ce que l'on a appris", s'éloigner de cet héritage de 40 ans d'interfaces articulées autour d'un clavier et d'une souris.

"Pour certaines choses triviales comme de faire un zoom avec deux doigts la question est réglée. Mais pour réussir à libérer tout le potentiel de cette technologie, il faut aller au-delà de simples extensions au clavier et à la souris […] Je vois des sociétés proposer du multi-touch mais tout qu'elles font c'est reproduire la manière dont nous interagissons avec nos ordinateurs."



Il convient qu'il est extrêmement difficile de faire le deuil de tout cet apprentissage. Et pour lui l'une des causes de ce problème c'est qu'aucun système d'exploitation existant n'est capable de gérer le multi-touch à un niveau fondamental.

D'où les travaux menés depuis deux ans par Perceptive Pixel pour créer un nouvel OS, une couche logicielle toute neuve et tournée autour du multi-touch. Une tâche fastidieuse, mais essentielle à ses yeux pour avancer et proposer un complément efficace aux interfaces actuelles.

"Ce qu'il faut garder à l'esprit c'est que nous ne poussons pas à remplacer une chose par une autre. Le multi-touch est naturel et utile pour certaines opérations qui seraient compliquées avec un clavier et une souris. Mais il y aura toujours des actions où ils resteront imbattables."

Jef Han voit aujourd'hui le domaine du multi-touch comme une nouvelle Ruée vers l'or, où chacun se précipite pour occuper une parcelle de terrain. Il n'imagine pas un seul acteur rafler la mise et s'imposer à tous, mais plutôt un écosystème. Avec des risques, comme celui de voir ces efforts partir dans toutes les directions et participer à une large confusion. Un même geste par exemple n'aurait pas le même sens chez les uns et chez les autres.

S'il estime normal que l'on dépose des brevets dans ce domaine - Perceptive Pixel ne s'en prive pas - il milite pour la définition de quelques règles communes. "Si cet écosystème veut prospérer, il faudra qu'il y ait une sorte d'autorité qui se mette en place et qui fasse en sorte que bien que nous soyons tous concurrents, on puisse se mettre d'accord sur certaines terminologies et sur quelques gestes de base dont aucun de nous n'a la propriété."

Il fait également la distinction entre ce "multi-touch" qui est mis à toutes les sauces, et le "vrai multi-touch" qu'il entend promouvoir, celui qui implique qu'un nombre arbitraire de doigts (ou de stylet) peut être utilisé simultanément.

"Il y a des sociétés qui ont une vue plus réduite des choses. Multi signifie "plus" en anglais n'est-ce pas ? Il y a ce système de "two-touch" que l'on voit aujourd'hui, et ils l'appellent multi-touch (ndr : ça c'est pour Apple). C'est terrible, car c'est par cette absence de concertation entre les différents protagonistes que l'on risque de faire des dégâts dans cette industrie."

Han se démarque également des autres sociétés par les marchés qu'il veut aborder. Loin des baladeurs, des téléphones et des ordinateurs familiaux, il vise en premier lieu les entreprises. CNN par exemple utilise son "Mur Magique" pour ses émissions d'information (voir l'article CNN banalise le multi-touch).

"Il reste tellement d'inconnues que nous nous concentrons en priorité sur des sujets où cette technologie peut être utile, comme la productivité, sur ce qu'elle peut apporter sur des marchés spécialisés. Et fort de cette expérience on verra comment on peut appliquer ces enseignements auprès du grand public."

"Je pense qu'il est très important de ne pas commencer à utiliser ces systèmes pour des petits trucs ou par exemple pour commander un verre au restaurant" (ndr : ça c'est pour Microsoft) "A la place essayons de voir quelle utilité cela peut avoir pour aider au travail d'équipe entre les créatifs d'une entreprise, ou pour visualiser des informations ou pour des présentations […] comment un ingénieur peut manipuler les différentes pièces ou les éléments d'un moteur ou d'une construction avec seulement ses deux mains ? Ce sont des questions difficiles. C'est pour ça qu'on va d'abord vers ces marchés. Comme ça, lorsque sera venu le temps du grand public, toute la phase expérimentale sera terminée. Et on saura quelle est la bonne manière de faire."

bi_imagessurfacemicrosoft


Parmi les pistes qu'il défriche, il y a celle d'une interaction par la pression "On est très emballés en ce moment par des matériels qui peuvent détecter et mesurer un niveau de pression pour chacun de vos doigts. D'ici deux mois on va montrer quelque chose d'assez sympa où l'on utilise cette information de pression pour la manipulation d'objets 2D. Vous pourrez pousser des choses et les glisser les unes sous les autres. C'est extrêmement élégant et ça marche aussi avec un écran non multi-touch."

minority-report-ui


Enfin, Han donne son sentiment sur Minority Report à laquelle sa technologie a souvent été comparée dans les descriptions qui en étaient faites (ndr : Tom Cruise avec des gants ad-hoc manipule des données dans l'espace) "Je déteste Minority Report. Je déteste les interfaces purement gestuelles parce qu'en réalité elles fonctionnent assez mal. Ça a été prouvé. Le corps humain a besoin de ce retour tactile. Cependant, en l'associant avec le toucher, je pense que dans un futur lointain, l'intégration des deux pourrait être plus réussie que chacune prise séparemment."

Tags
avatar sf1989 | 
vivement le monde de demain ça va être excitant de voir ça arriver avec la révolution robotique que l'on nous promet aussi
avatar vintz72 | 
> sd1989 Ah bon, on nous promet une révolution robotique ? C'est une boutade ou as-tu des sources ?
avatar eauliv | 
Il reste que dans la plupart des cas (ordi de bureau/écran d'au moins 19") le clavier est éloigné de plus d'une longueur de bras donc "intouchable" De plus pour le toucher il faut lever le bras ce qui est extrêmement fatiguant à la longue. Si si Reste la possibilité d'un clavier/tactile (en plus de l'écran principal) qui servirait de souris et de clavier comme l'Iphone que l'on peut utiliser aujourd'hui en écran tactile/souris pour son mac.
avatar iarwain | 
Ca, et le fait que les ordinateurs seront capable "d'apprendre" tout seuls, nous promet certes un monde exitant où nos bécanes actuelles feront figure de machine à écrire archaïques…
avatar Chuckas | 
Moi je ne suis pas d'accord avec lui sur un point!!! L'iphone a du vrai MULTI TOUCHE l'applications band le prouve on peut l'utiliser avec autant de doigts que l'on souhaite!
avatar sf1989 | 
@vintz72 beaucoup de spécialistes, Bill Gates en premier lieu, estiment qu'en matière de robotique on est aujourd'hui au niveau où l'on se trouvait dans les années 1980 en matière d'informatique, ça laisse une bonne perspective... mais pour appuyer ça par un exemple concret il suffit de regarder vers quoi se reconvertissent les constructeurs de voitures japonais: les robots plutôt qu'un marché auto qui n'a plus de très beaux jours devant lui
avatar julien.alkaza | 
Tap Tap Revolution aussi!!!!! Quand on joue à deux, il peut y avoir jusqu'à 4 doigts...
avatar YAZombie | 
C'est assez amusant ce qu'il dit sur Minority Report : après tout, il n'est dit nulle part dans le film que les gants portés par Tom Cruise ne sont pas équipés d'un dispositif à retour de force (ou une autre technologie plus sophistiquée qui resterait à inventer), qui lui donne l'impression du toucher ! Si on imagine que c'est le cas, le dispositif imaginé serait-il pour lui parfait?
avatar sf1989 | 
les ordinateurs tactiles oublieront l'interface clavier et écran éloigné! t'as pas lu l'article?? ^^ il faut réellement repenser l'interface homme-machine, par exemple ton écran ne sera plus à la verticale loin sur ton bureau mais près de toi, face inclinée vers le haut pour que tu puisse interagir avec lui de même pour les ordinateurs portables... (j'espère qu'il n'y en a pas trop qui n'aime pas le clavier virtuel de l'iPhone lol)
avatar Dr_cube | 
Et le multi-touch dans l'iPhone est clairement intégré au système d'exploitation. Personnellement j'attends vraiment Apple sur ce coup là. Ils ne doivent pas décevoir, et j'espère qu'ils ont un iMac touch sous le coude, avec une redéfinition totale de l'interface. Eux seuls peuvent concevoir un ordinateur personnel complètement différent de ce qu'on connaît. Ils l'ont fait plusieurs fois avec le Mac, et j'espère que ce sera encore Apple qui révolutionnera les ordinateurs personnels. En tout cas, ils ont déjà conçu un système d'exploitation qui gère le multi-touch. Il reste le matériel et le logiciel à faire.
avatar sf1989 | 
@YAZombie tout à fait d'accord, on peut alors imaginer une interface en relief genre des éléments qui bougent dans l'espace et que l'on peut manipuler avec une sensation de toucher
avatar Groumpff | 
Il serait judicieux de parler d'Ironman .... voilà une application "industrielle"
avatar gigi | 
"Il y a des sociétés qui ont une vue plus réduite des choses. Multi signifie "plus" en anglais n'est-ce pas ? Il y a ce système de "two-touch" que l'on voit aujourd'hui, et ils l'appellent multi-touch (ndr : ça c'est pour Apple). comme l'a dit 2 autres intervenant ici, l'iPhone est vraiment multi touch, quand je joue du piano je peut mettre mes 5 doigts sur 5 notes et les cinq notes jouent en même temps
avatar Hindifarai | 
@ YAZombie et sf1989 : L'interface spatiale de minority report n'est pas viable. Je dis celà en connaissance de cause ayant implémenté cette même interface(avec gant passif lumineux et webcam) pour mac et pc. L'utilisateur fatigue très vite et il devient rapidement évident qu'il faut qu'il puisse se reposer sur un support. Quoi qu'on en dise la souris est certes très simple au premier coup d'oeil mais elle répond à tous les besoins de l'utilisateur et de la manière la plus simple, chaque action atomique est restituée et peut-être parfaitement combiné avec les autres actions nécessaires.
avatar def13 | 
Et bien une chose est sûr, on va tous finir par porter des lunettes et avoir le bout des doigts lisses. Et puis, on a pensé aux gros dégueulasses qui viennent de manger un hamburger bien gras et qui viennent te pourrir ton écran avec ses doigts ??? Et j'en passe et des meilleurs ... Oui, l'avenir sera sympas ! Je sors (MDR)
avatar shenmue | 
@Hindifarai: tu réponds à cetrains posts sans les lire...Sf1989 t'expliquait justement que la position de l'écran est déterminante dans le confort pratique du multi touch et toi tu lui ressasses Minority Report et son écran vertical pour démonter l'intérêt de cette techno.. A terme, je persiste à dire, et le redirai encore que la techno multitouch est bien sûr promise à un plus grand avenir que la souris...10 pointeurs ou plus valent mieux qu'un...mais ce sera l'interface qui fera la différence...Jeff Han a entièrement raison sur ce point...si l'interface est conçue POUR cette technologie, la souris prendra un coup de vieux irréparrable... Et je pense que vu les brevets d'Apple, le successeur de Snow Léopard risque bien de créer l'évènement... Les interfaces gestuelles, à partir du moment ou le toucher est reproduit, je pense aussi, contrairement à JH que c'set une grosse voie d'avenir...d'ailleurs, le multi touchc'est AUSSI de la gestuelle (pincer pour fermer, ouviri deux doigts pour zoomer etc...). On passe d'une interface où il faut cliquer sur un symbole représentant l'action pour effectuer l'action à une interface où c'est notre action qui détermine tout de suite le résultat. Potentiel énormissime ici...et le premier à présenter une interface viable autour de ça créera un big bang informatique comme à l'époque du premier Mac...
avatar sf1989 | 
@Hindifarai c'est vrai je n'y avait pas pensé... dans une utilisation quotidienne se genre de procédés pourraient s'avérer fatiguant mais pour des applications professionnelles je pense quand même que ça peut être pertinent en tout cas c'est pas pour tout de suite, contentons nous déjà du multitouch que Han nous prépare, parce que les objets virtuels interactifs on verra dans 50 ans... :)
avatar sf1989 | 
(je parlais bien d'une interface dans l'espace pas sur un écran pour mon dernier com)
avatar sf1989 | 
shenmue a raison
avatar shenmue | 
Avant 50 ans..c'est sûr... Apple lancera un mac multi touch AVANT 2010, j'en suis persuadé..et l'interface sera profondément revue pour tirer fondamentalement partie de cette technologie... La technologie va vite aujourd'hui...
avatar laurange | 
La technologie multi-touch est extrèmement spécialisée, elle doit être accompagnée d'une IHM très simplifiée et est irréaliste dans la plupart des actions quotidiennes sur les ordinateurs. Ca ne sera pas la révolution que Jef Han nous annonce. PErso l'utilisation dans Minority Report me parait très raisonnable, l'utilisateur ne passe pas sa journée à faire ça.
avatar sf1989 | 
@shenmue oui oui je pense aussi de toute façon on arrive à la fin de vie de l'OSX Snow Leopard sera le dernier, et après lui viendra la révolution tactile j'ai quelques idées mûrement réfléchies sur la question et je vais ouvrir un post sur les forums s'il n'y en a pas déjà
avatar Hindifarai | 
Je précise ma pensée : (shenmue ne vous énervez pas) Les interfaces tactiles proposent un support matériel à l'utilisateur, ça peut paraître stupide à dire de but en blanc mais c'est fondamental. (support matériel j'entends par là support physique de repos pour le corps) Les interfaces spatiales (mouvements spatiaux) ne proposent par définition aucun support, que le tactile soit rendu ou non de manière détournée. C'est là où le bât blesse dans cette vision du futur des interfaces utilisateur ce n'est pas viable. Je ne parts pas d'une impression ou d'une vague idée du futur mais d'une expérience personnelle. Comme je l'ai dit j'ai développé une application pour manipuler le curseur de la souris et rendre toutes les opérations que celle-ci propose depuis un gant lumineux passif comme dans le fameux film. Les gestes ont été très longuement discutés pour approché au plus près de l'ergonomie optimale mais néanmoins ce n'est pas pratique pour l'utilisateur passé une certaine durée. Que l'empreinte de ces mouvements se fasse de dessous(webcam sous l'utilisateur ou en oblique peu importe et bras baissés) ou d'en face(bras tendus vers l'avant et webcam juste au-dessus de l'écran) ça reste fatiguant dans tous les cas et pour tous les âges(testé de 7 à 60 ans). Je n'ai pas pu implémenter une prise de vue double pour avoir un geste géré en 3D mais j'ai des doutes quant aux améliorations sur ces points, bien que les possibilités deviennent décuplées. Les interfaces touch me semblent à l'heure actuelle et de très loin les plus prometteuses. A titre personnelle je ne les trouve pas assez mûres mais c'est très subjectif suivant l'utilisation que l'on en attend bien évidemment. En espérant avoir été cette fois-ci plus clair.
avatar Dr_cube | 
sf1989 : je doute fortement qu'Apple se ferait chier à optimiser Mac OS X au maximum si c'était pour l'abandonner et passer à autre chose un an après. On l'a vu avec l'iPhone OS, il y a plusieurs choses qu'Apple a envie de changer dans Mac OS X, et qu'il est difficile de changer à cause de l'inertie. L'iPhone apporte beaucoup de choses pour le multi-touch, et ces choses pourront être ajoutées à Mac OS X dans une prochaine version. Snow Leopard va clarifier les choses et permettre ces changements. De toute façon, je suis certain qu'Apple trouvera une bonne solution. Quant à la date, ça dépend certainement du prix des dalles tactiles, mais d'ici deux ans ça devrait être bon non ? Apple devra arriver avec un système d'exploitation compatible, et surtout avec des logiciels (iLife, iWork) qui tirent partie des nouveautés, et qui sont donc complètement revus.
avatar lechneric | 
Je ne vois pas l'intérêt du multitouch sur grand écran le mec est tout le temps l'écran. on voit rien Il va vite fatiguer à gesticuler ainsi tout comme c'est yeux. Le miltitouch sur petit écran > 13' peut être et encore il aura le problème de la précision (gros doigt) Sans parlé des traces (j'ai un écran 11" tactile dans ma voiture trace doigt et soleil on voit plus rien) Je crois plus au pavé multitouch, utilisable par tous dans meilleur confort. Toucher directement un écran vertical, Non. mais, à l'horizontal il y aura plus de possibilité.

Pages

CONNEXION UTILISATEUR