10/Gui : un environnement bâti pour le multitouch

Arnaud de la Grandière |
Voici une vidéo qui devrait faire parler d'elle : elle démontre un concept d'interface utilisateur bâtie entièrement autour du multitouch, nommé 10/Gui.

Tout d'abord elle répond à une problématique de base (à laquelle feront face nombre d'utilisateurs de Windows 7) : ça n'est pas l'écran de l'ordinateur qui doit être multitouch, car d'une part garder les bras à la verticale serait trop contraignant, et en outre les doigts masquent l'action qu'ils effectuent.
Pour répondre à ce problème, R. Clayton Miller, qui est à l'origine du concept, propose plutôt une tablette multitouch posée sur le bureau, voire intégrée au clavier, à la manière de ce que proposait FingerWorks avant d'être rachetée par Apple. Elle détecte la position des 10 doigts, qu'ils soient en contact avec la surface, ou qu'ils soient quelques millimètres au dessus.

Bien qu'il rende hommage aux travaux du Xerox PARC, qui ont été si visionnaires qu'ils sont toujours d'actualité aujourd'hui, il propose cependant de prendre un nouveau départ, car Il ne s'agit pas non plus de conserver la métaphore du bureau telle qu'elle existe pour l'adapter au multitouch,

Baptisée Con10uum, l'interface propose d'enfiler documents et applications sur une bande horizontale, à travers laquelle on peut naviguer à différents niveaux à l'aide de gestes utilisant différents nombres de doigts.

Tags
avatar rom54 | 

la dissociation écriture-interaction / plan visuel s'est généralisée avec la machine à écrire. Le fait de dissocier l'écriture de la feuille (taper le texte sur un clavier) a conduit à une accélération de l'écriture. Au point que la technologie ne pouvait suivre et qu'on a dû inventer des claviers suffisamment tordus pour ralentir la vitesse de frappe...

L'utilisation d'un "module de commande" (clavier, souris, joystick, volant, ect) permet une interaction toujours plus grande et complexe avec une représentation virtuelle toujours plus réaliste.
L'écran tactile est une orientation inverse: c'est adapté pour une utilisation simple ne nécessitant pas d'apprentissage (borne interactive, paramétrage simple de l'appareil).

On a donc 2 orientations bien distinctes: utilisation instantanée et ponctuelle (ecran tactile ou similaire) et l'outil de production (module de commande complexe+ représentation virtuelle). Le second demande un apprentissage, mais décuple la productivité (ça s'applique aussi aux jeux ;) )

Bref pour un ergonome, l'idée de faire d'un [grand] écran tactile (multitouch a fortiori) un outil de production quotidien est un non-sens. Par contre l'idée de développer un ensemble (module de contrôle + représentation virtuelle) respectant et utilisant les fonctionnalités du corps, la ca a du sens.
La force d'Apple dans ce domaine c'est de savoir trouver un juste milieu entre une utilisation massive et productivité. Si je me souviens bien la "souris" utilisée par A.Kay pour interagir dans l'environnement Smalltalk, disposait de plus de 5 boutons avec de multiples combinaisons... Le truc génial ça a été de conserver les fonctions basiques (1 bouton) de la souris pour "augmenter" le contrôle avec le clavier (qui lui demande un long temps d'apprentissage, mais qui est généralisé) et de diffuser ça massivement.

"Surface", c'est une belle vitrine technologique, mais en terme de fonctionnalité c'est contradictoire. Pareil en ce qui concerne les écrans tactiles...

avatar norman | 

Chez Boulanger j'ai fait joujou avec le HP à écran tactile et... purée, l'iMac d'à côté était tellement plus agréable à utiliser... encore du gadget pour gogo ;-)

avatar macbob (non vérifié) | 

Franchement, passé l'effet Waou, c'est limite ce truc... je m'explique:

1. c'est pas "accessible" une interface totalement multitouch... il faut prévoir 2 modes ! pour les personnes avec un handicap.
2. L'histoire de la tablette et de l'écran séparé n'a rien d'originale, il suffit de lire les commentaires ici-même pour savoir que pas mal de monde rêve d'un clavier MT.
3. Aligner les fenêtres de cette manière, c'est vraiment loin de réinventer le concept, on ne fait que les manipuler autrement sans parler du fait que ça me fait furieusement pense à des tas de choses que mes étudiants de 18 ans en multimédia me proposent lors des exercices sur les navigation (j'enseigne l'ergonomie des interfaces...)
3. quand on a plein de fenêtres alignées, c'est un peu bordélique aussi son truc, sans parler du fait qu'on ne les voit jamais toutes en même temp et que pour passer d'un bout à l'autre...

Je pense que plusieurs petits outils que chacun utilise à sa guise sont préférables (space, exposé, dock, et autres produits tiers comme des lanceurs)

In fine, il y a de bonne choses là dedans, je ne dis pas, mais il faudrait encore vachement améliorer.

PS. ça ne marchera jamais à court terme, les gens NE VEULENT PAS changer leurs habitudes !!!

avatar Saf | 

@macbob : ça dépend ce que tu appelles court terme parce que les gens ne semblaient pas être prêt pour les smartphones et au final ça se vend plutôt bien je crois.

avatar nlex | 

Je vois pas pourquoi il faudrait un clavier virtuel !

On peut très bien garder notre clavier et remplacer la souris par une surface tactile, et voila.

avatar laurange | 

L'idée est d'utiliser les deux mains, mais effectivement rien n'interdit l'utilisation d'un clavier physique.
ou alors on attend les surface à retour de force qui pourront recréer la sensation d'une touche et peut être ne projetant les lettes sur la surface ou avec un éclairage qui affichera le clavier sous les doigts depuis la surface tactile.

avatar shenmue | 

@Darkmoineau:"Dr_cube, l'écran tactile est justement critiqué par la vidéo car tes mains cachent l'écran ;)"

C'est bien connu, les dessinateurs n'arrivent pas à bosser, pas plus que les architectes...leurs mains cachent la page !!!
Franchement...

avatar shenmue | 

@Macbob:"PS. ça ne marchera jamais à court terme, les gens NE VEULENT PAS changer leurs habitudes !!!"

Et avant l'Iphone, les gens n'utilisaient que des claviers physiques et ne mettaient pas leurs doigts sur l'écran de leurs téléphones.

avatar macbob (non vérifié) | 

Eh, les gars, je vous rappel que même si les smartphones se vendent bien, ce n'est qu'une très petite partie du marché des mobiles, par ailleurs, entre acheter un téléphone et s'y adapter et s'adapter à un nouveau workflow au boulot il y a une GROSSE étape étant donné que l'usage des ordis est le même depuis maintenant près de 30 ans (je veux dire que les gens ont leurs habitudes) alors que les portables n'ont pas arrêtés de se transformer depuis leur apparition sur la marché grand public dans le mid-90 (donc on devait apprendre à nouveau à chaque fois qu'on le changait, et en général on change tout les 1 à 2 ans...), ne confondez pas tout... Apple le sait très bien, c'est pour ça qu'ils on sortis l'iPhone alors que le TabletMac n'est pas là... enfin, ça va venir aussi...

avatar Smartiiez | 

Ça me fait penser au système de carte dans Webos.

avatar Setankin | 

J'imagine déjà un trackpad géant qui recouvre toute la partie en dessous du clavier sur les macbook

avatar iNabil | 

j'adore cette idée de multitouch, par contre j'adhère moins au système des fenêtres proposés

avatar p-a-b | 

Super intéressant...

Côté hardware ça évite de cacher l'écran et de se fatiguer à tendre le bras ou à pencher la tête, déjà ça c'est un bon point... Parcontre comme ils le présentent, les deux mains en avant du clavier éloignent celle-ci de ce dernier, et de devoir passer de la surface tactile aux touches en passant pardessus ce pad ne semble pas optimal, Ok c'est intégré en une seule pièce, mais ça paraît peu pratique et à nouveau "stressant"... J'imagine qu'on pourrait accéder à un clavier virtuel en plus du clavier physique, en cas de flemme... L'utilisation des deux mains est marrante, mais on pourrait imaginer un pad séparé du clavier, qu'on pourrait placer à gauche ou à droite de ce dernier, où on veut en fait, mais qui ne pourrait "couvrir" qu'une main pour cause d'encombrement physique. Il y a des rumeurs de dispositifs ressemblant à ça, ou intégrés à une souris...

Côté logiciel, ça a l'air bien vu... Rien à dire... Sûrement plein de trucs à affiner, mais c'est normal pour une présentation de concept...

Et sur leur site, onglet "Background", à la question "Quelle société devrait assembler quelque chose comme ça ?", la réponse est "[un tel ensemble de concepts]... serait plus adapté à un assembleur de systèmes verticalement intégré". Ce qui dans l'industrie désigne presque immédiatement Apple... Un appel du pied...

avatar Un Vrai Type | 

Ou comment un outil de production devient un outil de consultation...
Pratique pour lire, écouter et voir ce que les autres ont fait.
Mais pour ce qui est de produire (et co-produire), je pense que la réflexion n'est pas finie...

avatar yann | 

Très intéressant.
Le touchpad pourrais aussi être un écran tactile et le clavier pourrait apparaître et disparaître en surimpression à la manière du Dock de Mac OS X.

avatar PA5CAL | 

Je vais peut-être passer pour un grincheux, mais une fois mis de côté le laïus sur les inconvénients des écrans tactiles, la présentation du multitouch, de son utilisation pour des réaliser des actions, de la détection à distance de la position des doigts (tout ça est connu et exploité depuis plusieurs années), finalement la seule nouveauté que je trouve est l'idée d'empiler les fenêtres de gauche à droite avec la possibilité de les faire défiler. Encore que, finalement, cela ne constitue qu'un mode dégradé à une dimension de ce que plusieurs ont déjà réalisé en deux dimensions, et s'approche beaucoup du concept du Cover Flow d'Apple.

Je pense qu'on ne manque pas culot en présentant cela comme une idée originale. Y aurait-il un brevet logiciel à la clé ?

avatar Dr_cube | 

Personnellement je préfère penser que les écrans eux-même deviendront multi-touch. On n'est pas obligé de conserver l'orientation verticale des écrans. On peut imaginer un écran inclinable, qu'on placerait verticalement pour regarder des films ou utiliser un trackpad et un clavier, mais qu'on placerait presque horizontalement pour interagir avec les mains directement sur l'écran, un peu comme avec une planche à dessin.

Dans tous les cas, l'ère de l'informatique ubiquitaire devrait transformer toute surface en surface interactive. En d'autres termes, à l'avenir une table devrait être une surface d'interaction, sur laquelle des objets virtuels seraient affichés/projetés. On voit par exemple quelques téléphones équipés de petits projecteurs. Ces derniers permettront de projeter des informations sur un mur ou sur n'importe quelle surface.

Pour ce qui est de l'avenir proche : le multi-touch est évidemment à la mode. Il faut utiliser les mains pour interagir directement avec des objets virtuels. J'imagine qu'Apple saura trouver une solution intéressante, comme ils l'ont déjà fait avec l'iPhone. Quoi qu'il en soit, la souris reste excellente pour les interfaces graphiques actuelles. Un nouvel instrument d'interaction devra nécessairement impliquer de nouvelles interfaces graphiques.

avatar DarkMoineau | 

Dr_cube, l'écran tactile est justement critiqué par la vidéo car tes mains cachent l'écran ;)

Et c'est pas confortable ;)

Moi je me demande surtout l'influence qu'aurait l'holographie sur les interfaces des machines.

*Mode doux rêveur On*

avatar iNabil | 

@ yann :

si c'est ce qu'on fait vive les bleus au doigt...

avatar Bloodshed | 

Je suis pas convaincu à l'heure actuelle par un clavier sur surface tactile. Si c'est suffisant sur l'iPhone (à condition de pas taper des romans), ca manque de relief, de retour physique sur un ordinateur. En revanche je verrais bien toute la surface inférieur au clavier sur les macbook (emplacement du touchpad et autour) remplacée par un écran tactile. Ca pourrait permettre d'afficher des informations ou des trucs utilitaires dans une partie (par exemple le dock pour lancer les applications sur la gauche, a la maniere du lanceur d'applis sur l'iPhone, ou un mini exposé pour sélectionner les fenêtres. Et le centre pourrait servir de touchpad, la reproduction de la position des doigts sur l'écran est très intéressante je trouve. L'écran pourrait détecter les doigts situés au dessus (sans toucher l'écran), à la manière des tablettes graphiques, et ainsi bouger une sorte de curseur. Le clic et glissé-déposé (qui est pas terrible sur les touchpad actuel) se ferait simplement en touchant l'écran. Exactement comme une tablette graphique en fait, mais au doigt.
Au final sur le véritable écran (non tactile), on aurait que l'affichage des fenêtres et du menu. Pas de dock, pas de petites icones à droite du menu, tout cela serait déporté sur l'écran tactile sous le clavier. Au final l'écran serait recentré sur le véritable contenu sans éléments perturbateurs.

On peut toujours réver... ^^

avatar Dr_cube | 

@ DarkMoineau :

Oui, c'est ce qui est affirmé dans la vidéo, mais ce n'est pas démontré. Les millions de dessinateurs traditionnels n'ont pas forcément mal au cou. De plus, ces interfaces multi-touch pour grandes surfaces d'interaction ne sont pas forcément destinées à remplacer les PC et le WIMP, mais pourraient venir en plus, pour d'autres utilisations. Je sais pas moi, mais on peut imaginer une porte de frigo multi-touch, une table de salon (MS Surface), ou un bureau. Ca n'empêcherait pas d'avoir une PC WIMP plus traditionnel pour travailler.

avatar Arsenal Gear | 

Enfin quelqu'un qui présente la situation de façon intelligente et ne propose pas :

- Un écran à la verticale qu'on touche du doigt. Ça peut être pratique dans les supermarché (caisse express) mais pour un usage quotidien, bof bof. Et je vous dis pas les traces de doigts sur l'écran.

- Une tablette (de merde). C'est mieux que l'écran à la verticale, mais l'éventuel clavier virtuel prendrait trop de place (sur un iPhone et pour des SMS ça va, mais je vous dis pas le chantier pour du traitement de texte).

L'idée d'une surface multitouch format clavier avec :

- Possibilité de switcher d'un clavier à l'autre d'une seule pression (plus besoin de combinaisons "alt + machin + lettre") avec par exemple une fonction "Exposé" pour passer d'un clavier à l'autre.

- Possibilité de fermer ou renvoyer le clavier en bas de la surface (en vignette dans un dock) pour laisser la place à une grande surface de manipulation.

- Intégration d'une technologie "à retour de force" rendant les sensations, basée sur l'haptique (merci Karl !) : http://fr.wikipedia.org/wiki/Haptique

Après, je ne suis pas contre la généralisation des surfaces tactiles bien sûr, mais pour l'utilisation d'un ordinateur je pense que c'est la meilleurs solution.

avatar Manu | 

Je suis persuadé qu'en utilisant une souris plus plate (taille et forme iphone) et en gardant le clavier et l'écran tel qu'ils sont actuellement, on peut arriver au même résultat. Il suffit de rendre la surface de la souris sensible au multitouch.

avatar Arsenal Gear | 

Il risque d'être difficile de placer 10 doigts sur la surface restreinte d'une souris tu ne penses pas ?

avatar kostoglotov | 

Je vois pas pourquoi on glose encore sur ce genre de news : 'suffit de consulter les brevets déposés par Apple et faire preuve d'un minimum d'imagination pour comprendre qu'Apple a ça dans ses cartons depuis belle lurette : un objet qui soit tour à tour écran et et périphérique de saisie (clavier, tablette, console de jeu, table de mixage, platine de scratch, etc.) et tout ça avec technologie haptique, évidemment …
La seule inconnue, à mon avis, c'est "quand", pas "quoi" …

avatar Bidule200 | 

@Manu -- Je pense que garder la souris et son dispositif de pointage unique est parfaitement inutile dans un concept comme celui-ci.

avatar clem95 | 

je vois pas ce qu'il y a de révolutionnaire...
on a déjà tout ça, avec le trackpad multitouch des macbooks unibody.
la seule différence c'est peut être la taille, et encore je le trouve déjà bien proportionné pour navigue avec une seule main.
coté soft meme avec plein de fenêtres d'ouvertes on s'en sort sans soucis avec le geste à 4 doigts.

avatar Pax | 

Ça me semble assez possible pour que je le dise: si tablette Mac il y aura, 10/GUI l'équipera. Par contre je vais dire un truc un peu fou, donc accordez-y moins de sérieux: je sens qu'Apple est derrière ce projet. Le browser est Safari, quand le menu de gauche s'ouvre (@06:57) j'ai eu l'impression de voir des raccourcis au design bien Mac... Et puis ça serait relativement cohérent, dans le cadre de la nouvelle brèche ouverte entre iPhone et Macbook, qu'Apple devrait combler d'ici à 2-3 ans. J'avais bien dit que c'était un peu fou.

Quand la vidéo tournait, j'ai essayé de caler mes doigts sur ceux de la démo: il faut avouer que les gestes sont assez naturels. J'adorerais essayer le joujou :=)

avatar laurange | 

Je suis intéressé et très déçu part cette présentation.
Ils placent bien le débat du point de vue ergonomie mais oublient la frappe prolongée de texte : clavier virtuel ?
est-ce vraiment si reposant?
Autre point, malgré les référence au mac et à l'ihpone, je penserais la vidéo faite pour que les actionnaires de Microsoft soient d'accord pour racheter la boîte.
Il y a toujours un OS avec les fenêtres des applications actuelles avec les menus qu'on connait maintenant, un peu comme le windows mobile 6 qui essayait d'être tactile mais où le stylet avait encore une place prépondérante.

Il faut faire sauter ces contraintes, un OS tactile ne doit pas rester cantonner à ce bureau à deux dimensions.
Une vidéo d'un projet mozilla était bien plus ambitieuse et changeait complètement l'organisation de l'espace de travail : icones autour du centre et des zones de regroupement d'objets (widgets, documents applis, recherches).
En prenant cette base et en faisant apparaître les menus sous les doigts et pas comme dans la vidéo un menu classique activé par une action tactile.
J'imagine faire apparaître un clavier minimaliste et distordu à l'instar des naturals keyboards de microsoft permettant les actions du programme ou du widget en premier plan.

Enfin, une chose bien, cette vidéo fait avancer le débat du tactile.

avatar laurange | 

Apple a réussi avec l'iPhone à bouleverser l'ergonomie d'un smartphone, je les sais capable d'en faire autant avec notre espace de travail sur un mac et/ou sur une tablette.

CONNEXION UTILISATEUR