L'écran d'un MacBook Pro rendu tactile pour seulement 1 $

Stéphane Moussie |

Rendre compatible l’écran d’un Mac avec les gestes tactiles, ce n’est pas inédit. L’accessoire AirBar, vendu 109 €, le fait depuis l’année dernière pour le MacBook Air. Mais le faire pour seulement 1 $, voilà quelque chose d’original.

Sur son blog, un étudiant du MIT, Anish Athalye, explique comment il y est parvenu avec des camarades. L’ « astuce » a été d’utiliser l’équipement existant de l’ordinateur, et tout particulièrement sa webcam.

Le dollar (symbolique) dépensé a servi à acheter de quoi fabriquer un petit miroir pour que la webcam filme l’écran plutôt que l’utilisateur. Ensuite, c’est le logiciel qui fait tout le reste.

L’idée de base, c’est de se servir du reflet du doigt sur l’écran. S’il y a un espace entre le doigt et son reflet, c’est que le doigt ne touche pas l’écran. S’il n’y a pas d’espace, c’est qu’il le touche et c’est interprété par le logiciel comme une interaction tactile.

À l’aide de techniques de vision artificielle et d’une étape de calibration manuelle où l’utilisateur doit déplacer son doigt sur des points définis à l’écran, les étudiants ont finalement conçu un système de reconnaissance tactile fonctionnant dans toutes les applications, les tapotements et gestes étant traduits en clics et déplacements de souris. Pour du multi-touch comme sur iPhone/iPad, il faudrait créer des applications spéciales.

D’après la vidéo de démonstration, la latence est assez importante et la zone de reconnaissance limitée, mais Anish Athalye précise que des améliorations seraient faciles à apporter à cette preuve de concept. Avec une webcam à la résolution supérieure (celle du MacBook Pro cobaye n’est que 480p) et un miroir incurvé, le système pourrait fonctionner sur l’intégralité de l’écran.

avatar charlie105 | 

Malin. Et comment cela interprète les traces de doigts?

avatar colossus928 | 

Il interprète seulement le doigt.
Donc pas de problème.

Je chipote hein, mais ça doit avoir du mal à fonctionner dans la pénombre (les reflets sont limités).
Dans tous les cas, chapeau.

avatar C1rc3@0rc | 

@colossus928

«Je chipote hein, mais ça doit avoir du mal à fonctionner dans la pénombre (les reflets sont limités).»

Je ne pense pas, ce qui compte c'est l'indice de refraction de la surface de l'ecran, et comme l'ecran emet de la lumiere... Au contraire il est possible qu'en milieu fortement eclairé (plein soleil...) le systeme ait plus de mal qu'a l'ombre.

Mais c'est une exploitation tres intelligente et originale d'un tres gros defauts des ecrans des Mac: la reflexion!
Derriere l'apparente simplicité du systeme il y a des constructions mathematique et algoritmiques complexes et tout le talent ici reside dans la connaissance et la maîtrise mathematique.

Je doute qu'on arrive a un degree de precision et de vitesse approchant celui d'un simple systeme infrarouge ou d'un time-of-flight laser et a fortiori d'un scanner 3d, mais cela montre au moins tout ce que l'on peut faire avec une camera et de l'algorithmique bien maitrisée.

D'un autre coté cela pourrait aussi aboutir a des systèmes de hacking particulièrement difficile a détecter et de se prémunir.

avatar colossus928 | 

@C1rc3@0rc

Oui c'est vrai que l'écran éclairera le doigt. À tester.

avatar waldezign | 

C’est pas mal du tout!

avatar pocketalex | 

??

avatar stefhan | 

Genius ! ?

avatar kiddsoso | 

J’adore !

avatar iPop | 

C’est pas nouveau, j’avais un truc semblable sur mon iMac Tanguerin, c’était utile pour contrôler iTunes en mode Coverflow mais à part ça, Mac OS n’ayant pas une interface adaptée...

avatar calotype | 

Dans un soft pour appuyer sur de gros bouttons ( comme sur le clavier de musique dans l'exemple) je trouve que ça fait le job !
Curieux de savoir si cela marche avec une webcam et un écran externe.

avatar ritchi_paris | 

Génial, !
Mais c'est là où l'on se rend compte qu'un ordi portable avec un écran tactile n'est pas forcément commode. Bien sûr avec un écran qui pivote totalement bien sûr, mais avec les charnière (de merde) d'apple ce n'est pas bien simple.

avatar bluesteeleyes | 

Chapeau bas et grand respect pour ce genre d'initiative et de culot passionnant et passionné.
Perso, je salut bien bas ces partages qui permettent d'avancer avec des solutions simples et bien souvent efficaces.
Cela permet deux choses.
1) de proposer bien souvent des solutions simples, abordables et efficaces pour les utilisateurs mais aussi pour le concepteur avec l'évolutivité que ce genre d'approche propose.
2) ce genre d'initiative peut permettre à de grandes marques comme Apple de se remettre en question. En effet, ces grandes structures sont devenues tellement complexes ( ah, un bug, visite, une réunion, puis une autre, puis les experts, ingénieurs et autres, aille ça coûte cher ), que ce genre de proposition peut apporter un regard nouveau sur quelque chose de simple.
Quand on veut construire le château de carte le plus haut, à un moment ou les choses deviennent hyper complexes, il peut être intéressant de tout reprendre depuis le départ pour se rendre compte qu'on a économisé quelques jeux de cartes tout en apportant une réponse qui permet d'aller encore plus loin, finalement.

avatar pocketalex | 

@bluesteeleyes

Je veux pas te casser ton mood, mais on salue ici la performance en tant que projet étudiant, ça va pas plus loin. En tant que solution industrielle, c'est total à coté de la plaque et une dalle capacitive est bien plus intéressante pour rendre un écran tactile qu'une webcam et un soft pour analyser l'image

Le discours sur les grosses boites avec trop d'ingénieurs et de process, et l'étudiant qui a une solution miracle ... je crois que tu regardes un peu trop la TV et le films Américains où un pécor du bon peuple sauve le monde à la place des grosses administrations.

avatar C1rc3@0rc | 

@pocketalex

100% d'accord avec ce commentaire.

avatar MrCrvsr | 

@pocketalex

« Le discours sur les grosses boites avec trop d'ingénieurs... »

Avec un collègue on avait trouvé une solution simple et peu coûteuse pour résoudre un problème dans la (grande) boîte où je bosse. On nous a répondu que ça ne pouvait pas fonctionner jusqu’au moment ou c’est un de nos (petits) concurrents qui a utilisé la même idée que nous...

Donc c’est pas qu’à la TV que ça arrive...

avatar kinon | 

"c’est un de nos (petits) concurrents qui a utilisé la même idée que nous..."
Tu t'es vengé? :-)

CONNEXION UTILISATEUR