L’intelligence artificielle va transformer iOS et macOS, selon John Giannandrea d’Apple

Mickaël Bazoge |

Quand John Giannandrea, transfuge de Google, a commencé à travailler chez Apple — c’était au printemps 2018 —, il a été surpris de constater qu’aucune technologie d’apprentissage automatique n’était utilisée pour le Pencil de l’iPad. « Où est l’équipe AI qui s’occupe de la reconnaissance de l’écriture », a-t-il demandé à l’époque. Il n’y en avait pas.

John Giannandrea. Crédit : TechCrunch. CC BY 2.0.

Cela a bien changé depuis : ces technologies permettent à iPadOS 14 d’exploiter encore mieux l’Apple Pencil, notamment la fonction Scribble qui infuse partout sur l’iPad (lire : L’Apple Pencil va devenir incontournable avec iPadOS 14). Celui qui est devenu vice-président d’Apple en charge de la stratégie intelligence artificielle a injecté de l’apprentissage automatique partout chez Apple, comme il l’explique dans un long article d’ArsTechnica en compagnie de Bob Borchers, vice-président marketing produit.

« Je pense honnêtement qu’il n’y a aucun coin d’iOS ou de ‘l’expérience Apple’ qui ne seront pas transformés par l’apprentissage automatique dans les prochaines années », assure-t-il. Giannandrea cherche à mettre un peu d’intelligence artificielle dans le plus grand nombre possible de fonctions et d’appareils, afin que ces « expériences » puissent être utilisées par le plus grand nombre.

C’est quelque chose qu’il ne pouvait pas faire chez son ancien employeur : « Google est une entreprise formidable, et il y a quelques grands technologistes qui y travaillent, mais fondamentalement, leur modèle économique est différent et ils ne sont pas spécialement connus pour fournir [comprendre : sur leurs appareils, NDLR] une “expérience utilisateur” à l’usage de centaines de millions de gens ».

L’apprentissage automatique au service du lavage des mains.

L’apprentissage automatique permet de déterminer les faux touchés de l’utilisateur sur l’iPad (la paume de la main sur l’écran quand il utilise un Pencil). Ces techniques sont aussi à l’œuvre pour optimiser l’usage de la batterie en fonction de l’usage de la machine ; pour suggérer des applications ; pour les apps de réalité augmentée ; pour créer des souvenirs dans Photos ; pour le mode Portrait ; pour les prédictions du clavier virtuel…

Les fonctions de traduction dans Safari et dans la nouvelle application Traduire, ainsi que les fonctions autour de la santé (suivi du sommeil, lavage des mains) exploitent toutes l’intelligence artificielle développée par Apple. « Il y a de moins en moins d’endroits dans iOS où nous n’utilisons pas d’apprentissage automatique ».

Google et d’autres s’appuient beaucoup sur les capacités de calcul de leurs serveurs distants, ce qui implique un transfert important de données. Apple a fait le choix inverse : un maximum de traitement des données en local, à même l’appareil, grâce à la puce Apple Neural Engine (ANE) et/ou au GPU « maison ». Utiliser l’un ou l’autre dépend de Core ML, dont le travail de triage est de décider si telles données doivent être moulinées par l’un ou l’autre des composants développés en interne.

On peut avoir l’impression que le traitement des données sur des serveurs peut donner des résultats plus précis, mais « en fait, c’est techniquement faux », s’insurge John Giannandrea. « C’est mieux d’exploiter le modèle au plus près des données, plutôt que de transférer les données ailleurs », explique-t-il. « Que ce soit pour des données de localisation en fonction de ce que vous faites, ou des relevés d’exercices sportifs (…), c’est mieux qu’elles soient proches de la source des données, et cela préserve aussi la confidentialité ».

Plaidoyer pro domo pour le traitement en local

Le vice-président avance deux arguments qui favorisent le traitement des données en local. Le premier est technique : « Si vous envoyez des données dans un data center, c’est compliqué d’avoir [la latence la plus faible possible] ». Certaines applications ne sont vraiment utiles que si elles sont en mesure de mouliner très rapidement les données, par exemple celles qui ont besoin d’identifier où sont les jambes et les bras de l’utilisateur dans l’espace, ou encore pour déterminer les mouvements d’une personne.

Autre exemple plus parlant : « vous prenez une photo, et juste avant d’appuyer sur le bouton, le capteur photo voit tout ce qui se passe en temps réel. Ce sont des informations qui peuvent vous aider à décider quand prendre une photo », illustre Giannandrea. Mais voilà, si cette décision dépend d’un serveur, il faut au préalable lui transférer chaque image captée par l’appareil photo. « Ça n’a pas beaucoup de sens, pas vrai ? Il y a beaucoup d’expériences qui sont bien meilleures quand elles sont calculées sur l’appareil en lui-même ».

Le deuxième atout du traitement en local a déjà été évoqué, c’est la confidentialité des données. Le dirigeant donne l’exemple d’un utilisateur qui veut écouter les messages laissés par son ami Bob. La voix de synthèse est générée par l’appareil, avec des calculs assurés par l’ANE. « Nous ne voyons jamais le contenu du message de Bob parce que c’est votre téléphone qui le lit, ce ne sont pas les serveurs. Donc, les messages ne transitent pas par les serveurs ».

Tout cela est bel et bon, mais même si le VP dit le contraire, force est de constater que les traitements sur des serveurs distants donnent souvent des résultats plus pertinents qu’en local. Apple fait le choix du calcul sur l’appareil quand le constructeur est sûr de faire aussi bien ou mieux que depuis un serveur, explique Giannandrea. Apple développe le Private Federated Learning qui, en substance, exploite les données en local tout en centralisant anonymement les améliorations apportées aux calculs (lire : Core ML : l'apprentissage automatique au cœur des produits d'Apple).

La conception de la puce neuronale est « évolutive » : elle est plus grande sur l’iPad que sur l’iPhone, qui est elle-même plus imposante que celle de l’Apple Watch. En revanche, l’API Core ML est la même pour Apple et pour les apps tierces, assure-t-il encore.

La Pomme cherche à traiter un maximum de données sur les appareils, mais il existe des cas où ce n’est pas possible, « un très petit pourcentage qui peut être utilisé pour entraîner le modèle ». Ce qui n’a d’ailleurs pas été sans controverse, comme on l’a vu l’été dernier où beaucoup ont découvert que des oreilles humaines écoutaient des bouts de conversation Siri. Depuis, Apple a mis en place des réglages supplémentaires pour participer ou pas à la collecte de données par des tiers.

Les futurs Mac Apple Silicon fonctionneront avec une puce dotée d’un moteur neuronal.

Ces travaux sur l’intelligence artificielle vont désormais profiter aux Mac, par l’intermédiaire des puces Apple Silicon. Elles vont bien sûr intégrer une ANE, ce qui va ouvrir de nouvelles perspectives pour les ordinateurs « traditionnels » du constructeur. Bien sûr, John Giannandrea n’a rien voulu annoncer, mais il a donné l’exemple intéressant d’un logiciel d’édition vidéo dans lequel il sera possible d’obtenir les images où apparaissent des objets spécifiques, comme « une pizza sur une table ».

C’est le genre d’« expériences » qui pourraient faire partie du quotidien des futurs utilisateurs de Mac Apple Silicon.

avatar Mike Mac | 

Avec la Réalité Augmentée, nous tenons là deux jolis marronniers.

On peut même les secouer hors saison.

avatar YetOneOtherGit | 

@Mike Mac

"Avec la Réalité Augmentée"

Et pourtant elle arrive et c’est peut-être le plus important changement de paradigmes potentiel depuis très longtemps 😎

avatar Bigdidou | 

@YetOneOtherGit

« Et pourtant elle [ la RA] arrive et c’est peut-être le plus important changement de paradigmes potentiel depuis très longtemps 😎 »

Qu’elle arrive, c’est une chose.
Qu’elle reste, c’est est une autre.

Sans compter que ça fait pas mal de temps qu’elle arrive. On dirait l’ancien train de nuit Paris Dijon.
C’est bien simple : à la maison, on ne sait plus où mettre de nouveaux dinosaures.

On verra. Ou pas.

avatar YetOneOtherGit | 

@Bigdidou

"Sans compter que ça fait pas mal de temps qu’elle arrive. "

Non personne dans le milieu ne voyait une arrivée rapide, c’est un enjeu bien trop important pour prendre le risque de le bacler 😉

avatar Bigdidou | 

@YetOneOtherGit

« Non personne dans le milieu ne voyait une arrivée rapide »

Je n’ai pas d’informations, mais je m’en suis aperçu ;)
Ça n’empêche pas qu’à chaque Keynote, Apple nous vous allez voir ce que vous aller voir, et les dinosaures sont pas plus détaillés, les coussins IKEA continue d’être énormes et de flotter sous le plafond...

Des solutions très spécialisées et très sophistiquées existent, mais cette RA grand publique, je me demande bien comment la sauce va prendre.

Mais, why not, Obi-Wan.
Sauf que la princesse, ça va surtout être des paquets de lessives ;)

« on vera forcément. »

Mon ellusion n’était pas claire (on verra [si ça prend] ou pas), ou tu es certain du succès et de l’adoption massive de cette techno dans le grand public ?

avatar YetOneOtherGit | 

@Bigdidou

"Ça n’empêche pas qu’à chaque Keynote"

A la dub dub, oui.

C’est normal Apple prépare le terrain sur le long terme avec ArKit (qui est remarquable) mais c’est avant tout pour explorer le champ des possibles et consolider les outils logiciels pour le futur.

Quant aux entreprises tel Ikea qui se lance dans l’expérimentation, je peux,te garantir pour travailler avec elles sur ces enjeux, qu’elles ont des visions bien plus ambitieuse que c’est quasi POC exploratoires 😋

avatar YetOneOtherGit | 

@Bigdidou

"Mon ellusion n’était pas claire (on verra [si ça prend] ou pas)"

A ok, évidemment le succès n’est pas garanti et c’est une des raisons pour laquelle les major fourbissent vraiment leurs armes avant de ce lancer sur des offres B2B.

Les sommes investies sont stratosphériques et la conviction des états majors que c’est potentiellement le game-changer profond du futur est conséquente.

Bref en théorie : ils n’ont pas le droit de se planter 😋

avatar YetOneOtherGit | 

@Bigdidou

"On verra. Ou pas."

Au vue de la place hautement stratégique qu’elle occupe chez bien des majors de l’industrie et les niveaux stratosphériques d’investissement on vera forcément.

Le grand public n’a que peu conscience du niveau d’ébullition des industries sur notre secteur 🤑

avatar BordelInside | 

@Bigdidou
"Sans compter que ça fait pas mal de temps qu’elle arrive. "

La Réalité Augmentée arrive à peu près au même rythme que mon Salaire Augmenté et à peu près au même taux de déception à chaque nouvelle itération.

C'est pas gagné, quoi.

avatar Boboss29 | 

Je trouve Siri de mieux en mieux sur ma Watch pour dicter des messages, et aussi pour appeler en voiture. Egalement pour allumer/éteindre les lampes des chambres de mes enfants le soir. Par contre quand je pose une question, au contraire de Google, il me dirige assez fréquement vers un site web...

avatar Rifilou | 

@Boboss29

La base de données de Siri est assez faible en effet. Mais Apple travaille à l’augmenter substantiellement, comme annoncé à la WWDC

avatar cecile_aelita | 

@Rifilou

Ah, je n’avais pas retenu d’annonces (et encore moins significatives) sur Siri lors de la WWDC. Mais j’ai peut être loupé un truc!

avatar Boboss29 | 

oui, j'ai espoir que Siri devienne un jour pleinement exploitable pour un maximum de choses. Car avec les quelques fonctions que j'utilise, j'en retire déjà un grand confort.

avatar Kriskool | 

Déjà que l’IA serve à vraiment corriger les fautes de frappe sur iOS et macOS ! 🙄

avatar occam | 

Giannandrea au sujet de Google :
« ils ne sont pas reconnus comme pouvant fournir des ‘expériences client’ utilisées par des centaines de millions de personnes »

Hou-là ! Quand j’ai lu ça, je me suis dit : a-t-il donc déjà avalé tant de Kool-Aid pour pratiquer cette langue de bois marketeuse ?

Vérification faite, non, c’est la traduction qui déforme son propos. Subtilement, mais méchamment.
Verbatim : « they're not known for shipping consumer experiences that are used by hundreds of millions of people »

Nuance, mais qui fait un tout autre son de cloche.

avatar Mickaël Bazoge | 

@occam

Ah, j’ai un peu traduit à la truelle oui. Comment tu mettrais ça en bon français?

avatar occam | 

@MickaëlBazoge

D’abord, I wouldn’t. 😉 Mais bon.

Et le problème n’est pas le bon français — dans ce domaine, je n’aurais absolument rien à vous apprendre — mais plutôt un certain flou de l’anglais qui permet d’être vachard sans trop se mouiller. Et Giannandrea se défile derrière ce flou artistique pour lancer une pique à ses anciens patrons sans les brusquer de front.

1e approximation :
« ...ils ne sont pas spécialement connus pour fournir [scil. “sur leurs engins”] une “expérience utilisateur” à l’usage de centaines de millions de gens. »

« Shipping » est un hameçon bien aiguisé : Giannandrea ne prétend pas que Google ne serait pas capable de fournir une « user experience » en tant que telle — après tout, ils le font en ligne. Mais il implique qu’ils ne savent pas la mettre sur les bidules qu’ils distribuent avec leur OS, alors qu’Apple, orfèvre en la matière, ne fait que ça.

avatar Mickaël Bazoge | 
Ça me va :) Merci.
avatar corben | 

Petite parenthèse

On dépasse actuellement les 455 dollars sur AAPL et la valorisation va atteindre 2000 milliards
Ça aura pris moins d’une semaine depuis les derniers résultats

avatar Crunch Crunch | 

Si Apple pouvait utiliser l'apprentissage automatique pour améliorer le moteur de recherche de Apple Music, cela serait formidable !

Incroyable comme il est nul ce truc.
Il faut introduire, à la lettre près, avec orthographe exacte, le nom de l'artiste.

Sinon, nada. Apple Music ne trouve RIEN.
Je n'aime pas Spotify... Mais sur le plan de l recherche, il est 1000x plus doué !!!

avatar Moonwalker | 

"La sottise naturelle l'emportera toujours sur l'intelligence artificielle" Terry Pratchett

avatar macfredx | 

@Moonwalker

Alors ça j'en suis persuadé. Encore une fois bravo Terry Pratchett 👍

avatar kinon | 

@Moonwalker

La prudence serait de dire: l'emportera "longtemps" sur l'intelligence artificielle.
Dire "toujours" sur des prédiction à long terme avec les connaissances du moment c'est prendre un risque très élevé de se tromper.

Pages

CONNEXION UTILISATEUR