L’intelligence artificielle va transformer iOS et macOS, selon John Giannandrea d’Apple

Mickaël Bazoge |

Quand John Giannandrea, transfuge de Google, a commencé à travailler chez Apple — c’était au printemps 2018 —, il a été surpris de constater qu’aucune technologie d’apprentissage automatique n’était utilisée pour le Pencil de l’iPad. « Où est l’équipe AI qui s’occupe de la reconnaissance de l’écriture », a-t-il demandé à l’époque. Il n’y en avait pas.

John Giannandrea. Crédit : TechCrunch. CC BY 2.0.

Cela a bien changé depuis : ces technologies permettent à iPadOS 14 d’exploiter encore mieux l’Apple Pencil, notamment la fonction Scribble qui infuse partout sur l’iPad (lire : L’Apple Pencil va devenir incontournable avec iPadOS 14). Celui qui est devenu vice-président d’Apple en charge de la stratégie intelligence artificielle a injecté de l’apprentissage automatique partout chez Apple, comme il l’explique dans un long article d’ArsTechnica en compagnie de Bob Borchers, vice-président marketing produit.

« Je pense honnêtement qu’il n’y a aucun coin d’iOS ou de ‘l’expérience Apple’ qui ne seront pas transformés par l’apprentissage automatique dans les prochaines années », assure-t-il. Giannandrea cherche à mettre un peu d’intelligence artificielle dans le plus grand nombre possible de fonctions et d’appareils, afin que ces « expériences » puissent être utilisées par le plus grand nombre.

C’est quelque chose qu’il ne pouvait pas faire chez son ancien employeur : « Google est une entreprise formidable, et il y a quelques grands technologistes qui y travaillent, mais fondamentalement, leur modèle économique est différent et ils ne sont pas spécialement connus pour fournir [comprendre : sur leurs appareils, NDLR] une “expérience utilisateur” à l’usage de centaines de millions de gens ».

L’apprentissage automatique au service du lavage des mains.

L’apprentissage automatique permet de déterminer les faux touchés de l’utilisateur sur l’iPad (la paume de la main sur l’écran quand il utilise un Pencil). Ces techniques sont aussi à l’œuvre pour optimiser l’usage de la batterie en fonction de l’usage de la machine ; pour suggérer des applications ; pour les apps de réalité augmentée ; pour créer des souvenirs dans Photos ; pour le mode Portrait ; pour les prédictions du clavier virtuel…

Les fonctions de traduction dans Safari et dans la nouvelle application Traduire, ainsi que les fonctions autour de la santé (suivi du sommeil, lavage des mains) exploitent toutes l’intelligence artificielle développée par Apple. « Il y a de moins en moins d’endroits dans iOS où nous n’utilisons pas d’apprentissage automatique ».

Google et d’autres s’appuient beaucoup sur les capacités de calcul de leurs serveurs distants, ce qui implique un transfert important de données. Apple a fait le choix inverse : un maximum de traitement des données en local, à même l’appareil, grâce à la puce Apple Neural Engine (ANE) et/ou au GPU « maison ». Utiliser l’un ou l’autre dépend de Core ML, dont le travail de triage est de décider si telles données doivent être moulinées par l’un ou l’autre des composants développés en interne.

On peut avoir l’impression que le traitement des données sur des serveurs peut donner des résultats plus précis, mais « en fait, c’est techniquement faux », s’insurge John Giannandrea. « C’est mieux d’exploiter le modèle au plus près des données, plutôt que de transférer les données ailleurs », explique-t-il. « Que ce soit pour des données de localisation en fonction de ce que vous faites, ou des relevés d’exercices sportifs (…), c’est mieux qu’elles soient proches de la source des données, et cela préserve aussi la confidentialité ».

Plaidoyer pro domo pour le traitement en local

Le vice-président avance deux arguments qui favorisent le traitement des données en local. Le premier est technique : « Si vous envoyez des données dans un data center, c’est compliqué d’avoir [la latence la plus faible possible] ». Certaines applications ne sont vraiment utiles que si elles sont en mesure de mouliner très rapidement les données, par exemple celles qui ont besoin d’identifier où sont les jambes et les bras de l’utilisateur dans l’espace, ou encore pour déterminer les mouvements d’une personne.

Autre exemple plus parlant : « vous prenez une photo, et juste avant d’appuyer sur le bouton, le capteur photo voit tout ce qui se passe en temps réel. Ce sont des informations qui peuvent vous aider à décider quand prendre une photo », illustre Giannandrea. Mais voilà, si cette décision dépend d’un serveur, il faut au préalable lui transférer chaque image captée par l’appareil photo. « Ça n’a pas beaucoup de sens, pas vrai ? Il y a beaucoup d’expériences qui sont bien meilleures quand elles sont calculées sur l’appareil en lui-même ».

Le deuxième atout du traitement en local a déjà été évoqué, c’est la confidentialité des données. Le dirigeant donne l’exemple d’un utilisateur qui veut écouter les messages laissés par son ami Bob. La voix de synthèse est générée par l’appareil, avec des calculs assurés par l’ANE. « Nous ne voyons jamais le contenu du message de Bob parce que c’est votre téléphone qui le lit, ce ne sont pas les serveurs. Donc, les messages ne transitent pas par les serveurs ».

Tout cela est bel et bon, mais même si le VP dit le contraire, force est de constater que les traitements sur des serveurs distants donnent souvent des résultats plus pertinents qu’en local. Apple fait le choix du calcul sur l’appareil quand le constructeur est sûr de faire aussi bien ou mieux que depuis un serveur, explique Giannandrea. Apple développe le Private Federated Learning qui, en substance, exploite les données en local tout en centralisant anonymement les améliorations apportées aux calculs (lire : Core ML : l'apprentissage automatique au cœur des produits d'Apple).

La conception de la puce neuronale est « évolutive » : elle est plus grande sur l’iPad que sur l’iPhone, qui est elle-même plus imposante que celle de l’Apple Watch. En revanche, l’API Core ML est la même pour Apple et pour les apps tierces, assure-t-il encore.

La Pomme cherche à traiter un maximum de données sur les appareils, mais il existe des cas où ce n’est pas possible, « un très petit pourcentage qui peut être utilisé pour entraîner le modèle ». Ce qui n’a d’ailleurs pas été sans controverse, comme on l’a vu l’été dernier où beaucoup ont découvert que des oreilles humaines écoutaient des bouts de conversation Siri. Depuis, Apple a mis en place des réglages supplémentaires pour participer ou pas à la collecte de données par des tiers.

Les futurs Mac Apple Silicon fonctionneront avec une puce dotée d’un moteur neuronal.

Ces travaux sur l’intelligence artificielle vont désormais profiter aux Mac, par l’intermédiaire des puces Apple Silicon. Elles vont bien sûr intégrer une ANE, ce qui va ouvrir de nouvelles perspectives pour les ordinateurs « traditionnels » du constructeur. Bien sûr, John Giannandrea n’a rien voulu annoncer, mais il a donné l’exemple intéressant d’un logiciel d’édition vidéo dans lequel il sera possible d’obtenir les images où apparaissent des objets spécifiques, comme « une pizza sur une table ».

C’est le genre d’« expériences » qui pourraient faire partie du quotidien des futurs utilisateurs de Mac Apple Silicon.

avatar DarkChocolâte | 

Mouai, faudrait d'abord que Siri dépasse le stade de "Quel temps fait-il?" sans répondre a coté de la plaque...

avatar Sindanárië | 

@DarkChocolâte

C’est pourtant précisé : intelligence artificielle ! Siri est donc dans les clous 😈

avatar Florent Morin | 

Siri en tant qu'assistant vocal est une infime partie de l'intelligence artificielle intégrée à iOS / macOS. C'est presque anecdotique.

Aujourd'hui, c'est surtout l'auto-complétion du clavier, la recherche de photos, l'authentification Face ID qui apprend le visage à chaque déverrouillage, etc. Et clairement, Apple a une longueur d'avance.

avatar DarkChocolâte | 

@FloMo

"Aujourd'hui, c'est surtout l'auto-complétion du clavier"

ha ben là aussi c'est pas gagné.

avatar r e m y | 

@DarkChocolâte

Si si! Ça fonctionne très bien! Le clavier devine quelle coquille tu t'apprêtes à faire et il la fait avant toi... 🤪

avatar Sindanárië | 

@r e m y

Il est carrément même assez pervers pour inclure des mots douteux dans les messages ! Et quand tu t’en rends compte le message est déjà parti ! 😈

avatar r e m y | 

@Sindanárië

Je soupçonne sa perversion d'aller jusqu'à changer certains mots juste au moment où on effectue le clic d'envoi ... 😫

avatar Sindanárië | 

@DarkChocolâte

Ça dépend ! Regarde les messages de @pagaupa : des emojis, des rébus... pas de problèmes d’auto complétion 😈😬

avatar occam | 

@FloMo

"l'auto-complétion du clavier, la recherche de photos"

Je ne peux qu’assumer un propos satirique pince-sans-rire, ou tout au plus une référence oblique aux feu claviers Cio-Cio-San qui se démembrent tout seuls.

Quant à la recherche de photos, un petit tour du côté de Wolfram (ainsi que de certains projets connexes de la NASA) pourrait montrer de quoi un outil AI est capable, mais surtout pas encore capable — à condition qu’il soit présent. Du côté d’Apple, cela est encore au conditionnel, tout au plus au mode potentiel. C’est rendre un mauvais service à Apple que de le mettre en relief aujourd’hui, à ce stade de son développement.

avatar fte | 

@FloMo

"Et clairement, Apple a une longueur d'avance."

Pour appliquer le machine learning à des tâches simples et répétitives, des fonctions pour l’utilisateur, yep.

Mais en machine learning de pointe sur des tâches complexes et variées, vraiment pas.

avatar Florent Morin | 

@fte

Bien sûr. Apple reste sur son marché.

Et rien que sur ce qui existe, le potentiel en terme d’expérience utilisateur est clairement sous-exploité.

avatar Godverdomme | 

Apple de l'avance sur ces sujets ???????
J'ai déjà lu des trucs marrants ici, mais un commentaire aussi biaisé venant d'un membre de l'équipe rédactionnelle, c'est complètement bizarre...

Comparer le clavier iOS a gBoard, la recherche photo Apple vs Google photo et parler d'une longueur d'avance ???

Apple a de l'avance dans pas mal de points, mais ces exemples...wtffff?

avatar Florent Morin | 

@Godverdomme

Un exemple : Private Federated Learning.

avatar Godverdomme | 

Haha ok, l c'est ce que tu appelles une longueur d'avance.. 😂
Au moins c'est clair...
Le résultat est moins bon pour l'utilisateur, l'expérience moins sympathique et efficace, mais c'est pas grave, on a une longueur d'avance.

Plus je ne balade ici, plus je prends du bon temps, Merci a toi.

avatar Alex Giannelli | 

@FloMo

Qu'est-ce ?

avatar Florent Morin | 

@AlexG

Je ne connais pas votre niveau de connaissance du sujet. Dans le doute, je vais faire un rappel complet.

Le Machine Learning (« IA ») s’appuie sur des modèles pré-entraînés. Ces modèles contiennent « l’intelligence » du procédé.
Par exemple, un modèle est capable de déterminer statistiquement si une photo représente un chien.

On peut exploiter ces modèles sur serveur ou sur mobile. Sur mobile, ils transitent sous forme de fichiers. (Format open-source Core ML côté Apple)

Puisque ce sont des fichiers, ils peuvent être distribués. Et donc actualisés. (Par exemple, pour mieux reconnaître un chien sur une photo)

L’actualisation du modèle peut se faire sur mobile ou sur serveur.

Ces améliorations peuvent être agrégées : c’est le Federated Learning. En gros, la partie « amélioration de l’apprentissage » est centralisée sur un serveur. Le serveur va améliorer le modèle à partir de l’ensemble des améliorations. Et le modèle amélioré est redistribué sur les mobiles.

Mais il y a un risque, certes infime mais présent malgré tout, que les améliorations soient interprétées et exploitées afin de détecter des informations personnelles.

Dans le doute, Apple a introduit un nouveau concept : le Private Federated Learning.
L’idée est d’intégrer de fausses données aux améliorations avant de les envoyer au serveur. De manière isolée, on ne sait pas déterminer l’exactitude de l’info. Mais, une fois les améliorations centralisées, le « bruit » généré par les mauvais apprentissages est éliminé par le procédé d’entraînement et de tests.

Et là où Apple a une longueur d’avance, c’est que c’est le seul constructeur à disposer d’un tel parc d’appareils capables de faire de l’amélioration de modèles avec de bonnes performances (grâce aux réseaux neuronaux sur puce) tout en ayant des procédés logiciels qui respectent la vie privée. Et sans grande complexité pour les développeurs.

avatar fte | 

@FloMo

"Et là où Apple a une longueur d’avance, c’est que c’est le seul constructeur à disposer d’un tel parc d’appareils capables de faire de l’amélioration de modèles avec de bonnes performances (grâce aux réseaux neuronaux sur puce) tout en ayant des procédés logiciels qui respectent la vie privée. Et sans grande complexité pour les développeurs."

Disons que Google a de l’avance parce que leur parc d’appareils est quatre fois plus important, qu’ils se concentrent sur la collecte de données sans besoin de puissance locale et sans se préoccuper de respect de vie privée, ainsi ils disposent de considérablement plus de données et de considérablement plus de capacité de traitement pour affiner leurs modèles.

avatar Florent Morin | 

@fte

C’est une vision des choses.

Personnellement, je pense que le traitement en local à plus d’avenir si on considère les contraintes écologiques, les performances temps réel et le respect de la vie privée / sécurité.

Évidemment, le cloud conserve son rôle pour centraliser les améliorations. Mais son rôle est nettement diminué.

J’y vois la même évolution que ce que l’on a connu sur le web : aujourd’hui, beaucoup de traitements sont effectués dans le navigateur plutôt que sur le serveur.

En tant que développeur qui paye ses serveurs, je préfère que les traitements d’apprentissage automatique se passent sur les appareils de mes utilisateurs : ça diminue les frais d’infrastructure.

avatar pagaupa | 

@DarkChocolâte

😂👏👍

avatar redchou | 

@DarkChocolâte

Résumer l’intelligence artificielle à Siri... 🤦‍♂️

avatar greggorynque | 

On en reparlera quand Siri sera traité en local 😈

avatar r e m y | 

l'intelligence artificielle de l'iPhone lui vient de l'ANE.... ben je comprends mieux le niveau de Siri 🥺

avatar Rifilou | 

@r e m y

Siri est traité sur serveur, sinon on pourrait l’utiliser hors-ligne

avatar r e m y | 

@Rifilou

Certes mais il compte sur un ANE pour booster son intelligence.... c'est dire d'où il part!

avatar pikachoux_bzh | 

Ah ah, on en rediscute quand SIRI aura dépasser le stade de la maternelle

Pages

CONNEXION UTILISATEUR