L’intelligence artificielle va transformer iOS et macOS, selon John Giannandrea d’Apple

Mickaël Bazoge |

Quand John Giannandrea, transfuge de Google, a commencé à travailler chez Apple — c’était au printemps 2018 —, il a été surpris de constater qu’aucune technologie d’apprentissage automatique n’était utilisée pour le Pencil de l’iPad. « Où est l’équipe AI qui s’occupe de la reconnaissance de l’écriture », a-t-il demandé à l’époque. Il n’y en avait pas.

John Giannandrea. Crédit : TechCrunch. CC BY 2.0.

Cela a bien changé depuis : ces technologies permettent à iPadOS 14 d’exploiter encore mieux l’Apple Pencil, notamment la fonction Scribble qui infuse partout sur l’iPad (lire : L’Apple Pencil va devenir incontournable avec iPadOS 14). Celui qui est devenu vice-président d’Apple en charge de la stratégie intelligence artificielle a injecté de l’apprentissage automatique partout chez Apple, comme il l’explique dans un long article d’ArsTechnica en compagnie de Bob Borchers, vice-président marketing produit.

« Je pense honnêtement qu’il n’y a aucun coin d’iOS ou de ‘l’expérience Apple’ qui ne seront pas transformés par l’apprentissage automatique dans les prochaines années », assure-t-il. Giannandrea cherche à mettre un peu d’intelligence artificielle dans le plus grand nombre possible de fonctions et d’appareils, afin que ces « expériences » puissent être utilisées par le plus grand nombre.

C’est quelque chose qu’il ne pouvait pas faire chez son ancien employeur : « Google est une entreprise formidable, et il y a quelques grands technologistes qui y travaillent, mais fondamentalement, leur modèle économique est différent et ils ne sont pas spécialement connus pour fournir [comprendre : sur leurs appareils, NDLR] une “expérience utilisateur” à l’usage de centaines de millions de gens ».

L’apprentissage automatique au service du lavage des mains.

L’apprentissage automatique permet de déterminer les faux touchés de l’utilisateur sur l’iPad (la paume de la main sur l’écran quand il utilise un Pencil). Ces techniques sont aussi à l’œuvre pour optimiser l’usage de la batterie en fonction de l’usage de la machine ; pour suggérer des applications ; pour les apps de réalité augmentée ; pour créer des souvenirs dans Photos ; pour le mode Portrait ; pour les prédictions du clavier virtuel…

Les fonctions de traduction dans Safari et dans la nouvelle application Traduire, ainsi que les fonctions autour de la santé (suivi du sommeil, lavage des mains) exploitent toutes l’intelligence artificielle développée par Apple. « Il y a de moins en moins d’endroits dans iOS où nous n’utilisons pas d’apprentissage automatique ».

Google et d’autres s’appuient beaucoup sur les capacités de calcul de leurs serveurs distants, ce qui implique un transfert important de données. Apple a fait le choix inverse : un maximum de traitement des données en local, à même l’appareil, grâce à la puce Apple Neural Engine (ANE) et/ou au GPU « maison ». Utiliser l’un ou l’autre dépend de Core ML, dont le travail de triage est de décider si telles données doivent être moulinées par l’un ou l’autre des composants développés en interne.

On peut avoir l’impression que le traitement des données sur des serveurs peut donner des résultats plus précis, mais « en fait, c’est techniquement faux », s’insurge John Giannandrea. « C’est mieux d’exploiter le modèle au plus près des données, plutôt que de transférer les données ailleurs », explique-t-il. « Que ce soit pour des données de localisation en fonction de ce que vous faites, ou des relevés d’exercices sportifs (…), c’est mieux qu’elles soient proches de la source des données, et cela préserve aussi la confidentialité ».

Plaidoyer pro domo pour le traitement en local

Le vice-président avance deux arguments qui favorisent le traitement des données en local. Le premier est technique : « Si vous envoyez des données dans un data center, c’est compliqué d’avoir [la latence la plus faible possible] ». Certaines applications ne sont vraiment utiles que si elles sont en mesure de mouliner très rapidement les données, par exemple celles qui ont besoin d’identifier où sont les jambes et les bras de l’utilisateur dans l’espace, ou encore pour déterminer les mouvements d’une personne.

Autre exemple plus parlant : « vous prenez une photo, et juste avant d’appuyer sur le bouton, le capteur photo voit tout ce qui se passe en temps réel. Ce sont des informations qui peuvent vous aider à décider quand prendre une photo », illustre Giannandrea. Mais voilà, si cette décision dépend d’un serveur, il faut au préalable lui transférer chaque image captée par l’appareil photo. « Ça n’a pas beaucoup de sens, pas vrai ? Il y a beaucoup d’expériences qui sont bien meilleures quand elles sont calculées sur l’appareil en lui-même ».

Le deuxième atout du traitement en local a déjà été évoqué, c’est la confidentialité des données. Le dirigeant donne l’exemple d’un utilisateur qui veut écouter les messages laissés par son ami Bob. La voix de synthèse est générée par l’appareil, avec des calculs assurés par l’ANE. « Nous ne voyons jamais le contenu du message de Bob parce que c’est votre téléphone qui le lit, ce ne sont pas les serveurs. Donc, les messages ne transitent pas par les serveurs ».

Tout cela est bel et bon, mais même si le VP dit le contraire, force est de constater que les traitements sur des serveurs distants donnent souvent des résultats plus pertinents qu’en local. Apple fait le choix du calcul sur l’appareil quand le constructeur est sûr de faire aussi bien ou mieux que depuis un serveur, explique Giannandrea. Apple développe le Private Federated Learning qui, en substance, exploite les données en local tout en centralisant anonymement les améliorations apportées aux calculs (lire : Core ML : l'apprentissage automatique au cœur des produits d'Apple).

La conception de la puce neuronale est « évolutive » : elle est plus grande sur l’iPad que sur l’iPhone, qui est elle-même plus imposante que celle de l’Apple Watch. En revanche, l’API Core ML est la même pour Apple et pour les apps tierces, assure-t-il encore.

La Pomme cherche à traiter un maximum de données sur les appareils, mais il existe des cas où ce n’est pas possible, « un très petit pourcentage qui peut être utilisé pour entraîner le modèle ». Ce qui n’a d’ailleurs pas été sans controverse, comme on l’a vu l’été dernier où beaucoup ont découvert que des oreilles humaines écoutaient des bouts de conversation Siri. Depuis, Apple a mis en place des réglages supplémentaires pour participer ou pas à la collecte de données par des tiers.

Les futurs Mac Apple Silicon fonctionneront avec une puce dotée d’un moteur neuronal.

Ces travaux sur l’intelligence artificielle vont désormais profiter aux Mac, par l’intermédiaire des puces Apple Silicon. Elles vont bien sûr intégrer une ANE, ce qui va ouvrir de nouvelles perspectives pour les ordinateurs « traditionnels » du constructeur. Bien sûr, John Giannandrea n’a rien voulu annoncer, mais il a donné l’exemple intéressant d’un logiciel d’édition vidéo dans lequel il sera possible d’obtenir les images où apparaissent des objets spécifiques, comme « une pizza sur une table ».

C’est le genre d’« expériences » qui pourraient faire partie du quotidien des futurs utilisateurs de Mac Apple Silicon.


avatar DarkChocolâte | 

Mouai, faudrait d'abord que Siri dépasse le stade de "Quel temps fait-il?" sans répondre a coté de la plaque...

avatar Sindanárië | 

@DarkChocolâte

C’est pourtant précisé : intelligence artificielle ! Siri est donc dans les clous 😈

avatar Florent Morin | 

Siri en tant qu'assistant vocal est une infime partie de l'intelligence artificielle intégrée à iOS / macOS. C'est presque anecdotique.

Aujourd'hui, c'est surtout l'auto-complétion du clavier, la recherche de photos, l'authentification Face ID qui apprend le visage à chaque déverrouillage, etc. Et clairement, Apple a une longueur d'avance.

avatar DarkChocolâte | 

@FloMo

"Aujourd'hui, c'est surtout l'auto-complétion du clavier"

ha ben là aussi c'est pas gagné.

avatar r e m y | 

@DarkChocolâte

Si si! Ça fonctionne très bien! Le clavier devine quelle coquille tu t'apprêtes à faire et il la fait avant toi... 🤪

avatar Sindanárië | 

@r e m y

Il est carrément même assez pervers pour inclure des mots douteux dans les messages ! Et quand tu t’en rends compte le message est déjà parti ! 😈

avatar r e m y | 

@Sindanárië

Je soupçonne sa perversion d'aller jusqu'à changer certains mots juste au moment où on effectue le clic d'envoi ... 😫

avatar Sindanárië | 

@DarkChocolâte

Ça dépend ! Regarde les messages de @pagaupa : des emojis, des rébus... pas de problèmes d’auto complétion 😈😬

avatar occam | 

@FloMo

"l'auto-complétion du clavier, la recherche de photos"

Je ne peux qu’assumer un propos satirique pince-sans-rire, ou tout au plus une référence oblique aux feu claviers Cio-Cio-San qui se démembrent tout seuls.

Quant à la recherche de photos, un petit tour du côté de Wolfram (ainsi que de certains projets connexes de la NASA) pourrait montrer de quoi un outil AI est capable, mais surtout pas encore capable — à condition qu’il soit présent. Du côté d’Apple, cela est encore au conditionnel, tout au plus au mode potentiel. C’est rendre un mauvais service à Apple que de le mettre en relief aujourd’hui, à ce stade de son développement.

avatar fte | 

@FloMo

"Et clairement, Apple a une longueur d'avance."

Pour appliquer le machine learning à des tâches simples et répétitives, des fonctions pour l’utilisateur, yep.

Mais en machine learning de pointe sur des tâches complexes et variées, vraiment pas.

avatar Florent Morin | 

@fte

Bien sûr. Apple reste sur son marché.

Et rien que sur ce qui existe, le potentiel en terme d’expérience utilisateur est clairement sous-exploité.

avatar Godverdomme | 

Apple de l'avance sur ces sujets ???????
J'ai déjà lu des trucs marrants ici, mais un commentaire aussi biaisé venant d'un membre de l'équipe rédactionnelle, c'est complètement bizarre...

Comparer le clavier iOS a gBoard, la recherche photo Apple vs Google photo et parler d'une longueur d'avance ???

Apple a de l'avance dans pas mal de points, mais ces exemples...wtffff?

avatar Florent Morin | 

@Godverdomme

Un exemple : Private Federated Learning.

avatar Godverdomme | 

Haha ok, l c'est ce que tu appelles une longueur d'avance.. 😂
Au moins c'est clair...
Le résultat est moins bon pour l'utilisateur, l'expérience moins sympathique et efficace, mais c'est pas grave, on a une longueur d'avance.

Plus je ne balade ici, plus je prends du bon temps, Merci a toi.

avatar Alex Giannelli | 

@FloMo

Qu'est-ce ?

avatar Florent Morin | 

@AlexG

Je ne connais pas votre niveau de connaissance du sujet. Dans le doute, je vais faire un rappel complet.

Le Machine Learning (« IA ») s’appuie sur des modèles pré-entraînés. Ces modèles contiennent « l’intelligence » du procédé.
Par exemple, un modèle est capable de déterminer statistiquement si une photo représente un chien.

On peut exploiter ces modèles sur serveur ou sur mobile. Sur mobile, ils transitent sous forme de fichiers. (Format open-source Core ML côté Apple)

Puisque ce sont des fichiers, ils peuvent être distribués. Et donc actualisés. (Par exemple, pour mieux reconnaître un chien sur une photo)

L’actualisation du modèle peut se faire sur mobile ou sur serveur.

Ces améliorations peuvent être agrégées : c’est le Federated Learning. En gros, la partie « amélioration de l’apprentissage » est centralisée sur un serveur. Le serveur va améliorer le modèle à partir de l’ensemble des améliorations. Et le modèle amélioré est redistribué sur les mobiles.

Mais il y a un risque, certes infime mais présent malgré tout, que les améliorations soient interprétées et exploitées afin de détecter des informations personnelles.

Dans le doute, Apple a introduit un nouveau concept : le Private Federated Learning.
L’idée est d’intégrer de fausses données aux améliorations avant de les envoyer au serveur. De manière isolée, on ne sait pas déterminer l’exactitude de l’info. Mais, une fois les améliorations centralisées, le « bruit » généré par les mauvais apprentissages est éliminé par le procédé d’entraînement et de tests.

Et là où Apple a une longueur d’avance, c’est que c’est le seul constructeur à disposer d’un tel parc d’appareils capables de faire de l’amélioration de modèles avec de bonnes performances (grâce aux réseaux neuronaux sur puce) tout en ayant des procédés logiciels qui respectent la vie privée. Et sans grande complexité pour les développeurs.

avatar fte | 

@FloMo

"Et là où Apple a une longueur d’avance, c’est que c’est le seul constructeur à disposer d’un tel parc d’appareils capables de faire de l’amélioration de modèles avec de bonnes performances (grâce aux réseaux neuronaux sur puce) tout en ayant des procédés logiciels qui respectent la vie privée. Et sans grande complexité pour les développeurs."

Disons que Google a de l’avance parce que leur parc d’appareils est quatre fois plus important, qu’ils se concentrent sur la collecte de données sans besoin de puissance locale et sans se préoccuper de respect de vie privée, ainsi ils disposent de considérablement plus de données et de considérablement plus de capacité de traitement pour affiner leurs modèles.

avatar Florent Morin | 

@fte

C’est une vision des choses.

Personnellement, je pense que le traitement en local à plus d’avenir si on considère les contraintes écologiques, les performances temps réel et le respect de la vie privée / sécurité.

Évidemment, le cloud conserve son rôle pour centraliser les améliorations. Mais son rôle est nettement diminué.

J’y vois la même évolution que ce que l’on a connu sur le web : aujourd’hui, beaucoup de traitements sont effectués dans le navigateur plutôt que sur le serveur.

En tant que développeur qui paye ses serveurs, je préfère que les traitements d’apprentissage automatique se passent sur les appareils de mes utilisateurs : ça diminue les frais d’infrastructure.

avatar pagaupa | 

@DarkChocolâte

😂👏👍

avatar redchou | 

@DarkChocolâte

Résumer l’intelligence artificielle à Siri... 🤦‍♂️

avatar greggorynque | 

On en reparlera quand Siri sera traité en local 😈

avatar r e m y | 

l'intelligence artificielle de l'iPhone lui vient de l'ANE.... ben je comprends mieux le niveau de Siri 🥺

avatar Rifilou | 

@r e m y

Siri est traité sur serveur, sinon on pourrait l’utiliser hors-ligne

avatar r e m y | 

@Rifilou

Certes mais il compte sur un ANE pour booster son intelligence.... c'est dire d'où il part!

avatar pikachoux_bzh | 

Ah ah, on en rediscute quand SIRI aura dépasser le stade de la maternelle

avatar romainB84 | 

« un maximum de traitement des données en local, à même l’appareil, grâce à la puce Apple Neural »

Tiens c’est marrant ça me rappelle une discussion avec je ne sais plus qui ici ou je disais justement qu’Apple allait énormément miser sur ses NPU, et où le « monsieur je sais tout » ne semblait pas d’accord 😅😅.
Mais il a sûrement raison ...

avatar Florent Morin | 

@romainB84

Ça fait depuis iOS 10 et l’app Photos qui recherche en local. Et tout s’est accéléré en ce sens.

Après, on peut se tromper parfois. Mais là, c’est une évidence.

avatar romainB84 | 

@FloMo

Ah nan mais je te rejoins totalement que c’est une évidence, ça l’était aussi pour Christophe qui avait aussi commenté, mais juste « le monsieur je sais tout » qui visiblement n’était pas d’accord (avec un bon gros ton péremptoire et hautain qui plus est !!) et pour qui ce n’était pas le cas 😅. Après ils sont mignons et rigolos nos petits trolls (faut juste pas les voir en vrai quoi lol)
Ps : rien à voir, mais à quand une mise à jour de l’appli macg pour qu’elle synchronise avec iCloud la « black list » 😁😉?

avatar Florent Morin | 

@romainB84

Je ne peux pas répondre pour l’app. Je ne suis que pigiste. (Développeur, donc sur les sujets « techniques »)

avatar romainB84 | 

@FloMo

Pas de soucis 😉

avatar DarkChocolâte | 

@romainB84

"Ps : rien à voir, mais à quand une mise à jour de l’appli macg pour qu’elle synchronise avec iCloud la « black list » 😁😉?"

C'est pour bientôt.

avatar romainB84 | 

@DarkChocolâte

? Tu tiens cela d’où ?

avatar DarkChocolâte | 

@romainB84

J'écris le code.

avatar Christophe Laporte | 

@romainB84

C’est justement dans le pipe

avatar romainB84 | 

@cl97

Good news 😁😁

avatar Sindanárië | 

@romainB84

"et où le « monsieur je sais tout » ne semblait pas d’accord 😅😅.
Mais il a sûrement raison ..."

DES NOMS, DES NOMS ! 😈😬

avatar Inconnu-Soldat | 

Ah les pourfendeurs de Siri qui devraient s’informer. Les tous derniers test dans dix domaines différents Siri fait quasi toujours jeu égal avec Google et parfois le domine (musique). De plus le nombre de requêtes en absolu (et donc évidemment bien plus en relatif car le parc iOS est inférieur de moitié à celui d’Android) est nettement supérieur tant en fréquence, qu’en durée à Google. Ça ce ne sont pas les avis partiaux des commentateurs mais des tests et des statistiques réels.

avatar sdick | 

@Inconnu-Soldat

Les tests c’est bien mais l’expérience personnelle c’est mieux... et malheureusement rarement à l’avantage de Siri en ce qui me concerne (je compare avec le smartphone Android de mon fils). A tel point que je ne l’utilise quasiment plus car pour trouver une page web avec des résultats de recherche autant lancer directement Safari

avatar pechtoc | 

@Inconnu-Soldat

Des tests dans toutes les langues ? Peut être qu'en anglais il a évolué vu que ça se résume souvent à ça avec les services Apple, mais en Français c'est juste une catastrophe, et je pèse mes mots.

avatar fte | 

@Inconnu-Soldat

"Ah les pourfendeurs de Siri qui devraient s’informer."

Oh oh.

Je suppose que, bien informé, tu n’ignores pas que Siri ne fonctionne qu’avec une langue. Si tu as le mauvais goût de mélanger des langues, et il se trouve que mon pays a le très mauvais goût d’avoir plusieurs langues nationales officielles plus l’anglais très commun, ça ne fonctionne simplement pas.

Siri a des limites dures.

avatar YetOneOtherGit | 

@fte

"Siri ne fonctionne qu’avec une langue"

Je suis pas vraiment de près ce secteur, il existe des systèmes de reconnaissance de voix capable de changer de langue à la volée <,

avatar fte | 

@YetOneOtherGit

" suis pas vraiment de près ce secteur, il existe des systèmes de reconnaissance de voix capable de changer de langue à la volée"

Oh bien très simplement Alexa ou Google.

Par exemple si tu as des ampoules Hue nommées en français, et que le téléphone est en anglais, aucun pilotage possible (avec Siri). Il faut que tous les téléphones de la maison soient en français.

avatar YetOneOtherGit | 

@fte

"Oh bien très simplement Alexa ou Google."

Merci pour l’info, c’est vraiment quelque chose que je regardes de très loin ces dernières années.

Il faudrait que je me fasses une passe d’état de l’art sur le sujet 🤓

avatar hptroll | 

@fte

???
Réglages > Siri > Langue (totalement indépendante de la langue du téléphone).
Il n’en reste pas moins que je plussoie. Il est rare que Siri configuré en français comprenne le moindre mot prononcé en anglais sans même parler de langues un poil plus exotiques.
Et même en restant en franco-français, les échanges avec Siri restent effroyablement frustrants en particulier par leur irrégularité. Un truc qui marche 8 fois sur 10 rate donc 2 fois sur 10. Sans raison. Sur la même action.
Et les progrès sont parfois tout aussi frustrants. Systématiquement, Siri veut ajouter du fromage « Râpée » (sans doute parce que dans les textes francophones modernes, la station de métro « Quai de la Râpée » est citée plus souvent que ne l’est le « fromage râpé ». Et j’ai corrigé nombre de fois sans succès le texte interprété par Siri : il n’apprend pas.

Même les réglages de prononciation pour les contacts ont été cassés dans mon cas en passant à iOS 13 et/ou à Catalina.

Bref, on verra dans 5 ans. Pour le moment, c’est la partie la plus frustrante, de loin, de mon expérience utilisateur.

avatar fte | 

@hptroll

"???
Réglages > Siri > Langue (totalement indépendante de la langue du téléphone)."

Oui, je sais, c’était un raccourci. Ce n’était pas le point que je soulignais.

Je soulignais que l’on ne peut pas mélanger les langues et s’attendre à ce que ça fonctionne. « Hey Siri, allume la lumière living two. » ne marche juste pas alors que Alexa ou Google n’ont aucun problème avec ce genre de commandes. Ou « Joue Wolves Without Teeth de Of Monsters and Men au salon ». C’est chiant d’être limité aux chansons d’Alizée.

Pour beaucoup de gens ce ne sera pas un problème. Chez moi c’est un problème, on mélange français, anglais et allemand tous les jours. Siri, c’est mort.

avatar Leborde | 

Moi je dis: "intelligence artificielle, connerie réelle !".

avatar macfredx | 

@Leborde

Tu as l'air de savoir de quoi tu parles. 😈

avatar romainB84 | 

@macfredx

avatar romainB84 | 

@macfredx

Là je dis oui oui oui ouiiiiiii!!!

avatar DrStax | 

Beau discours marketing quand même avec une pointe de vrai pour pimenter le tout. Mais je ne souhaite pas mieux.

Pages

CONNEXION UTILISATEUR