Core ML 5 : de l'apprentissage automatique solide et tourné vers le futur

Florent Morin |

Comme chaque année, Apple améliore Core ML, sa solution d’apprentissage automatisé destinée aux développeurs autant qu’à ses propres usages. Et en 2021, Core ML 5 apporte plusieurs améliorations significatives, avec une mise à jour résolument tournée vers le futur à l’instar de Swift Concurrency que nous avons évoqué dans un article précédent.

De nouvelles capacités pour identifier les sons et images

Core ML est composé de plusieurs frameworks, des briques spécialisées dans une tâche précise. Au menu des évolutions majeures, le module Sound Analysis intègre désormais un modèle préinstallé que les développeurs peuvent utiliser directement.

Ce modèle permet de détecter plusieurs centaines de bruits sans effort. Je l’ai testé dans mon jardin pour détecter le chant des oiseaux avec un iPhone SE sous iOS 15 et les résultats sont impressionnants. Les apps qui permettent de détecter les cris d’enfants ou des outils d’accessibilité capables d’identifier les bruits des voitures deviennent ainsi très faciles à créer. Et d’autres usages pourront être inventés à partir de ce nouveau framework.

Capture d'écran de l'analyse de son en temps réel


avatar Iguana7 | 

Mais tout ça c'est à combiner avec Swift pour créer une appli ?

avatar Florent Morin | 

@Iguana7

Oui. Les développeurs s’en servent pour créer des apps pour les utilisateurs.

avatar Iguana7 | 

Merci Flo. Faut que je me penche un peu sur tout ça.

avatar andr3 | 

Ce que je trouve génial avec Apple, c’est qu’ils arrivent doucement mais sûrement à tout faire (faire) sur un iPhone, un iPad ou un Mac en local.

Je suis curieux de cette évolution et j’ai presque envie de retourner à la programmation … mais ça, c’est une autre histoire.

avatar Seb42 | 

Merci pour cette article.
Même si mes compétences en programmation sont quasi nulles je trouve toujours intéressant de lire ce type d’article.

avatar esclandre77 | 

Flo, tu codes en Python ?

avatar Florent Morin | 

@esclandre77

Non. Juste pour le ML très ponctuellement.

avatar amonbophis | 

C’est bien beau toutes ces évolutions autour du machine learning, mais dans les faits, pour nous , en dehors des apps Apple, qui les utilisent? Je n ‘arrive pas encore à voir les applications concrètes.

avatar Florent Morin | 

@amonbophis

PhotoRoom pour faire du détourage photo instantané.
Pixelmator pour nommer les calques, le remplissage intelligent, l’amélioration de la netteté des images.
TouchRetouch pour effacer un élément d’une photo.

DJPro pour séparer les instruments d’une piste audio en instantané.

Butterfly IQ pour détecter les symptômes de la COVID.

Excel pour transformer la photo d’un tableau en feuille de tableur exploitable.

Word pour la complétion et la correction automatique.

Toutes les apps d’analyse du sommeil.
Les apps d’entraînement sportif.
Les jeux vidéos.
Les apps de numérisation de documents.

Et bien d’autres à partir de cet hiver grâce aux nouvelles possibilités offertes notamment par Create ML.

En fait, c’est généralement invisible pour l’utilisateur.

avatar macbook60 | 

@FloMo

Bonjour

Merci avec ces quelques exemples l’utilisateur peut mieux comprendre

avatar amonbophis | 

Merci.
malheureusement tout cela est invisible pour l'utilisateur, et devrait être plus mis en avant pour "pousser" les plateformes iOS/macOS
vous citez word/excel : es ce que ces actions sont au final plus rapide que sur PC?
Est-ce que les apps d'Adobe ou autres apps cross plateforme s'y sont mis, ou non car elles ne veulent pas favoriser une plateforme par rapport à une autre (ou alors ont leur propre moteur)

avatar Florent Morin | 

@amonbophis

> vous citez word/excel : es ce que ces actions sont au final plus rapide que sur PC?

Ce serait plutôt comparable à l’équivalent côté Android. Je ne sais pas si c’est plus performant. Mais il y a de très bonnes chances grâce aux réseaux de neurones sur puce.

> Est-ce que les apps d'Adobe ou autres apps cross plateforme s'y sont mis ?

Oui. L’équivalent existe sur PC, sous réserve d’avoir un matériel adapté. Sur tablette Android, j’en doute fortement.

Là où Apple se distingue, c’est que le matériel est optimisé pour ça. Et cela n’est pas complexe pour les développeurs.

avatar esclandre77 | 

Ok, tu en parles très bien. Superbe travail à la fois très synthétique et aussi très bien vulgarisé pour public non averti. Top, j'apprécie le fait que macg fait appel à tes services.

avatar Florent Morin | 

@esclandre77

Merci.

avatar esclandre77 | 

Tu apportes une vision experte dans le domaine de la programmation qui manquait ai sein de la rédaction.

avatar jopaone | 

CreateML on iDevices🤩🥳, savez-vous à partir de quels appareils est-ce possible ? Besoin minimum de neural engine j’imagine..

avatar romainB84 | 

@jopaone

Ça sent même le A12 mini !

avatar Florent Morin | 

J'ai testé MLLinearRegressor sur un iPhone SE de 2016 : ça fonctionne nickel. 😲

avatar jopaone | 

@FloMo

OK top 👌, néanmoins la régression linéaire est un des algos les plus « simples » du ML , peut être que Vision qui relève du deep learning nécessitera davantage de ressources 🤔

avatar Florent Morin | 

@jopaone

À tester 🤷‍♂️

Je ne pense pas que ce soit bloquant.

avatar sergiobzh | 

Il y a qqs semaines j’ai enregistré certains mouvements particuliers de monApple watch avec un programme trouvé sur github (userAcceleration, gyro, gravity).
Ensuite j’ai balancé les résultats dans CreateML en Activity Classification : les résultats sont impressionnants. Juste avec qqs minutes d’enregistrements il arrivait à reconnaitre les mouvements avec une precision aux alentours de 96% (précision? fidélité? Je ne me souviens plus du terme)

avatar esclandre77 | 

Flo, tu pourrais faire un article ou bien nous en dire plus ici sur ton test de régression linéaire stp ?

avatar Florent Morin | 

@esclandre77

J’ai pris le premier projet open-source qui m’est tombé sous la main.
Une démo de recommandation d’albums de musique.

CONNEXION UTILISATEUR