Core ML 5 : de l'apprentissage automatique solide et tourné vers le futur
Comme chaque année, Apple améliore Core ML, sa solution d’apprentissage automatisé destinée aux développeurs autant qu’à ses propres usages. Et en 2021, Core ML 5 apporte plusieurs améliorations significatives, avec une mise à jour résolument tournée vers le futur à l’instar de Swift Concurrency que nous avons évoqué dans un article précédent.
De nouvelles capacités pour identifier les sons et images
Core ML est composé de plusieurs frameworks, des briques spécialisées dans une tâche précise. Au menu des évolutions majeures, le module Sound Analysis intègre désormais un modèle préinstallé que les développeurs peuvent utiliser directement.
Ce modèle permet de détecter plusieurs centaines de bruits sans effort. Je l’ai testé dans mon jardin pour détecter le chant des oiseaux avec un iPhone SE sous iOS 15 et les résultats sont impressionnants. Les apps qui permettent de détecter les cris d’enfants ou des outils d’accessibilité capables d’identifier les bruits des voitures deviennent ainsi très faciles à créer. Et d’autres usages pourront être inventés à partir de ce nouveau framework.
Mais tout ça c'est à combiner avec Swift pour créer une appli ?
@Iguana7
Oui. Les développeurs s’en servent pour créer des apps pour les utilisateurs.
Merci Flo. Faut que je me penche un peu sur tout ça.
Ce que je trouve génial avec Apple, c’est qu’ils arrivent doucement mais sûrement à tout faire (faire) sur un iPhone, un iPad ou un Mac en local.
Je suis curieux de cette évolution et j’ai presque envie de retourner à la programmation … mais ça, c’est une autre histoire.
Merci pour cette article.
Même si mes compétences en programmation sont quasi nulles je trouve toujours intéressant de lire ce type d’article.
Flo, tu codes en Python ?
@esclandre77
Non. Juste pour le ML très ponctuellement.
C’est bien beau toutes ces évolutions autour du machine learning, mais dans les faits, pour nous , en dehors des apps Apple, qui les utilisent? Je n ‘arrive pas encore à voir les applications concrètes.
@amonbophis
PhotoRoom pour faire du détourage photo instantané.
Pixelmator pour nommer les calques, le remplissage intelligent, l’amélioration de la netteté des images.
TouchRetouch pour effacer un élément d’une photo.
DJPro pour séparer les instruments d’une piste audio en instantané.
Butterfly IQ pour détecter les symptômes de la COVID.
Excel pour transformer la photo d’un tableau en feuille de tableur exploitable.
Word pour la complétion et la correction automatique.
Toutes les apps d’analyse du sommeil.
Les apps d’entraînement sportif.
Les jeux vidéos.
Les apps de numérisation de documents.
Et bien d’autres à partir de cet hiver grâce aux nouvelles possibilités offertes notamment par Create ML.
En fait, c’est généralement invisible pour l’utilisateur.
@FloMo
Bonjour
Merci avec ces quelques exemples l’utilisateur peut mieux comprendre
Merci.
malheureusement tout cela est invisible pour l'utilisateur, et devrait être plus mis en avant pour "pousser" les plateformes iOS/macOS
vous citez word/excel : es ce que ces actions sont au final plus rapide que sur PC?
Est-ce que les apps d'Adobe ou autres apps cross plateforme s'y sont mis, ou non car elles ne veulent pas favoriser une plateforme par rapport à une autre (ou alors ont leur propre moteur)
@amonbophis
> vous citez word/excel : es ce que ces actions sont au final plus rapide que sur PC?
Ce serait plutôt comparable à l’équivalent côté Android. Je ne sais pas si c’est plus performant. Mais il y a de très bonnes chances grâce aux réseaux de neurones sur puce.
> Est-ce que les apps d'Adobe ou autres apps cross plateforme s'y sont mis ?
Oui. L’équivalent existe sur PC, sous réserve d’avoir un matériel adapté. Sur tablette Android, j’en doute fortement.
Là où Apple se distingue, c’est que le matériel est optimisé pour ça. Et cela n’est pas complexe pour les développeurs.
Ok, tu en parles très bien. Superbe travail à la fois très synthétique et aussi très bien vulgarisé pour public non averti. Top, j'apprécie le fait que macg fait appel à tes services.
@esclandre77
Merci.
Tu apportes une vision experte dans le domaine de la programmation qui manquait ai sein de la rédaction.
CreateML on iDevices🤩🥳, savez-vous à partir de quels appareils est-ce possible ? Besoin minimum de neural engine j’imagine..
@jopaone
Ça sent même le A12 mini !
J'ai testé MLLinearRegressor sur un iPhone SE de 2016 : ça fonctionne nickel. 😲
@FloMo
OK top 👌, néanmoins la régression linéaire est un des algos les plus « simples » du ML , peut être que Vision qui relève du deep learning nécessitera davantage de ressources 🤔
@jopaone
À tester 🤷♂️
Je ne pense pas que ce soit bloquant.
Il y a qqs semaines j’ai enregistré certains mouvements particuliers de monApple watch avec un programme trouvé sur github (userAcceleration, gyro, gravity).
Ensuite j’ai balancé les résultats dans CreateML en Activity Classification : les résultats sont impressionnants. Juste avec qqs minutes d’enregistrements il arrivait à reconnaitre les mouvements avec une precision aux alentours de 96% (précision? fidélité? Je ne me souviens plus du terme)
Flo, tu pourrais faire un article ou bien nous en dire plus ici sur ton test de régression linéaire stp ?
@esclandre77
J’ai pris le premier projet open-source qui m’est tombé sous la main.
Une démo de recommandation d’albums de musique.