Si Apple n'a pas parlé d'intelligence artificielle pendant le Keynote inaugural de la WWDC, l'entreprise a tout de même présenté quelques optimisations qui vont ravir les utilisateurs de modèles d'IA en local. Ces changements permettent d'exécuter des modèles comme Stable Diffusion plus rapidement tout en utilisant moins de mémoire. Dans un billet de blog, l'ingénieur du site spécialisé Hugging Face a décortiqué en détail les différentes améliorations.
Exciting updates to #stablediffusion with Core ML!
— Atila (@atiorh) June 14, 2023
- 6-bit weight compression that yields just under 1 GB
- Up to 30% improved Neural Engine performance
- New benchmarks on iPhone, iPad and Macs
- Multilingual system text encoder support
- ControlNet https://t.co/wVMDG5FZjc 🧵
La Pomme a notamment optimisé son framework Core ML, le moteur qui permet de faire tourner des modèles d'IA. La boîte à outils coremltools (qui permet de convertir des modèles au format Core ML) est également concernée et gagne un nouveau module comportant différents outils de compression et d'optimisations.
Apple a apporté quelques modifications à ml-stable-diffusion, son framework open source présenté en décembre dernier et pensé pour le générateur d'images éponyme. Celui-ci permet de convertir des modèles Stable Diffusion pour Core ML : il propose désormais des résultats plus économiques et offrant de meilleures performances. Apple promet des optimisations du moteur neuronal pouvant aller jusqu'à 30 % par rapport à ce qui se faisait auparavant.
L'autre nouveauté est que le framework permet désormais d'effectuer une quantification 6-bits, qui offre un bon compromis entre qualité et petite taille. Les modèles de base de Stable Diffusion ont déjà été compilés pour l'occasion, mais les amateurs pourront eux aussi tirer parti de cette nouveauté pour leurs propres modèles.
S'il faut encore un peu bidouiller pour le moment, l'application Diffusers de Hugging Face devrait bientôt être mise à jour pour proposer nativement ces changements. Notons que ces nouveautés ne sont disponibles qu'en passant sous Sonoma. Elles vont également impacter les performances des déclinaisons iOS et iPadOS 17 des apps de modèles d'IA, comme Draw Things ou AI Photo.
