Qualcomm s'intéresse aux modèles d'IA génératives tournant en local. L'entreprise vient de dévoiler ControlNet, un modèle de langage-vision dans la même veine que Stable Diffusion ou MidJourney. Une démo a été présentée, dans laquelle on peut voir une image générée sur un téléphone en moins de 12 secondes, sans passer par le cloud.
Qualcomm explique avoir utilisé une série d'optimisations au niveau de l'architecture du modèle, du logiciel d'IA et des accélérateurs du moteur neuronal pour obtenir ce résultat. La référence du téléphone utilisé n'est pas précisée, mais on peut voir que l'entreprise a mis la main à la pâte pour optimiser son modèle de 1,5 milliard de paramètres. Ce n'est pas la première fois que l'on peut utiliser un modèle du genre sur smartphone : une démo de Stable Diffusion sur Android a été présentée en début d'année. Sur iOS, il est possible de se servir du modèle de langage via des apps comme Draw Things ou AI Photo.
Le fait de pouvoir faire tourner des modèles d'IA générative en local est important : cela permet de moins dépendre du cloud, ce qui est toujours bon pour la protection de ses données privées. Si la nouveauté sert pour le moment à générer des images à partir de mots, elle pourrait rapidement infuser ici et là dans l'appareil. Qualcomm a par exemple dévoilé un modèle de langage utilisé pour donner voix à un coach de gym virtuel. Le concept se base sur un second modèle d'IA pouvant détecter et identifier les positions de gym, ce qui permet de générer des réponses dans le contexte.
La réalité mixte (au cœur du futur Vision Pro d'Apple) n'est pas en reste, et Qualcomm a également fait quelques annonces de ce côté-là. L'entreprise a notamment présenté un système de reconstruction 3D pour les apps XR mais aussi des avancées dans la création d'avatars 3D. Qualcomm a une carte à jouer dans le domaine : c'est elle qui produit les puces qui équipent les casques de Meta, principal opposant à Apple sur le terrain de la réalité mixte.
L'entreprise a également présenté ses avancées dans différents domaines, comme pour ce qui touche à l'encodage de vidéos 1080p sur smartphone ou de meilleurs algorithmes de vision par ordinateur pour les caméras de surveillance. Elle a aussi mis en avant un système de surveillance du conducteur pour véhicule, vérifiant l'état du chauffeur et le prévenant lorsqu'il détecte une pratique dangereuse (somnolence, distraction).
