Ouvrir le menu principal

MacGeneration

Recherche

Ferret, le nouveau modèle d’intelligence artificielle multimodal d’Apple

Félix Cattafesta

mardi 02 janvier 2024 à 14:48 • 45

Logiciels

Si Apple reste bien discrète dans la grande course à l’IA qui secoue toute l’industrie depuis 1 an, Cupertino continue d’affuter ses armes. Sans tambour ni trompette, l’entreprise a mis en ligne un nouveau modèle de langage baptisé Ferret au mois d’octobre. Celui-ci a pour particularité d’être multimodal, et donc de mélanger textes et images.

La démo de Ferret, disponible sur Github. L’IA a réussi à effectuer l’observation suivante : « L'objet (obj0) est un chien et l'objet (obj1) est un furet. Le chien et le furet semblent être assis ensemble dans la neige, ce qui suggère une interaction amicale ou de la camaraderie. »

Ce modèle peut déterminer les éléments composant une image, les délimiter et les identifier pour qu’ils puissent être utilisés dans une requête. Plusieurs utilisations sont possibles : l’utilisateur pourra par exemple mettre en valeur un animal sur une image, et Ferret lui indiquera de quelle espèce il s’agit. Il a la capacité de séparer un élément du reste d’un groupe, et de préciser le contexte d’une photo.

Le chercheur d’Apple Zhe Gan affirme que le modèle « montre souvent une meilleure compréhension précise des petites régions de l'image » que GPT-4V, le modèle spécialisé d’OpenAI. Deux versions ont été publiées, une avec 7 milliards de paramètres et une seconde avec 13 milliards. Apple indique que son modèle a été entraîné sur 8 GPU NVDIA A100 avec 80 Go de mémoire. Ferret est open source, même si sa mise à disposition se fait sous licence non commerciale (il ne peut pas être commercialisé en l’état).

Ce type de technologie pourrait sans problème trouver son utilité au sein de l’app Photos d’Apple en améliorant la recherche d’images. Elle pourrait également servir à un éventuel AppleGPT, qui serait en développement à Cupertino selon les rumeurs. Aux dernières nouvelles, Apple aurait prévu de mettre le paquet sur l’intelligence artificielle dans ses prochains systèmes d’exploitation et dépenserait sans compter pour percer dans le domaine.

iOS 18, Siri, iWork : Apple se prépare à ajouter de l

iOS 18, Siri, iWork : Apple se prépare à ajouter de l'IA dans tout son écosystème

La Pomme a récemment publié deux travaux de recherche liés à l’IA. Le premier concerne une technique permettant d’utiliser la mémoire flash d’un appareil pour faire tourner un large modèle de langage (LLM), tandis que le second est utilisé pour créer un avatar 3D à partir de quelques secondes de vidéo d’un individu en mouvement. Apple expérimente également avec les outils de génération d’images dans le style de DALL-E ou de Midjourney.

Source :

Image d’accroche : Dall-E 3.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

xAI annonce des compagnons virtuels, entre midinette pour otaku et fans de Cinquante nuances de Grey

16/07/2025 à 23:30

• 8


Test du PlugBug 120 W : un chargeur de voyage qu’on n’oublie pas grâce à Localiser

16/07/2025 à 23:10

• 15


Un dock Thunderbolt 5 bien équipé proposé par Razer

16/07/2025 à 20:15

• 7


iPhone 17 : la future palette de couleurs déjà dans la nature ?

16/07/2025 à 20:13

• 21


Le Thermomix TM5 a été hacké, et il ne lance même pas Doom

16/07/2025 à 19:27

• 4


Vous avez peur pour vos données ? TeamGroup lance un SSD qui peut s'autodétruire

16/07/2025 à 17:56

• 9


macOS 12 Monterey bientôt obligatoire pour Google Chrome

16/07/2025 à 15:46

• 4


Red by SFR propose une Box 5G

16/07/2025 à 13:00

• 27


Face à la gronde, WeTransfer rétropédale sur l’analyse des fichiers par IA

16/07/2025 à 11:37

• 55


Le lecteur d’albums Longplay est disponible en version finale sur le Mac

16/07/2025 à 09:49

• 10


Les bêtas publiques d'iOS 26, iPadOS 26 ou macOS Tahoe prennent du retard

16/07/2025 à 07:42

• 59


Pornhub, Redtube et YouPorn abandonnent une seconde fois la France

15/07/2025 à 21:10

• 60


On a testé Comet, le navigateur de Perplexity qui explore le web comme nul autre

15/07/2025 à 20:30

• 27


La version Mac de Cyberpunk 2077 sera disponible le 17 juillet sur Steam et le Mac App Store

15/07/2025 à 16:25

• 40


Guide d’achat : nos accessoires tech pratiques pour les télétravailleurs

15/07/2025 à 15:02

• 6


Apple investit 500 millions dans les terres rares et la fabrication d'aimants aux États-Unis

15/07/2025 à 14:57

• 23