Les choses vont vite dans le monde de l'IA. Le mois dernier, Meta présentait un modèle de langage surpuissant, plus léger et efficace que le GPT-3 d'OpenAI mais réservé aux universitaires. La semaine dernière, ce modèle baptisé LLaMA fuitait sur 4chan et était publié dans la foulée sur GitHub. Aujourd'hui, ArsTechnica rapporte que le modèle fonctionne en local sur un MacBook, mais aussi sur Windows et a même été montré tournant sur un Pixel 6 ou un Raspberry Pi.
Le modèle ayant fuité de chez Meta n'est qu'une base : il ne s'agit pas d'une app que l'on peut lancer et utiliser dans la foulée, mais d'un modèle de langage brut demandant pas mal de puissance et n'ayant pas été affiné pour les conversations. Il est disponible en plusieurs tailles, avec une déclinaison légère mais promettant d'être au même niveau que le GPT-3 d'OpenAI. Le modèle de Meta le plus petit a l'avantage de ne pas nécessiter de grosses cartes graphiques de serveurs, comme c'est le cas pour GPT-3.
Meta ne veut pas se laisser faire par ChatGPT et va mettre de l'IA dans WhatsApp et Instagram
Depuis sa mise en ligne, de nombreux bidouilleurs se sont mis en tête de faire tourner LLaMA sur des ordinateurs personnels. Le travail avance assez vite, car un développeur a déjà partagé sur Github un projet permettant à n'importe qui avec de bonnes connaissances techniques de discuter avec LLaMA sur Mac.
ArsTechnica a mis les mains dans le cambouis pour le lancer sur un MacBook Air M1 et explique que le modèle génère du texte à une vitesse raisonnable. Si les réponses sont satisfaisantes, elles ne sont pas encore au niveau de ChatGPT : cela vient peut-être du procédé utilisé pour faire tourner l'imposant modèle sur du matériel d'entrée de gamme, qui pourra être affiné par la suite. Démarrer LLaMA sur un Mac demande pas mal de connaissances techniques, et un guide à été mis en ligne pour les curieux.
Faire tourner un modèle textuel en local est le rêve de certains internautes qui se sentent limités par les filtres de ChatGPT ou de Bing. Avoir un modèle tournant directement depuis sa machine offrira plus de personnalisation et évitera certains soucis, comme les frais d'API ou une absence de réponse suite à des serveurs surchargés. Au rythme où les choses avancent, on peut imaginer qu'il sera prochainement possible de jouer avec LLaMa via une app pour macOS.
