Auparavant cantonnés aux énormes serveurs d'OpenAI, les modèles de génération de langage sont de plus en plus accessibles depuis le début de l'année. Certains peuvent désormais tourner sans trop de soucis en local sur un Mac récent, pour peu que l'on soit prêt à mettre les mains dans le cambouis.
Commençons par un petit rappel : la scène des modèles de langages bouge très vite. Si tenir un historique des évolutions chez les grands noms du domaine (OpenAI, Google) est assez simple, ce n'est pas le cas de la communauté open source comptant une foule de bidouilleurs présentant de nouvelles trouvailles quotidiennement. L'expérience est évidemment beaucoup moins peaufinée que les services des géants de la tech, mais a le mérite d'être fonctionnelle pour peu que l'on ferme les yeux sur les bugs et autres instabilités. Les modèles que nous vous proposons d'installer tournent plutôt bien, même si l'usage reste perfectible sur certains points.
LLaMA, Alpaca, Vicuna et autres camélidés
La scène des modèles de langage en local a fait un grand bond en avant depuis l'arrivée de LLaMA, un projet de Meta présenté au mois de février. Initialement destiné à une poignée de chercheurs répondant à certaines conditions, le modèle a rapidement été détourné et rendu accessible à tous sur GitHub ou via des torrents. De nombreuses personnes se sont alors mis en tête de le faire tourner sur leurs machines.
Partagé au début du mois de mars, LLaMA est un modèle de langage brut disponible en quatre formats qui n'a pas été optimisé pour les conversations et demandant pas mal de puissance. À peine une semaine après sa diffusion, des petits malins avaient trouvé moyen de le faire tourner sur un MacBook, un Pixel 6 ou un Raspberry Pi. Les bidouilleurs en tout genre ont continué de l'affiner en proposant leurs forks, des versions modifiées pour être utilisables au quotidien.
La plus importante est Alpaca, un projet d'universitaires de Stanford ayant des résultats similaires au modèle text-davinci-003 d'OpenAI. Alpaca est une version dérivée de la plus petite déclinaison du LLaMA de Meta comportant 7 milliards de « paramètres » (une unité de mesure traduisant la puissance d'un modèle). Le but d'Alpaca est d'être une alternative légère tournant sur du matériel accessible tout en apportant tout de même des réponses au niveau de text-davinci-003.
