La course aux modèles de langage est lancée, et les projets open source se multiplient. Meta a ouvert le bal en présentant LLaMA, un modèle qui devait rester réservé aux chercheurs, mais qui a rapidement fuité en ligne. Aujourd'hui, l'entreprise Databricks vient d'annoncer Dolly 2.0, un modèle open source publié sous une licence qui autorise un usage commercial. Les développeurs et entreprises vont donc pouvoir s'en servir gratuitement dans leurs différents projets.
Meet Dolly 2.0: the first open-source, instruction-following LLM that’s available for commercial use & doesn’t require you to pay for API access or share data with third parties. Now, anyone can create a powerful LLM that understands how to talk to people! https://t.co/pchw6uZ9X7
— Databricks (@databricks) April 12, 2023
Dolly 2.0 est un modèle de langage de 12 milliards de paramètres, dont Databricks affirme qu'il a été affiné (« fine-tuned ») exclusivement sur un « ensemble de données de haute qualité ». Ce procédé lui permet de se rapprocher de ChatGPT étant donné qu'il est optimisé pour les dialogues et la réponse aux questions, contrairement à d'autres modèles plus bruts comme celui de Meta. À l’inverse à ce que propose OpenAI, le modèle est entièrement open source et est disponible sur Hugging Face et GitHub.
Par le passé, Databricks a présenté une première version de Dolly qui était elle aussi open source. Cependant, celle-ci utilisait une base de données avec du contenu d'OpenAI, ce qui allait à l'encontre de ses conditions d'utilisation. Pour Dolly 2.0, l'entreprise a fait appel à des milliers de ses employés pour mettre au point un ensemble d'apprentissage et peut donc diffuser gratuitement son projet sans contraintes. Databricks espère ainsi attirer de nouveaux clients, construisant leurs apps basées sur Dolly 2.0 via sa plateforme.
Ce modèle de langage n'est pas forcément le plus précis dans ses réponses. Techcrunch a pu l'essayer et rapporte que celui-ci a fait des erreurs grossières ou peut affirmer des choses fausses. C'est le cas de tous, mais il semble que Dolly 2.0 ne soit pas dans le haut du panier de ce côté-là. Le CEO de Databricks se défend en expliquant que son produit vise plutôt des utilisations simples, comme la réponse à des tickets pour les SAV, le résumé de documents ou la génération de code. Le modèle n'a pas accès à internet, ce qui limite ses connaissances.
Cette nouveauté pourrait tout de même avoir un impact fort dans différents secteurs. Les développeurs sont très intéressés par les IA du style ChatGPT, mais doivent actuellement passer par les API payantes d'OpenAI. Le modèle open source de Meta ne peut pas être utilisé dans un cadre commercial, ce qui ne laisse pas beaucoup de choix. Avec Dolly 2.0, ils ont désormais une nouvelle alternative gratuite ne nécessitant pas de partager les données de leurs utilisateurs.
