La vidéo de présentation de Gemini, le nouveau grand modèle de langage de Google dévoilé il y a quelques jours, est impressionnante. On peut y voir le modèle raisonner à partir d'images, de sons, de vidéos, de codes et de textes, le tout sans temps mort dans ce qui semble être une expérience impressionnante. Seul problème : la vidéo en question a été largement retouchée pour réduire les temps de réflexion de l’IA, ce qui donne l’impression d’une utilisation ultra fluide.
Ce n’est pas vraiment un secret : Google explique dans la description de sa vidéo que « la latence a été réduite et les réponses de Gemini ont été raccourcies pour des raisons de concision ». Mais ce n'est pas le seul trucage. Bloomberg a demandé des détails à ce sujet dans le but de savoir à quel point la vidéo avait été retouchée. Google a admis que la vidéo n’avait pas été filmée en temps réel, mais qu’elle avait rédigé des invites textuelles envoyées à Gemini accompagné d’images fixes. Une réalité bien différente de ce qu’essaye de montrer Google, présentant une personne discutant en temps réel avec Gemini pendant que le modèle analyse et répond en direct à ce qu’il voit.
Si Bloomberg estime qu’il y a tromperie, Google ne voit pas les choses de la même manière. « Toutes les commandes et les résultats de la vidéo sont réels, mais raccourcis par souci de concision », explique le vice-président de la recherche et chef du deep learning chez Google DeepMind. « La vidéo illustre ce à quoi pourraient ressembler les expériences utilisateur multimodales construites avec Gemini. Nous l'avons réalisée pour inspirer les développeurs », avance-t-il.
Un petit coup de pouce au montage n’est pas très surprenant sur ce genre de vidéo, mais le fait qu’une grande partie ait visiblement été retouchée en postproduction a de quoi décevoir. Le modèle Gemini de Google n’est pas le premier à pouvoir interagir avec des images envoyées à côté d’une commande : GPT-4 peut le faire depuis bientôt 10 mois. Le fait de présenter son produit à l’aide d’une vidéo retouchée évite d’éventuels couacs, mais rassure moins le public et les investisseurs. On se souviendra du flop d’Ernie Bot, le ChatGPT chinois de Baidu dont la présentation a reposé sur des vidéos préenregistrées. Résultat des courses : l’action du groupe a chuté de 10 % pendant la présentation et a terminé en baisse de 6,4 %.
Google cherche à rattraper son retard sur OpenAI, qui l’a pris par surprise l’année dernière en lançant ChatGPT. Si elle promet que Gemini sera loin devant GPT-4, la réalité est moins reluisante. Les benchmarks montrent que la différence entre les deux modèles est loin d’être marquée alors que GPT-4 n’est plus de première jeunesse. De plus, la version la plus puissante de Gemini ne sera pas disponible avant l’année prochaine, ce qui montre que Google a encore un peu de pain sur la planche. Mountain View est un habitué des couacs avec ses vidéos sur l’IA : on se souviendra par exemple de la vidéo de présentation de Bard… dans laquelle le bot effectuait une erreur factuelle.
