Deux mois seulement après le lancement de Gemini, Google annonce une mise à jour importante pour sa famille de grands modèles de langage. Gemini 1.5 est présenté comme capable d’avaler beaucoup plus d’informations en même temps, tout en consommant moins d’énergie que les versions 1.0 actuelles.
Si l’on en croit Google, Gemini 1.5 Pro, un modèle de taille moyenne à la consommation mesurée, est carrément plus performant que Gemini 1.0 Ultra, un énorme modèle lancé au début du mois qui demande beaucoup plus de puissance de calcul. Par « performant » ici, il faut comprendre qu’il donne au moins d’aussi bonnes réponses aux requêtes.
Par défaut, Gemini 1.5 Pro est capable de mâcher jusqu’à 128 000 tokens, soit quatre fois plus que la version Pro 1.0 et autant que GPT-4 Turbo (les tokens sont l’unité de mesure des requêtes à analyser, 100 tokens équivalent à 60 à 80 mots anglais). Mais Google va autoriser certains utilisateurs à lui faire avaler jusqu’à 1 million de tokens d’un coup, ce qui permettrait par exemple de lui faire analyser en une traite les 402 pages du rapport de la mission Apollo 11. En pouvant étudier d’un seul coup plus d’informations, Gemini 1.5 sera plus à même de fournir une meilleure réponse à la question posée.
Pour que ce travail d’analyse plus large ne se fasse pas au détriment de la vitesse, Google a repensé l’architecture de son modèle en la divisant en plusieurs petits réseaux de neurones « experts » (Mixture-of-Experts, MoE). En fonction du type d’entrée fourni (analyse d’image, requête textuelle…), les modèles MoE activent uniquement les voies expertes les plus pertinentes du réseau neuronal, avec à la clé une meilleure efficacité.
Gemini 1.5 Pro n’est pour l’instant disponible qu’en bêta pour les développeurs et les entreprises via les outils AI Studio et Vertex AI. Pas d’information à ce stade sur son intégration dans Gemini (ex-Bard), le robot conversationnel grand public de Google. On comprend qu’il s’agit surtout d’occuper le terrain alors que la course des IA génératives bat son plein, en témoigne encore l’annonce de Sora par OpenAI en fin de semaine dernière.
