Bard s'enrichit de nouvelles fonctions, mais raconte toujours n'importe quoi

Félix Cattafesta |

Google a lancé il y a peu des extensions permettant à son bot Bard d'accéder aux comptes Gmail, Docs et Drive de l'utilisateur. L'idée est d'utiliser ces nouvelles données pour proposer des réponses plus pertinentes, par exemple pour rédiger un mail en se basant sur de précédentes conversations. Seul soucis : le bot, utilisant des technologies d'IA génératives, a tendance à inventer n'importe quoi.

Un journaliste du New York Times a essayé cette nouvelle fonction, qui n'est pour le moment pas activée par défaut et qui reste réservée aux comptes Google pour particuliers. Interrogé sur une question générale complexe, Bard a inventé une conversation en citant une newsletter n'ayant rien à voir avec le sujet. Quand le journaliste lui a demandé de se baser uniquement sur des e-mails qu'il a lui-même envoyés, le bot lui a carrément attribué une fausse citation.

Ce n'est pas vraiment surprenant étant donné que les IA génératives comme ChatGPT ou autre ont toujours eu tendance à « halluciner » certains éléments. Elles peuvent affirmer des choses fausses avec un aplomb de fer, ce qui fait qu'il faut constamment vérifier ce qu'elles disent dès que le sujet est pointu. Ces « hallucinations » se présentent souvent lorsque l'IA n'a pas été entraînée sur assez de données pour fournir une réponse, et sont un des principaux problèmes de cette technologie.

Autre cas d'usage : utiliser Bard comme agent de voyage en se basant sur un itinéraire dans ses mails pour réserver des hôtels. Si le bot a réussi à retrouver des dates de vols, il s'est emmêlé les pinceaux sur la question des aéroports et a recommandé des horaires de trains erronés. Google explique ne pas avoir encore intégré certains calendriers du rail européen, et appuie sur le fait qu'il s'agit d'une bêta.

Image : Google.

Bard s'en est tout de même bien sorti pour des tâches simples, par exemple pour résumer des mails récents provenant d'une personne ou sur un sujet spécifique. Il a en revanche échoué sur différentes questions un peu plus complexes, comme lorsqu'on lui demande de remonter les 20 courriers les plus importants d'une boîte mail ou de dresser une liste des 100 contacts les plus sollicités.

C'est évidemment un problème : si Google présente pour le moment sa fonction comme une bêta expérimentale, l'idée est de la vendre aux entreprises. Que Bard se trompe pour retranscrire une liste de course est une chose, qu'il se plante lorsqu'un comptable lui demandera de générer des graphiques en se basant sur un ensemble de mails professionnels en est une autre.

L'IA gagne au passage le droit de fouiller dans de nombreuses données d'un compte Google, ce qui n'est pas sans poser des questions de confidentialité. Si l'entreprise affirme qu'elle ne s'en servira pas pour améliorer son modèle, elle déconseille toutefois de lui envoyer des informations « que vous ne souhaiteriez pas qu'un réviseur consulte ou que Google utilise pour améliorer ses produits ». La firme de Mountain View explique que son produit deviendra plus fiable avec le temps, et mise fortement sur l'IA générative pour son avenir. Les nouvelles extensions pour Bard ne fonctionnent pour le moment qu'en anglais.

Accédez aux commentaires de l'article