Il est des moments où les actualités se télescopent de manière fort malheureuse. Pour OpenAI, le timing ne pouvait pas être plus atroce : alors que l’entreprise annonce relancer son outil Health connecté à l’app Santé d’Apple, une personne porte plainte contre l’entreprise pour conseils médicaux dangereux, accusant ChatGPT d’avoir utilisé sa foi pour le convaincre d’éviter le médecin.
Dès le mois de janvier, OpenAI a lancé les premiers tests publics d’une nouvelle fonction de son LLM : l’interprétation des données médicales collectées par l’app Santé d’iOS, permettant de traduire de manière simple et pratique les données extraites des différents capteurs. Malheureusement pour l’entreprise, les premiers retours n’étaient pas tellement encourageants : de nombreux utilisateurs se sont plaints de réponses faiblardes, et d’un outil qui n’était pas aussi extraordinaire qu’annoncé.
OpenAI relance donc Health, annonçant cette fois que tous les utilisateurs américains pourraient y accéder, avec encore plus de données gérées : « Vous pouvez choisir de connecter de manière sécurisée Apple Santé ainsi que les rapports médicaux supportés, afin que ChatGPT puisse vous aider à comprendre ces informations, garder la trace des variations, et avoir des conversations détaillées et personnalisées concernant votre santé ».
OpenAI propose ChatGPT Health, se liant avec l’app Santé et de nombreuses apps de fitness
Tous les utilisateurs de ChatGPT peuvent ainsi accéder au nouvel onglet Health, y compris ceux restés sur la formule gratuite. La seule condition est d’avoir 18 ans ou plus et de résider aux États-Unis. Une fois connecté, « avec votre permission, ChatGPT peut désormais pointer les informations importantes que vous avez déposées dans Health, pour vous aider à comparer de nouveaux résultats avec les précédents, résumer les changements depuis votre dernier rendez-vous médical, ou mieux comprendre votre sommeil, votre activité, ou les exercices que vous pratiquez habituellement ».
Outil, ou catastrophe ?
Comme souvent, la présentation est léchée, et les termes choisis. Malheureusement pour OpenAI, ce lancement national tombe exactement le jour où, en Floride, une plainte est déposée contre ChatGPT et ses conseils de santé.
Un pasteur, Scott Winters, accuse en effet le chatbot de l’avoir dissuadé d’aller voir un médecin, en utilisant rien de moins que sa foi pour le convaincre.
Pendant six semaines, le pasteur a conversé avec ChatGPT, lui demandant conseil concernant des soucis de santé qui semblaient alarmants : se plaignant de symptômes possiblement d’origine cardiaque, l’homme d’église affaibli ne pouvait plus exercer son office correctement, au point d’en perdre son emploi, son ministère, et de fait ses revenus.
Mais pourquoi avoir attendu aussi longtemps pour consulter un véritable médecin ? Le chatbot, selon ses avocats, a joué sur la corde la plus sensible du pasteur : sa foi. Pour réponse à ses douleurs, ChatGPT lui aurait répondu que ce « n’était qu’un autre chapitre mineur d’une longue histoire », et que « Dieu n’a pas créé ton corps pour être éternellement faillible », sous-entendant qu’une fois reposé, les symptômes passeraient.
Le pasteur affirme donc avoir écouté les conseils du chatbot, et être resté au repos pendant six semaines dans un fauteuil inclinable. Voyant que les choses ne s’amélioraient pas, il a fini par consulter un médecin, et le résultat est net : embolie pulmonaire bilatérale. Non seulement c’était une urgence médicale, mais le fait d’avoir conseillé au pasteur de rester au repos dans un fauteuil inclinable a, selon les médecins qu’il a consulté, empiré son état, favorisant le blocage des artères déjà fragilisées.
Selon les avocats de Scott Winters, la « nature complaisante et le ton autoritaire » de ChatGPT, « combinés à une instrumentalisation de la foi de Scott, ont créé chez lui une dangereuse dépendance à l’outil, altérant sa capacité à prendre des décisions éclairées, l’isolant des membres de sa famille qui l’exhortaient à consulter un médecin et le convainquant que solliciter une aide médicale était non seulement inutile, mais pouvait même s’avérer mortel ».
OpenAI, pour le moment, se retranche derrière les mises en garde inscrites dans ses conditions d’utilisation, et rappelle que l’IA indique régulièrement qu’il ne faut pas prendre ses réponses pour argent comptant, et vérifier régulièrement ses assertions.
Et c’est là que se télescopent non seulement les dates, mais aussi les discours : alors que, d’un côté, OpenAI présente son outil Health comme un apport extraordinaire permettant de mieux comprendre sa santé et de décortiquer des rapports médicaux, incitant ainsi à faire confiance à son LLM, de l’autre, l’entreprise rappelle que le chatbot est faillible et qu’il ne faut pas suivre aveuglément ses conseils dans un domaine aussi complexe que profondément personnel. Un double discours qu’il sera difficile de maintenir de manière cohérente, que ce soit devant la justice… comme devant l’Éternel.
