On le sait, les IA génératives ont besoin d’énormément de données (textuelles, vidéo) pour se former et s’améliorer. Certaines entreprises sont suspectées de se servir sans demander la permission des auteurs, et le navigateur par IA Perplexity n’est pas en reste. Le géant Cloudflare l’accuse aujourd’hui de moissonner des sites ayant explicitement indiqué qu’ils refusaient d’être analysés par l’IA.
Le papier des chercheurs explique qu’en temps normal, Perplexity fouille le web avec un agent utilisateur déclaré, c’est-à-dire une sorte de signal indiquant à un site web l’identité d’un visiteur. Les propriétaires de sites peuvent bloquer ceux qu’ils considèrent comme indésirables, et notamment les plateformes d’IA. Or, lorsque c’est le cas, Perplexity semble masquer son identité en modifiant son agent utilisateur pour contourner les restrictions.
« Nous constatons que Perplexity modifie régulièrement son agent utilisateur et ses ASN sources afin de dissimuler son activité d'exploration, et qu'il ignore les fichiers robots.txt, voire ne les récupère pas », explique Cloudflare. « Robots.txt » est un fichier indiquant aux moteurs de recherche et aux sociétés d’IA quelles pages peuvent être indexées et celles qui ne doivent pas l'être.
Cloudflare indique avoir reçu des plaintes de plusieurs utilisateurs ayant bloqué Perplexity mais tout de même remarqué que la plateforme parcourait leur site et pouvait répondre à des questions sur leurs contenus. « Cette activité a été observée sur des dizaines de milliers de domaines et des millions de requêtes par jour. Nous avons pu établir l'empreinte de ce crawler en utilisant une combinaison d'apprentissage automatique et de signaux de réseau », ajoute Cloudflare.
Perplexity n’a pas tardé à répondre aux accusations dans un communiqué bien remonté. Elle y affirme que son service analyse les pages pour répondre aux demandes des utilisateurs, sans réutiliser son contenu à des fins d’entraînement. Les pages seraient uniquement consultées lorsqu’un utilisateur demande des informations sur le sujet qu’elle contient, et Perplexity ne récupérerait que les informations nécessaires.
Cette controverse révèle que les systèmes de Cloudflare sont fondamentalement inadaptés pour faire la distinction entre les assistants d'IA légitimes et les menaces réelles. Si vous ne pouvez pas distinguer un assistant utile d'un scraper malveillant, vous ne devriez probablement pas prendre de décisions sur ce qui constitue un trafic web légitime.
Le billet accuse Cloudflare de ne pas avoir répondu aux questions de Perplexity sur la méthodologie employée et d’avoir simplement cherché à se faire un coup de pub. L’entreprise d’IA dénonce de grosses erreurs dans le travail de recherche, avec des diagrammes techniques éloignés de la réalité. Cloudflare n’a pas encore répondu à ces accusations.
