Peut-être vous souvenez-vous de Recall, la fonction de Windows 11 qui a fait grand bruit à sa présentation : celle-ci surveille en continu l’écran pour permettre à l’utilisateur de chercher dans ses actions passées. Si le concept a fait polémique pour des raisons évidentes, OpenAI a pris des notes et planche sur Chronicle, une fonction similaire actuellement en bêta sur macOS.
L’entreprise explique que « Chronicle enrichit les souvenirs de Codex » grâce au contexte apparu à l’écran. La fonction nécessite les autorisations d'enregistrement d'écran et d'accessibilité de macOS. De multiples captures d’écran sont faites et vont aider l’assistant à mieux comprendre les projets en cours pour éviter de devoir à chaque fois reformuler le contexte.
Tout cela devrait faire gagner du temps : plus besoin d’envoyer des captures d’écran à la main ou des messages d’erreur. Certaines actions deviennent plus simples, et il ne sera par exemple pas nécessaire de détailler les noms de certains outils ou interlocuteurs, Codex les ayant « vus » par le passé.
OpenAI précise que les captures sont traitées sur ses serveurs pour générer les souvenirs avant d’être supprimées une fois l’opération terminée. L’entreprise assure qu’elles ne sont pas utilisées pour entraîner ses modèles, tandis que l’utilisateur garde la main. Chronicle peut être mis en pause depuis la barre de menus, et les souvenirs générés peuvent être consultés, modifiés ou supprimés.
L’entreprise est consciente des risques, expliquant clairement que Chronicle « atteint rapidement ses limites de fréquence, augmente le risque d'injection de commandes et stocke les souvenirs non chiffrés sur votre appareil ». En effet, si vous consultez un site contenant des instructions destinées à des agents malveillants, celles-ci risquent d’être exécutées. Sous le capot, la fonction prend des captures d’écran qui peuvent comporter des informations sensibles susceptibles d’être récupérées par d’autres apps.
Chronicle est disponible en version bêta de recherche sur inscription dans l'application Codex pour macOS. Il faudra de plus avoir un abonnement ChatGPT Pro pour en profiter, sachant que celui-ci coûte au minimum 100 $ par mois. OpenAI indique que la fonction n’est pas disponible dans l’Union européenne pour le moment.
Le concept d’enregistrer en permanence l’écran pour piocher dedans n’est pas nouveau. Une startup avait lancé Rewind en 2022 : l’app voulait permettre de revenir sur tout ce qui a été écrit, lu ou entendu sur le Mac. L’entreprise a depuis été rachetée par Meta.
