OpenAI a activé plusieurs fonctionnalités de Codex qui n’étaient pas encore disponibles au sein de l’Union européenne, ainsi qu’en Suisse et au Royaume-Uni. Le gros morceau est le contrôle de l’ordinateur, qui doit transformer l’app d’un spécialiste du développement en outil à tout faire. Grâce à ce module, on peut demander aux modèles d’effectuer des tâches variées et Codex manipule macOS ou Windows pour faire ce que vous demandez. Il le fera en arrière-plan, sans perturber votre propre usage de la machine, et en promettant une bonne connaissance du système et des apps.
Cette nouveauté a d’abord été lancée en avril dernier, mais pas dans l’Union européenne. Sous le capot, OpenAI exploite les capacités évoluées de contrôle apportées par Sky, achetée à l’automne dernier. Cette start-up est constituée de plusieurs fondateurs de Workflow, l’app qu’Apple avait absorbée pour finalement créer Raccourcis. Elle promettait un outil d’automatisation général, à partir de requêtes en langage naturel et d’un modèle de langage.
Sky, la nouvelle app des créateurs de Raccourcis, automatise tout le Mac grâce à l’intelligence artificielle
Une fois intégré à Codex, leur système est visuellement plus banal, mais tout aussi impressionnant sur le fond. J’ai utilisé un des exemples fournis par OpenAI, qui consiste simplement à lancer une liste de lecture pour m’aider à me concentrer. S’il n’y avait pas d’autres consignes, le module a correctement analysé que j’utilise l’app Musique d’Apple et sa première piste a été de piocher dans le catalogue du service Apple Music pour trouver une liste appropriée. Après avoir signalé à la volée que je n’étais pas abonné, orientant la tâche vers la bonne solution, Codex a fini par lancer une liste de lecture en local.
Tout cela a été réalisé en arrière-plan, sans que l’app Musique ne soit visible et sans que mon Mac soit bloqué. C’est le point clé dans l’histoire : si le module peut cliquer un petit peu partout, il exploite un curseur virtuel différent de celui de l’utilisateur. Puisque c’est potentiellement très dangereux, OpenAI a soigné la sécurité, en demandant systématiquement une autorisation avant d’accéder à une nouvelle app. Il y a d’autres limites en dur, dont certaines étranges d’ailleurs. J’ai voulu reproduire un processus que je répète pour chaque article : une fois écrit, je le passe dans ChatGPT avec un GPT sur mesure pour le relire et vérifier le fond comme la forme. Codex a correctement récupéré le document au premier plan dans iA Writer, avant d’échouer parce qu’il n’a pas le droit de manipuler ChatGPT, une restriction imposée par ses développeurs.
Comme souvent avec les LLM, l’outil a alors voulu tester d’autres solutions plutôt que de répondre par la négative. En l’occurrence, son idée était d’ouvrir le site de ChatGPT dans Safari et d’envoyer le fichier par ce biais. Il faut se méfier de ce que l’on demande, surtout si on ne veut pas cramer son quota en quelques minutes, et il faut surveiller l’exécution de près. Autre exemple révélateur : j’ai demandé à Codex de créer un PDF avec des photos récentes de chats (évidemment) piochées dans ma photothèque. Je pensais qu’il allait utiliser le moteur de recherche intégré à Photos, ou alors interroger Spotlight.
Au lieu de cela, il s’est lancé dans une exploration bas niveau de la base de données SQLite de Photos, avant de réaliser que les résultats n’étaient pas des chats et de sortir l’arme lourde : extraire toutes les photos récentes et coder un module en Swift pour analyser chaque image une à une avec un framework fourni par Apple ! 🙀 Je l’aurais arrêté bien plus tôt si je n’avais pas envie de tester l’outil pour les besoins de cet article. Après vingt minutes et avec quasiment la moitié de mes jetons partis en fumée, j’ai fini par orienter la conversation en signalant qu’une recherche dans Photos était une meilleure option. Le module s’est exécuté, avant d’échouer à nouveau, cette fois sur la manipulation de l’interface, et de reprendre son exploration de la base de données. Ne voulant pas perdre tout mon quota, j’ai alors arrêté le processus (désolé, pas de chats pour vous).
C’est un bon rappel tant de la puissance d’un tel outil, que des dangers associés. Quand Codex a accès à tout votre ordinateur, il peut réaliser n’importe quelle tâche et aussi potentiellement tout casser. Fort heureusement, la structure des données de Photos est restée intacte dans mon cas. Le modèle aurait toutefois très bien pu vouloir la modifier, ce qui aurait été potentiellement dramatique pour ma photothèque. Par ailleurs, on peut se demander si utiliser un LLM aussi sophistiqué que GPT-5.5 pour choisir une liste de lecture dans Musique est une si bonne idée. Cette petite opération a pompé 5 % des quotas horaires de mon abonnement ChatGPT Plus, ce qui semble énorme. Sans même parler des enjeux environnementaux, un tel usage va vite coincer sur le plan financier.
Le contrôle de l’ordinateur est désormais ouvert à tous les utilisateurs en Europe, y compris ceux qui n’ont pas d’abonnement payant. OpenAI a activé d’autres fonctionnalités de Codex dans la région : extension Chrome (avec une intégration bien plus poussée), mémoire spécifique à Codex (qui reste désactivée par défaut ici) et Chronicle, un outil expérimental réservé aux abonnés ChatGPT Pro qui enregistre en continu ce qui se passe sur l’écran de l’ordinateur.
OpenAI réinvente Recall : Codex pourra se souvenir de ce qu’il a vu sur votre Mac
