Claude peut désormais manipuler un Mac en déplaçant son curseur dans l’interface de macOS. Cette nouveauté est lancée aujourd’hui sous la forme d’une « research preview », une version expérimentale qui n’a même pas le statut de bêta, et pour cause. Le principe est de faire appel à une IA générative pour lire le contenu de l’écran, déplacer le curseur de macOS et cliquer sur les boutons pour interagir avec n’importe quelle app. C’est aussi impressionnant dans la démonstration fournie que potentiellement dangereux, si bien qu’Anthropic met en garde les utilisateurs intéressés en prévenant que les conséquences pourraient être désastreuses.
Concrètement, la nouveauté s’intègre à Claude Cowork et Claude Code, les deux solutions « agentiques » d’Anthropic, des IA capables de manipuler des outils pour réaliser des tâches variées. Pour le lancement, seuls les abonnés Pro et Max peuvent tester le dispositif, pas encore les utilisateurs gratuits, ni ceux en entreprise. Quand vous demandez à effectuer une action précise, le système va d’abord piocher dans sa boîte à outils pour sélectionner un connecteur connu, comme une connexion à un service web ou encore un serveur MCP. S’il ne peut pas atteindre l’objectif par cette voie traditionnelle, alors Claude pourra demander la permission de manipuler l’écran de macOS pour votre compte.
Cowork étend les capacités de Claude Code au-delà du développement
Dès lors, on retrouve le même principe que dans les agents glissés dans les navigateurs web. L’intelligence artificielle va se charger d’analyser le contenu de l’écran, puis cliquer pour lancer des apps, récupérer des fichiers, glisser-déposer un contenu d’un endroit à l’autre, modifier les documents, etc. Si on active Dispatch, la fonctionnalité qui permet de contrôler Claude Cowork/Code depuis son smartphone, on peut effectuer ces mêmes tâches à distance, le Mac étant alors contrôlé par l’IA même sans être devant l’écran.
Avec Dispatch, Claude Cowork peut manipuler votre Mac depuis un mobile
Toutes ces idées ont été popularisées par OpenClaw, un outil qui fait le lien entre les grands modèles de langage et des agents qui tournent sur un ordinateur. La croissance explosive de cette solution a aussi entraîné de nombreuses dérives, avec des malwares qui détournaient les demandes pour siphonner les données des utilisateurs. Anthropic a bien conscience de ce danger et indique ainsi avoir mis en place des protections pour éviter les risques les plus évidents, tout en soulignant à plusieurs reprises qu’il faut éviter d’utiliser le système avec des données confidentielles et des apps sensibles.
OpenClaw : quand les skills deviennent une porte d’entrée pour les malwares
La sécurité est au cœur de la fonctionnalité, qui doit être autorisée avant chaque utilisation. Claude indiquera même quelles apps seront exploitées pour mener à bien la demande, laissant à l’utilisateur l’opportunité de changer d’avis avant d’activer l’agent. À tout moment, on pourra reprendre la main et interrompre l’automatisation… du moins, si l’on est devant le Mac et non en train de contrôler le système depuis son téléphone. Dans ce cadre, il faut noter que macOS doit rester actif pour exécuter les tâches, Claude ne sait pas (encore ?) sortir un Mac de veille en saisissant le mot de passe.
En plus de ces mises en garde sur la sécurité, la manipulation du curseur reste une méthode plus lente et moins fiable que la connexion directe via MCP ou les autres solutions existantes dans le monde des IA. Anthropic souligne que Claude ne pourra pas aller au bout de toutes les tâches, notamment les plus complexes, et que plusieurs essais seront parfois nécessaires. C’est aussi pour cela que l’on parle d’une version expérimentale, la nouveauté n’est pas encore prête à répondre à tous les besoins. Mieux vaut la tester sur des tâches simples et qui peuvent aisément être annulées en cas de problème.
Si vous disposez d’un compte Pro ou Max, vous pouvez en tout cas essayer cette option dès maintenant à condition de mettre à jour le client macOS avec la dernière version. Une déclinaison destinée à Windows arrivera par la suite.
