Sky, la nouvelle app des créateurs de Raccourcis, automatise tout le Mac grâce à l’intelligence artificielle

Sky est le nom de la nouvelle app d’Ari Weinstein et de Conrad Kramer, les deux co-créateurs de Workflow, app d’automatisation sur iOS conçue en 2014 et achetée par Apple en 2017 pour devenir Raccourcis. Avec Kim Beverett, ils ont discrètement créé en 2023 une nouvelle entreprise nommée Software Applications Incorporated (le site officiel vaut le détour) et ils travaillent toujours sur la même idée, avec toutefois un gros twist. L’automatisation reste au cœur des enjeux, sauf que ce n’est pas seulement l’utilisateur qui doit la mettre au point : les intelligences artificielles génératives sont au cœur du système.

L’app n’est pas encore disponible, une première version est attendue dans le courant de l’été et en attendant de pouvoir la tester, on peut découvrir son fonctionnement dans un aperçu exclusif publié par Federico Viticci sur son site MacStories. Son article enthousiaste permet de découvrir l’interface très dans l’air du temps (des bulles translucides qui flottent sur le bureau, voilà qui rappelle certaines rumeurs d’interfaces récentes) et surtout quelques fonctionnalités permises par l’app. Dans les grandes lignes, cela ressemble fort à ce que l’on commence à voir se généraliser avec les concepts d’agents IA ou encore le protocole MCP : on écrit ou dicte une demande en langage naturel et Sky va se charger de la comprendre et de la transformer en une action.

Que peut-on faire avec un tel outil ? L’article de MacStories donne plusieurs idées des capacités actuelles de Sky, sachant qu’il ne s’agit même pas d’une bêta encore et que toutes les fonctions prévues ne sont pas encore toutes en place ou fonctionnelles. Il peut organiser les fichiers du Finder, interagir avec plusieurs apps d’Apple qui ont été prises en charge spécifiquement (Calendrier, Rappels, Messages, Notes…) ou bien avec n’importe quel autre logiciel qui tourne sur l’ordinateur. C’est en effet le point fort de l’outil, par rapport à ses concurrents plus limités : ses créateurs ont réussi à exploiter des fonctionnalités intégrées à macOS pour pouvoir interagir avec une app, même si elle n’est pas gérée d’une manière spécifique.

Software Applications Incorporated ne dévoile pas tous ses secrets de fabrique, bien entendu, mais Federico Viticci note que leur app ne se base pas sur une seule méthode pour identifier un contenu à l’écran et interagir avec les apps. Même si les processus de reconnaissance optique des caractères (OCR) peuvent servir, Sky exploite aussi toutes les possibilités offertes par macOS pour gérer les fenêtres, ainsi que ses outils d’accessibilité ou encore les Apple Events et App Intents utilisés par l’automatisation traditionnelle (respectivement dans AppleScript et Raccourcis). D’après ce qu’il indique, cela fonctionne très bien, y compris pour des apps qui posent souvent problème dans ce genre de situations, comme celles conçues avec Electron.

Sous le capot, le modèle de langage n’est pas spécifique à Sky, il s’agit par défaut de GPT 4.1 d’OpenAI même si on peut aussi opter pour Claude 4 d’Anthropic. L’avantage, c’est que l’on n’a pas besoin d’un Mac puissant pour faire tourner le modèle, même si en contrepartie, une connexion à internet sera nécessaire en permanence. Ces IA génératives pourront répondre à n’importe quelle question générale et elles doivent aussi effectuer des actions en réponse à vos demandes. Dans la version testée par le créateur de MacStories, chaque action doit être confirmée par l’utilisateur, une sécurité qui sera peut-être levée par la suite. Cela permet non seulement de vérifier ce qui se passe, c’est aussi une bonne manière de laisser à l’utilisateur le soin de corriger la requête, si le résultat initial ne convient pas.

Pour compléter ses fonctions de base, Sky est aussi capable de faire le lien avec les méthodes traditionnelles d’automatisation, que ce soit un script Shell ou AppleScript, ou même un raccourci dans l’app du même nom. On peut créer des « outils » qui peuvent être exécutés par le modèle de langage, mais qui peuvent aussi être créés par ce biais. L’app permet ainsi de « vibe coder¹ » un script, avec l’avantage de pouvoir le modifier à la volée à chaque exécution en fonction des besoins. En guise d’exemple, l’auteur a remplacé un raccourci qui lui permet d’ajouter un article à un service de lecture différée. Grâce à Sky, ce n’est plus à lui de saisir les tags associés à la page, l’IA est capable d’analyser le contenu et de choisir automatiquement un mot-clé. Il a fourni une liste d’options par le biais d’une invite personnalisée (custom prompt) et l’ensemble fonctionnait apparemment très bien.

Ces outils personnalisés sont toujours disponibles et ne sont pas limités à un seul contexte. Par exemple, on peut demander à Sky de créer un script Shell pour télécharger une vidéo depuis YouTube grâce à yt-dlp. Par la suite, si vous demandez de télécharger la vidéo en cours depuis un tout autre contexte, l’assistant peut alors faire le lien avec cet outil sans avoir à le guider, ce qui a fonctionné depuis un tout autre navigateur, dans l’article de MacStories. Les possibilités sont vertigineuses quand on commence à penser au fait que l’on peut combiner ainsi plusieurs outils, voire en générer de nouveaux à la volée.

Sky est en développement depuis deux ans et la version en cours ne gère pas MCP, le protocole imaginé récemment par Anthropic pour transformer les intelligences artificielles génératives en agents capables de réaliser des actions. Néanmoins, MCP est en train de prendre une grande ampleur et il est probable que la version finale puisse communiquer par ce biais. Ce sera surtout utile pour intégrer cet assistant destiné au Mac à des services en ligne qui seront compatibles avec le protocole. Même si des expériences existent déjà dans le domaine, Sky devrait quoi qu’il en soit aller nettement plus loin que tout ce que l’on a vu jusque-là.

Grâce à MCP, les « agents » IA prennent le contrôle des tâches… et des ordinateurs

Les créateurs de Sky comptent sortir leur app avec un modèle freemium, désormais bien connu surtout dans le monde des IA modernes. La version de base devrait être limitée, mais gratuite et on devrait pouvoir payer un abonnement pour obtenir toutes les fonctions. Reste à savoir si cela peut être un business rentable, d’autant que l’app dépend d’un acteur tiers pour fournir le modèle sous-jacent. Pour ne rien arranger, tous les gros acteurs de l’IA sont sur le même créneau : l’app macOS de ChatGPT, pour ne prendre qu’un seul exemple, sait déjà interagir avec des apps et même si elle le fait de façon nettement plus limitée aujourd’hui, il paraît évident qu’OpenAI ne compte pas s’arrêter là.

Comme le soulève Federico Viticci, on peut aussi imaginer que Sky attire l’intérêt d’une entreprise comme OpenAI, qui pourrait améliorer d’un coup ChatGPT avec une base considérablement plus ambitieuse, ou même celui d’Apple. Face aux difficultés de la Pomme pour créer un nouveau Siri qui ressemble fort à cette app par bien des aspects, ce pourrait être l’occasion de reproduire ce qu’elle avait obtenu en achetant Workflow en 2017.

Pour l’heure, il faudra attendre dans le courant de l’été pour pouvoir tester Sky. Les personnes intéressées peuvent laisser une adresse email sur le site officiel, avec l’espoir d’accéder à la bêta plus rapidement.