En politique, le State of the Union est le grand discours annuel prononcé par le président des États-Unis devant le Congrès. En technologies, le Platforms state of the Union est la première session de la WWDC, qui fait le point sur l’état de la « plateforme d’Apple ». Ce deuxième keynote, qui n’est pas ouvert à la presse et se concentre donc sur les nouveautés les plus techniques, est une véritable mine d’informations. Son résumé (non exhaustif) offre un bon aperçu des principales orientations de la firme de Cupertino.

Les grands axes de développement

Le Platforms state of the Union (PSOTU) est mené dans une ambiance plus sereine que le keynote d’ouverture, qui doit parler à la fois à la presse et aux développeurs. C’est l’occasion de faire clairement le point sur les grands axes de développement de la « plateforme d’Apple » :

• iOS 11 est conçu pour les usages spécifiques de l’iPad ;
• macOS High Sierra entame la transformation du Mac « en centrale à production de contenu en réalité virtuelle » ;
• watchOS 4 finit d’orienter l’Apple Watch comme un traqueur d’activité et un « bracelet médical » ;
• tvOS 11 casse la séparation stricte entre la navigation et la consultation.

Ces quatre systèmes reposent sur une même base technique, CoreOS, mais présentent différentes interfaces graphiques… et souvent différentes interfaces de programmation. Cette année encore, Apple met un point d’honneur à insister sur ses efforts de rapprochement des différents jeux de données, un objectif qui a motivé une partie du développement de Metal 2 par exemple.

La fin du 32 bits

C’est annoncé, Apple compte abandonner rapidement les applications 32 bits. C’est chose faite côté iOS : les appareils 32 bits ne peuvent pas passer à iOS 11, et les applications 32 bits ne pourront pas être utilisées sur les appareils compatibles avec iOS 11. Ce sera bientôt le cas côté macOS : High Sierra sera la dernière version où l’on pourra utiliser des applications 32 bits « sans compromis ».

À partir du mois de janvier 2018, toutes les applications nouvellement proposées au Mac App Store devront être compatibles 64 bits ; à partir du mois de juin 2018, toutes les applications et mises à jour devront être compatibles 64 bits. Comme iOS 10, le successeur de High Sierra affichera des alertes au lancement d’une application 32 bits.

Swift Playgrounds sort du bac à sable

Swift Playgrounds compte plus d’un million d’utilisateurs, dont 65 % résident hors des États-Unis. La version 1.5, disponible depuis quelques jours, permet de contrôler des appareils connectés, notamment des drones (Parrot) et des robots (UBTech, Sphero, Wonder Workshop, Lego Mindstorms).

La version 2 permettra de partager des playgrounds et leur documentation, prendra en charge les API de l’appareil photo et de réalité augmentée, et inclura Swift 4 et le SDK d’iOS 11. Les développeurs peuvent demander à recevoir une préversion via Testflight, la version finale sera disponible « cet automne ».

Xcode 9 apprend de Swift Playgrounds

L’éditeur de Xcode a été entièrement réécrit en Swift, et intègre certains comportements de Swift Playgrounds améliorant la lisibilité du code ou facilitant l’autocomplétion. Par ailleurs, Xcode 9 gagne un éditeur Markdown complet. Les performances de l’IDE d’Apple ont été grandement améliorées : l’ouverture de fichiers devrait être trois fois plus rapide, et les défilements ne devraient jamais tomber sous les 60 i/s.

Xcode 9 intègre un nouveau système de refactoring comprenant le C, le C++, l’Objective-C, et bien sûr le Swift. Les développeurs peuvent désormais ouvrir plusieurs simulateurs d’appareils à la fois, simulateurs qui prennent la forme des appareils pour faciliter l’utilisation des boutons et des gestes. Enfin, les opérations qui demandaient le branchement d’un appareil par câble peuvent maintenant être réalisées sans fil.

iOS 11 fait sa mue

Comme une source nous l’avait soufflé, le look introduit par Apple Music fait école. Sans même parler de l’App Store qui fait la part belle à l’éditorialisation, la plupart des applications adoptent une présentation mettant en avant un grand titre et un champ de recherche unifié. Les développeurs ont accès à cette présentation, tout comme ils ont accès au nouveau navigateur de fichiers, au catalogue d’Apple Music par le biais de MusicKit, et à un plus grand nombre de fonctions de Siri avec SiriKit (paiement, création de listes et notes, codes QR).

Le glisser-déposer partout

Le glisser-déposer ne permet pas seulement d’échanger des données entre deux applications. De manière générale, cette nouvelle API facilite la manipulation de certains éléments, comme les événements de Calendrier ou les tâches de Rappels. Avant même de penser à envoyer et recevoir des données, les développeurs pourront donc l’utiliser pour faciliter la sélection multiple ou simplifier leur code.

Mais bien sûr, le glisser-déposer permet aussi d’échanger des données entre deux applications. Le système contrôle toute la procédure, ce qui signifie que l’application destinataire ne reçoit pas de données avant que l’utilisateur ne dépose le contenu glissé, mais surtout que le fonctionnement des applications n’est pas interrompu pendant le glisser-déposer.

Pour autant, Apple laisse une grande liberté aux développeurs. Ils peuvent personnaliser les animations de sélection et de réception, l’apparence de l’aperçu des données, et bien sûr les types de contenu avec lesquels l’utilisateur peut interagir. Toutes les applications possédant des champs texte et des contrôles standard sont déjà compatibles, les autres devront être mises à jour, une procédure « simple » selon les ingénieurs d’Apple.

Des photos, des vidéos, et tout ce qu’il a entre les deux

Apple voudrait annoncer que la réalité augmentée et la vision informatisée seraient au cœur des prochains iPhone qu’elle ne s’y prendrait pas autrement. Avant de parler de l’ouverture presque complète des fonctions de l’appareil photo aux développeurs, il faut rappeler que Photos a reçu une belle mise à jour.

Apple continue de multiplier les points d’extension : des services tiers peuvent se greffer sur la boutique de produits imprimés. Surtout, les données de détection d’objets et de visages ou de constitution des « souvenirs » sont enfin synchronisées entre les appareils. Photos est maintenant un véritable service disponible sur Mac, iPhone et iPad, Apple TV, et le web.

Soucieuse de réduire le poids des milliards de vidéo stockées sur ses serveurs et les appareils de ses utilisateurs, Apple utilise désormais le codec H.265/HEVC. Succédant au codec H.264, il promet de réduire le débit de moitié à qualité équivalente. L’inconvénient ? Il est autrement plus exigeant en ressources, ce qui explique qu’il ne soit accessible qu’aux appareils les plus récents et puissants.

Alors que la frontière entre les photos et les vidéos est de plus en plus ténue, Apple s’est tournée vers le monde de la vidéo pour résoudre les défis soulevés par un format hybride comme celui des Live Photos. Les photos sont désormais enregistrées sous la forme d’un fichier HEIF, un format conçu par le groupe MPEG qui a aussi travaillé sur le H.264 et le HEVC.

Ce tout nouveau format, finalisé en 2015, facilite grandement la gestion d’« objets photographiques complexes ». Un conteneur HEIF peut contenir toutes les photos d’une rafale, un original et ses multiples versions retouchées et filtrées, l’ensemble des photos et vidéos d’une Live Photo, ou encore une paire de photos prises avec un double capteur et la carte de la disparité qui va avec.

C’est grâce à ce nouveau format qu’Apple est capable d’offrir de nouveaux outils d’édition des Live Photos, ou une API permettant aux développeurs d’exploiter la carte de disparité des photos prises à l’iPhone 7 Plus. HEVC et HEIF seront utilisés systématiquement à l’intérieur de l’écosystème d’Apple : par souci de compatibilité, les fichiers seront convertis en H.264 ou JPEG lors d’un envoi par e-mail par exemple.

Enfin, Apple ouvre très largement les capacités de vision informatisée des appareils iOS. Les développeurs peuvent piocher dans ses systèmes de détection des visages, des objets, des panneaux rectangulaires, du texte, et des codes-barres (l’appareil photo d’iOS intègre d’ailleurs des fonctions de lecture de code QR). Ces systèmes étant désormais liés à CoreML, les développeurs peuvent étendre les modèles d’Apple avec leurs propres modèles de machine learning et de vision.

Apple augmente la réalité

Voilà qui nous mène logiquement à la réalité virtuelle et la réalité augmentée. La réalité virtuelle est l’un des principaux axes de développement de macOS : maintenant qu’il est établi qu’un nouveau champ créatif s’est ouvert, Apple compte l’investir lourdement avec des machines plus puissantes et du logiciel plus compétent. Une grande partie du travail réalisé sur Metal 2, la nouvelle version de l’API offrant un accès de haut niveau mais presque direct au processeur graphique, a porté sur la réalité virtuelle.

Apple a travaillé avec les principaux acteurs du monde de la création de contenu en réalité virtuelle ces derniers mois : Valve, qui propose une préversion de son SDK SteamVR pour macOS ; Unreal, dont l’éditeur VR sera disponible sur macOS High Sierra ; ou HTC, dont le casque Vive VR est pris en charge nativement par macOS. Reste que les Mac les plus puissants ne le sont pas encore tout à fait assez pour développer des contenus en réalité virtuelle de manière tout à fait confortable, même si les nouveaux iMac et le futur iMac Pro sont prometteurs.

Apple propose donc un kit de développement VR. Pour 599 dollars, il comprend un boîtier Sonnet Thunderbolt 3 avec une alimentation 350 W, un hub USB-C Belkin, une carte graphique AMD Radeon RX 580 avec 8 Go de VRAM, et… un coupon de réduction de 100 dollars pour l’achat d’un casque HTC Vive VR. Mais le matériel seul ne suffit pas : Xcode 9 comprend de nombreux outils entièrement dédiés au développement et au debugging de contenus en réalité virtuelle.

Plus encore que la réalité virtuelle, Apple s’intéresse à la réalité augmentée, un « domaine d’intérêt » de Tim Cook. ARKit est compatible avec tous les appareils plus récents que l’iPhone 6s ou l’iPad Pro, soit plusieurs centaines de millions d’appareils, ce qui permet à Apple de dire qu’iOS « est la plus grande plateforme de réalité augmentée du monde ». Cette nouvelle API permet d’accéder aux fonctions d’iOS facilitant la création de scènes en réalité augmentée.

On peut en citer deux. D’abord celle qui fusionne les données du gyromètre et de l’accéléromètre avec celles captées par l’appareil photo, et envoie le tout au processeur. Les développeurs peuvent donc pleinement profiter de la puissance de la puce graphique. Ensuite celle qui détecte les différents plans sur lesquels les objets peuvent être projetés, ainsi que leur taille et les conditions de luminosité.

En facilitant la création de scènes plus réalistes, ARKit ouvre la voie à une généralisation des usages. Mais si les premières démonstrations sont impressionnantes, il ne fait aucun doute qu’il manque un appareil pour tout à fait les justifier. Et cet appareil pourrait bien être le prochain iPhone.