En novembre dernier, un développeur découvrait qu'Apple avait lancé un robot d'indexation chargé d'explorer le web pour une mission inconnue. Trois mois plus tard, on apprenait qu'Apple était à la recherche d'un directeur de projet pour « Apple Search », une « plateforme de recherche » prenant en charge des « centaines de millions d'utilisateurs ».

C'est par l'intermédiaire d'une fiche technique publiée aujourd'hui (mais sa version française est en fait en ligne depuis mars), qu'Apple donne des éclaircissements sur ces mystérieuses manœuvres.

Le robot d'indexation, baptisé Applebot, est notamment utilisé par Siri et les suggestions Spotlight — depuis Yosemite, le moteur de recherche d'OS X peut suggérer des sites web en lien avec la requête.

Applebot vérifie les balises méta, est associé au bloc d’adresses 17.0.0.0 et respecte les instructions du fichier robots.txt (le fichier dans lequel on peut notamment spécifier que son site ne doit pas être indexé).

Si les instructions du fichier robots.txt ne font pas état d’Applebot — ce qui est le cas de la plupart des sites —, le robot d'Apple suit celles qui se rapportent à Googlebot.

Le web crawler de Cupertino se signale sur les sites visités avec la mention « Applebot ». Voici un exemple d'User-Agent où il apparait :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Selon les informations données par Apple, l'Applebot ne sert donc pas à construire un moteur de recherche universel qui viendrait concurrencer Google, mais à rendre plus intelligente la recherche de différentes fonctions clés de ses systèmes.