Applebot : le robot d'indexation web d'Apple en grande forme actuellement

Mickaël Bazoge |

Depuis au moins 2015, Apple a lâché un robot d'indexation (un crawler) afin d'explorer les moindres recoins d'internet. Applebot, c'est son petit nom, recueille des informations qui sont ensuite utilisées par différents services et applications du constructeur, comme Spotlight et les suggestions Siri. Depuis quelques jours, le crawler est particulièrement actif comme l'ont remarqué Jon Henshaw, de la société marketing Coywolf, James Field (consultant marketing) ou encore Nick Craver, ingénieur chez Stack Overflow.

Applebot alimente les suggestions de sites web de Siri.

Les volumes de données collectées par Applebot sur les sites web sont tels que beaucoup se demandent si la Pomme ne finira pas par créer son propre moteur de recherche. Ce qui n'est pas une hypothèse farfelue : Apple pourrait vouloir concurrencer frontalement Google avec son arsenal d'arguments sur la sécurité et la confidentialité des données. Certes, la tâche est immense, mais finalement pas plus que pour les cartes géographiques de Plans, et Apple ne manque pas de ressources pour développer son propre moteur de recherche.

La rumeur a aussi évoqué récemment l'hypothèse d'une acquisition de DuckDuckGo qui servirait de base pour le moteur de recherche d'Apple. Ceci étant dit, on peut aussi penser que la Pomme n'a pas tellement l'intention de s'asseoir sur les milliards de dollars que lui verse Google afin d'être le moteur de recherche par défaut de Safari.

Dans la page d'assistance concernant Applebot, qui a été mise à jour le 21 juillet, le constructeur a ajouté quelques informations pour vérifier que le trafic vient du crawler ainsi que l'agent utilisateur Applebot, pour la personnalisation des règles robot.txt, ainsi que sur le classement des recherches :

Apple Search peut prendre en compte les éléments suivants lors du classement des résultats de recherche sur le web :

  • Engagement global des utilisateurs vis-à-vis des résultats de recherche Pertinence et correspondance des termes de recherche avec les sujets et le contenu des pages web - Nombre et qualité des liens provenant d’autres pages du web
  • Signaux basés sur la localisation de l’utilisateur (données approximatives)
  • Caractéristiques de conception de la page web

Les résultats de la recherche peuvent utiliser les facteurs ci-dessus sans ordre d’importance (prédéterminé). Les utilisateurs de Search sont soumis à l’engagement de confidentialité stipulé dans l’article Suggestions Siri, recherche et confidentialité.

Source
Tags
avatar Ali Ibn Bachir Le Gros | 

Ce serait bien un peu de concurrence (de qualité) à Google.

avatar gwen | 

@Ali Ibn Bachir Le Gros

C’est ça le problème, la qualité des résultats. Je ne suis pas certain qu’Apple en soit capable.

avatar cecile_aelita | 

@gwen

Le jour où Apple sera capable de faire quelque chose de qualité 🙄🙄

avatar marc_os | 

@ romainB84, gwen
Le jour où les gens feront des commentaires de qualité...
(Genre avec argumentation basée sur des faits vérifiables.)

avatar victoireviclaux | 

@romainB84

Un bel argument... de bas fonds. 😐

avatar Yves SG | 

@gwen

On ne peut jamais être certain de ce genre de choses, mais étant donné leur expérience et leur capacité à rebattre les cartes, j’ai pas trop d’inquiétude.
Par contre, pas certain que la commission antitrust en serait enchantée 😁

avatar YetOneOtherGit | 

@Yves SG

Don’f feed the troll 🕳

avatar gwen | 

@Yves SG

C’est sûr que l’anti-trust serait aux aguets si Apple développais un moteur de recherche.

Là où j’ai peur c’est vraiment par rapport au passé d’Apple en développement de service numérique. Souvent les départ sont assez catastrophique  : iCloud, plan, AppleTv.

Et un moteur de recherche doit être opérationnel et pertinent immédiatement vu la forte concurrence.

avatar lmouillart | 

Je pense que c'est plus lié à une question d'habitude que de réelle qualité des résultats.
- Les résultats sont plus personnalisés à mesure que l'on va utiliser Google Search et les outils Google. Sur un compte vide, les résultats sont bien plus génériques et semblent moins bons.
- Vu que l'on est habitué à une mise en page le cerveau va filtrer et se focaliser automatiquement sur les éléments qu'il juge pertinents en éliminant les autres. (changez la mise en page de Google Search, la qualité perçue des résultats risque d'être différente).

Bing par exemple est très bon depuis plusieurs années. A l’opposé même si le moteur de Google Search reste excellent, il est quand même de plus en plus pollué par une surabondance de publicité dans certains pays et pour certains termes.

Un exemple : https://blog.wsi-emarketing.com/images/Paid_Ads_Example.png ici on voit bien que la majorité de l'espace est occupé par de la publicité qui biaise et abaisse au 2nd plan les vrais résultats donc ce n’est pas si bon que ce qu'il parait.

avatar John McClane | 

@lmouillart

Ah c’est marrant parce que pour des termes équivalents en français, « voiture occasion bristol », je n’ai eu aucune pub sur ma page de résultats. J’ai eu des adresses de vendeurs de voitures d’occasion, et la liste de sites web classique. Comme tu dis ça semble très différent suivant les pays.

avatar jackhal | 

Si tu traduis les termes de recherche, utilise une ville française. Les concessionnaires anglais n'achètent sûrement pas les mots clé en français+le nom de leur ville.

avatar John McClane | 

@jackhal

Diantre oui j’y avais pas pensé 🤦‍♂️

avatar Yves SG | 

YES, Pleaaaaaase 🙏

Quelques soit la ville où je les test, plan est aujourd’hui à mes yeux largement meilleur que maps, et je dois avouer que de me débarrasser du dernier service du « grand pas-méchant » ogre que j’utilise encore parfois serait très agréable 😃
Ah non mince, j’oubliais YouTube !

avatar cecile_aelita | 

@Yves SG

« Quelques soit la ville où je les test, plan est aujourd’hui à mes yeux largement meilleur que maps »
😂😂😂😂😂😂😂😂😂😂
😂😂😂😂😂😂😂😂😂😂
🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣

avatar Seb42 | 

@romainB84

Sans dire « meilleur » il fait très bien le job et ne mérite sûrement pas tous vos smileys 😉

avatar cecile_aelita | 

@Seb42

Oh si c’était drôle 😂😂!
C’est comme si on disait que l’iPhone XR avec son écran LCD et ses bordures énormes étaient un bon smarphone 😂😂 (enfin si... les pigeons le diront 🐦)
#sentbymyiphoneXR

avatar cycreek | 

@romainB84

sent*

avatar Seb42 | 

@romainB84

On sent de la rancoeur que tu essayes de tourner en humour. C’est quand même mieux que les insultes 😉.

avatar raoolito | 

@Seb42

+1

avatar Mdtdamien | 

@Yves SG

De quelle manière utilise tu plan. À quelle fin.

A chaque nouvelle sortie majeur de Plan, j’essaye pour voir si c’est vrai et je constate que pour ce qui est de trouver une adresse (souvent approximative donné par les clients), plan ne parviens pas à trouver. Ou alors, il n’hésite pas à me proposer une adresse au état unis 😅

L’application et la navigation est très jolie. Surtout dan les grandes villes. Mais pour le moteur de recherche, je reste dessus.

Cordialement

avatar gwen | 

@Mdtdamien

"A chaque nouvelle sortie majeur de Plan, j’essaye pour voir si c’est vrai "

Lol. J’ai d’assez bon résultat avec plan sauf quand je cherche des BubbleTea à Caen. Il me renvois toujours en Angleterre. Ça fait loin, surtout avec les traversées qui sont supprimées en ce moment.

avatar occam | 

@gwen

Si Plans ne sait où, à Caen, trouver du Bubble Tea, avez vous déjà essayé de demander à Siri de localiser du thé aux bulles à Sète ?

J’ignore si ce sera la même chose pour vous, mais moi, Siri m’a pisté vers un site de bourrage de crâne catho pour bambins innocents, Théobule.org (existe aussi en app, inévitablement), au chapitre des 7 Sacrements.

Côté moteur de recherche, Apple a encore du pain sur la planche, et ce n’est pas du pain béni.

avatar cecile_aelita | 

@Mdtdamien
« il n’hésite pas à me proposer une adresse au état unis »
😂😂😂😂😂 règle de base quand on troll (je te le dis parce que je suis troll étudiant, donc je potasse pas mal mes cours etc etc) : faut pas en faire trop sinon c’est plus crédible 😂😂😂

avatar scanmb (non vérifié) | 

@Mdtdamien

Je m’en sers tous les jours pour mes clients également; et je n’ai aucun problème.

avatar Yves SG | 

@Mdtdamien

J’utilise plan en navigation. Quand il s’agit de trouver une adresse les deux sont pour moi équivalents et se trompent rarement et avec la même fréquence. Quand il s’agit de trouver un commerce, il arrive parfois, je dirais 5% du temps, que plan ne le trouve pas. À ce moment là je prends l’adresse de maps et la colle dans plan parce que je trouve que la navigation est bien meilleure, tant au niveau de l’itinéraire calculé que de la présentation.

Quand il y a des bouchons j’utilise parfois Waze et parallèle, mais il est souvent moins pertinent que plan. Je ne sais pas comment Apple remonte les info trafic mais c’est très efficace.
Sur les fermetures temporaires de route (ex A480 à Grenoble hier soir), Waze est par contre souvent plus réactif !

Par contre je trouve que Siri fonctionnait très bien et depuis quelques temps il est de moins en moins efficace. D’autres constatent ça ?

avatar scanmb (non vérifié) | 

@Yves SG

Je ne me sers que de Plan depuis plusieurs années
Même si j’ai tomtom dans mon véhicules (dernière mise à jour), ou Waze et Map
Plan est très bien, même si je ne l’ai utilisé qu’en Europe (Irlande, les cyclades, Crêtes en font parties...) et aux U.S.
Pour le reste , peut-être que Map est mieux .
Cordialement

avatar Nesus | 

@Yves SG

Plan est meilleur pour les itinéraires et sur les délais de trajet, par contre quand on cherche un point d’intérêt dont on ne connaît pas l’adresse exacte, c’est souvent compliqué.

avatar Yves SG | 

@Nesus

Même constat, même si dans 95% du temps il trouve le poi, Google fait mieux sur ce point précis.

avatar Woaha | 

Ça sert à rien d’acheter duck duck go... ils utilisent l’API bing... c’est juste un intermédiaire

avatar Pierredu21 | 

@Woaha

Ils utilisent l'API Bing et... plus de 400 autres sources (https://help.duckduckgo.com/results/sources/)

Je n'utilise plus que DuckDuckGo depuis des années, je n'ai jamais réussi à utiliser Bing plus de quelques jours...

avatar RomanYeager | 

Mettre leur propre moteur de recherche dans leur produit les soumettrait encore plus à des contrôles et des plaintes.

avatar Troll971 | 

@RomanYeager

Ils laisseraient certainement le choix à l’utilisateur, avançant des arguments tels que la confidentialité, la sécurité, même la rapidité je pense (puisque le tout serait mieux intégré).
J’aimerai bien qu’Apple lance sa propre version des services Google, style un véritable Gmail, Drive partage, plus de générosité sur le stockage...

avatar sachouba | 

Peut-être un moyen de limiter les sites web accessibles par Safari, et d'imposer une commission de 30% à ceux qui restent.

avatar Rez2a | 

Quitte à concurrencer Google, j’ai plus hâte d’un concurrent sérieux à YouTube qu’au moteur de recherche.

avatar jujulec | 

@Rez2a

hélas, ça c'est mort !
Avec les années Youtube dispose d'un fond vidéo inégalable par l'historique qu'il représente, et dans ce domaine la quantité d'info c'est le nerf de la guerre !
Impossible à rattraper pour un nouveau venu contrairement à un service de navigation ou le concurrent peut au moins avoir l'espoir d'être un jour au même niveau...

avatar Un Type Vrai | 

Si Apple s'intéresse à un marché, ce n'est jamais pour entrer en concurrence avec l'existant, mais plutôt étendre son écosystème (AppleTV) ou révolutionner le modèle économique.

Sur le search, est-ce qu'on aura encore un moteur de recherche global aux règles obscures et basé (biaisé ?) par le modèle de la publicité ?
Apple sur le web se positionne plutôt en abonnement pour sauver sa vie privée et ne pas avoir de publicité (voir ses tentatives avec la presse).
Donc j'imagine plus une application "Search" qui propose des résultats sur le web en privilégiant les sites sans pub et à abonnement, site qui pourraient entrer dans un "app store" d'internet qui gérerait l'accès, l'abonnement et les 30% de commission...

avatar occam | 

Dans ce contexte, notons que Het Parool et d’autres médias rapportent que Huawei vient de lancer un projet universitaire pour son propre moteur de recherche.
L’investissement initial peut sembler modeste : 3.5 millions d’€. Les bénéficiaires seront l’Université d’Amsterdam (UvA) et la Vrije Universiteit (VU), le projet y étant localisé.

Selon les premières informations, Huawei entend améliorer la recherche multi-langues et la compréhension du contexte. Maarten de Rijke, professeur d’Intelligence artificielle à l’UvA, donne l’exemple de la pizza : le moteur de recherche doit comprendre si l’on cherche à commander une pizza ou à en cuire soi-même. Et il doit fournir les bonnes informations sur la pizza en néerlandais, même si la source est en italien.

https://www.parool.nl/amsterdam/vu-en-uva-wetenschap-heeft-echt-baat-bij-samenwerking-met-huawei~bc314224/

https://tweakers.net/nieuws/171366/huawei-investeert-3-komma-5-miljoen-euro-in-ai-lab-voor-amsterdamse-universiteiten.html

One more thing : pas de Gouda sur ma piadina, alstublieft.

avatar nespresso92 | 

Ce qui est omis dans l'article c'est que le régulateur britannique a épinglé Apple pour une entente avec Google. Début juillet, l'autorité britannique des marchés financiers aurait sifflé la fin de la partie. Elle reproche aux deux entreprises un accord empêchant l'arrivée sur le marché de nouveaux acteurs.

Aussi, pris la main dans le pot de confiture, c'est surtout cela qui pousserait Apple à se lancer dans l'aventure du moteur de recherche afin de pousser ses pions dans ses domaines de prédilection : le logiciel et les services.

avatar YetOneOtherGit | 

@nespresso92

"Début juillet, l'autorité britannique des marchés financiers aurait sifflé la fin de la partie"

Tu vas très vite en besogne et déforme le périmètre du rapport.

Il s’agit d’un rapport d’analyse se la situation nullement d’une décision contraignante.

https://assets.publishing.service.gov.uk/media/5efc57ed3a6f4023d242ed56/Final_report_1_July_2020_.pdf

Un élément d’analyse de la situation au service de l’exécutif et du législatif, produit par une autorité ici dans son role d’analyse et de surveillance rien de plus.

Le royaume-uni est dans une approche fortement néo-libérale et n’a pas une histoire récente de régulation c’est le moins que l’on puisse dire.

De plus le brexit le place encore moins dans une position où ils peuvent se permettre de déplaire au partenaire US en attaquant les GAFAM

Bref nous sommes très loin de ton « sifflé la fin de la partie »

C’est terrible cette habitude de ne pas chercher à comprendre les choses avec un minimum se sérieux 😩

PS : Ce n’est en rien « l’autorité des marchés financiers » l’organisme n’a strictement aucune rôle de régulation de la bourse, c’est l’organisme d’analyse de la concurrence.

https://en.wikipedia.org/wiki/Competition_and_Markets_Authority

avatar nespresso92 | 

@YetOneOtherGit

Vous (je ne vous connais pas) vous méprenez sur le rôle et les responsabilités du CMA. Celui-ci n'est pas limité à un rôle d'analyse.

Son pouvoir l'autorisait hier à amener devant la justice les détracteurs:
"CMA was required to apply to court if businesses are breaching consumer protection law in order for enforcement action to be taken."

Mais depuis fevrier 2020 elle peut prendre des actions directement à l'encontre de ces derniers:
"CMA takes action against businesses and individuals that take part in cartels or anti-competitive behaviour.
Its new powers will enable the CMA to act to enforce consumer protection law.
make determinations on whether consumer protection law have been broken and declare the fact publicly;
direct business to bring infringements to an end;
impose fines directly on business for breaches of consumer protection law;
impose fines on businesses for failure to comply with undertakings in respect of consumer protection law; and
* use interim measures to address suspected breaches of consumer protection law."

https://www.lexology.com/library/detail.aspx?g=ef7a28d8-1c7a-4d40-a45d-4940f2bafb11

Pour finir UK s'en prend aussi à Facebook et Google. Donc je ne vois pas en quoi le Brexit, et j'ai voté pour, va changer quoi que ce soit.

avatar YetOneOtherGit | 

@nespresso92

"Celui-ci n'est pas limité à un rôle d'analyse. "

Je n’ai pas écrit cela mais le document auquel tu fais référence n’est bien qu’un document d’analyse rien de plus 😎

avatar YetOneOtherGit | 

@nespresso92

"Mais depuis fevrier 2020 elle peut prendre des actions directement à l'encontre de ces derniers:"

Pas exactement elle a le pouvoir de porter une affaire devant la justice ce qui est fort différent de ce que tu écris et d’infliger de simple amendes contestables devant la justice.

Et pour le moment rien de tout cela n’est advenu, beaucoup au royaume-uni considèrent que c’est un comité Théoudule plus qu’autre chose jusqu’à preuve du contraire 😎

avatar nespresso92 | 

@YetOneOtherGit

Savez-vous lire ? Hier elle portait devant la justice, aujourd'hui, avec des pouvoirs renforcés, elle pourra condamner. Renseignez-vous, car à priori vous semblez un peu en retard...

avatar YetOneOtherGit | 

@nespresso92

"elle pourra condamner. "

Nope 😎

Donner une amende ce n’est pas condamné.

C’est une instance de l’exécutif pas du juridique 😉

avatar nespresso92 | 

@YetOneOtherGit

Condamner à une amende, donner une amende, bloody frog 😡

avatar YetOneOtherGit | 

@nespresso92

"Condamner, donner une amende, bloody frogs 😡"

Nope revise tes bases de droit 😉

avatar nespresso92 | 

@YetOneOtherGit

Le français est trop compliqué pour moi. Je vous donne une amende ou je vous condamne à une amende same shit for me.

avatar YetOneOtherGit | 

@nespresso92

"Le français est trop compliqué pour moi. Je vous donne une amende ou je vous condamne à une amende same shit for me."

Pas une question de langue mais de droit une amende donnée par une autorité administrative ce n’est absolument pas équivalente à une condamnation juridique.

Et c’est valable dans tous les état de droit où il y a une séparation des pouvoirs 😉

avatar YetOneOtherGit | 

@nespresso92

Bref désolé mais nous sommes très loin de ton « sifflé la fin de la partie » qui relève de l’outrance et de la déformation des faits.

avatar nespresso92 | 

@YetOneOtherGit

Aucune déformation des faits. De plus, ce point est repris par de nombreux journaux.
Apple, Google et Facebook, à présent dans le collimateur UK mais aussi EU et US ne sont qu'au début de leur déboirs.

Pour rappel UK a fait plier Apple au sujet de la batterie, et le fera pour les autres dossier et Gafam. Nous n'attendons après les blabla de EU.

Pages

CONNEXION UTILISATEUR