Dans les secrets d'iTunes Genius

Anthony Nelzin-Santos |
Présentée en 2008 avec iTunes 8.0, la fonction de recommandation de morceaux Genius avait attiré l'attention ainsi que des questions sur son fonctionnement. Erik Goldman, un ancien ingénieur d'Apple ayant travaillé sur Genius, révèle aujourd'hui une partie de ses secrets.

Le point de départ, on s'en doutait, consiste à collecter les données des bibliothèques des utilisateurs, c'est-à-dire quels morceaux sont dans leur bibliothèque, et certainement la fréquence de lecture de chaque morceau. La totalité des données de tous les utilisateurs ayant activé Genius forme « une immense base de données d'utilisateurs et de morceaux ».

Toutes les bibliothèques sont comparées entre elles, et les données sont passées au filtre d'un premier algorithme assez simple de recommandation — le même genre d'algorithme que ceux que les boutiques en ligne utilisent pour vous proposer des objets en rapport avec ceux que vous avez déjà achetés.

« Les données sont calculées globalement à intervalles réguliers et stockées en cache » : la similarité entre deux morceaux change peu, les seules raisons d'un changement étant la sortie de nouveaux morceaux et l'arrivée de nouveaux artistes, et la variation des goûts des auditeurs, l'un influant sur l'autre.

Goldman ne peut pas révéler tous les secrets mathématiques se cachant derrière Genius : « si je vous le disais, je devrais vous tuer », blague-t-il pour dire poliment que c'est le genre de choses qu'Apple lui interdit de révéler.

skitched

Il donne tout de même quelques indices sur la manière dont Genius associe une chanson à une autre, et surtout sur la manière dont il préfère associer tel morceau plutôt que tel autre à une chanson. Pour faire simple, Genius utilise la méthode TF-IDF, une méthode statistique notamment utilisée en fouille de texte. Appliquée à Genius, elle permet d'évaluer l'importance d'une chanson dans une bibliothèque par rapport aux autres chansons : chaque nouvelle lecture d'un morceau lui accorde plus d'importance que les autres.

Il faut ensuite déterminer la pertinence de l'information : on va souvent trouver des bibliothèques ayant joué de nombreuses fois les Beatles, groupe universel. Si une bibliothèque a joué les Beatles beaucoup plus que la moyenne, Genius va creuser un peu plus loin. Et si une bibliothèque se concentre exclusivement sur un sous-genre obscur du métal, il y a là aussi matière à creuser. Le but du jeu est de se servir de la manière dont les utilisateurs écoutent leur musique, la manière dont ils associent les morceaux entre eux dans des listes de lecture, des compilations, etc., pour déterminer comment associer deux morceaux entre eux.

Enfin, les mathématiques et statistiques sont une nouvelle fois mises à contribution pour déterminer quelle chanson d'une chanson A et d'une chanson B est plus proche d'une chanson C. Au final, Genius est donc capable d'associer deux chansons, en combinant l'intelligence collective et l'intelligence artificielle.

Pour ceux qui veulent comprendre plus en détail le fonctionnement de Genius, Erik Goldman conseille d'aller lire l'article d'ingénieurs d'AT&T qui ont gagné un prix d'un million de dollars pour avoir trouvé un algorithme de recommandation plus simple et plus performant pour le loueur de films en ligne Netflix. Pour les autres, le résumé est simple : Genius fait des maths horriblement compliquées à partir des données agrégées des utilisateurs d'iTunes.
Tags
#iTunes #genius
avatar Logoman | 
@winstonsmith: +1 Complètement d'accord avec ton post ! Je suis comme toi, je fais parti des rares personnes qui connaissent la musique qu'ils ont sur iTunes, et j'ai également des dizaines de playlists qui évoluent depuis des années. J'avais essayé Genius peu après sa sortie, mais le résultat était véritablement ridicule. Génius était peut-être encore trop jeune (vu qu'il apprend au fur et à mesure), ou alors ce sont les nombreux genres différents dans ma collection musicale qui l'ont perturbé. Quoi qu'il en soit, si je veux me laisser porter par ma musique, une liste de lecture intelligente me paraît plus approprié que le grand mixeur fantaisiste d'Apple, surtout si vous avez le malheur d'écouter de tout :D !
avatar polvorito | 
j'ai pas de potes pour faire une soirée, mais j'utilise genius très régulièrement, que ce soit sur mac ou mon iphone, je trouve que les choix proposés sont très pertinents. Quand on a une grande bibliothèque ça permet de redécouvrir des morceaux oubliés,
avatar death_denied | 
@f3nr1l: ma musique edt constituée de mes Cd rippés. Je remplis toujours les tags, pochette comprise. Comme ça a été dit, dès qu'on sort du mainstream le cjoix est pauvre.
avatar rva1mac | 
[quote]ça permet de redécouvrir des morceaux oubliés[/quote] Je trouve cette réaction vraiment bizarre. En tout cas, ça fait faible comme raison pour admettre que tout ce qu'on écoute ce ballade sur le net pour aller sur les serveurs d'iTunes.
avatar freeaker | 
encore une fois de plus des tas de gens vont se croire enfin devenu un super animateur et se contenter de coller un mac au bout de la sono........le fait de posseder des milliers de mp3 en vrac , meme pas tagué correctement et d'y ajouter un logiciel soit disant intelligent ne remplacera jamais un vrai dj!
avatar death_denied | 
Je me demande si ceux qui sont en permanence en train de critiquer Google et sa "collecte des données" vont aussi critiquer Apple sur le même genre de collecte avec ce Genius. En tout cas chez moi cette fonction est désactivée car je ne lui trouve aucune utilité.
avatar WhoIsLudwig | 
Je n'ai jamais activé Genius, mais si j'ai bien compris, ça fait un peu la même chose que Last.fm avec la bibliothèque locale c'est ça ?
avatar skhattane | 
Aucune utilité ????? tu as une soirée, tu lances une musique que tu aimes, tu cliques sur genius et tu oublies la zik. Ton mac se charge de tout. Et ça ce n'est d'aucune utilité ???????????? Sans compter que les associations musicales sont extrêmement pertinentes.
avatar edmini | 
Très intéressant, je vais dorénavant regarder avec plus d'attention les résultats que me propose Genius.
avatar WhoIsLudwig | 
Mais dans ce cas je maintiens : quel est l'intérêt face à Last.fm qui a en plus le mérite de faire découvrir de nouvelles choses ?
avatar joelcro | 
Genius est incontournable pour moi maintenant. Dernier exemple : soirée avec des potes, une enceinte avec dock, pose du ibiniou et là dès qu'un morceau met de l'ambiance ou plait, boum clic sur genius et c'est parti. L'ambiance retombe, retour sur la liste des morceaux, ah tiens là ça plait, boum clic sur genius et c'est reparti. Franchement j'ai redécouvert ma bibliothèque de musique grace à Genius. Si je ne devais garder qu'une seule fonction dans iTunes ce serait celle là. Moi je dis "chapeau messieurs, keep the good work"
avatar inick06 | 
@ death_denied C'est bien dommage.... Si tu l'avais utilisé serait-ce qu'une fois tu n'aurais pas dis que ça n'a aucune utilité... J'ai une anecdote a ce sujet: Un jour, je parcourrais ma liste de musique dans iTunes... Fan de Serge Gainsboug, je me suis offert l'Intégral en 12 Volumes.... A un moment, je me suis dis: tiens? Il manque des morceaux???? Et bien oui, dans l'intégrale, et surement a cause d'histoire obscures de droits d'auteur, Charlotte forever, Bonnie and Clyde (L'original avec BB) et Harley Davidson (toujours avec BB) ne figurent pas dans l'intégrale en 12 CD, remplacer dans la compile par leur version Live.... Juste pour voir, je clique sur une des chansons de l'intégrale de Serge Gainsbourg, j'ouvre l'onglet GENIUS et Bingo!!! Toutes les chansons manquantes de l'intégrale y figuraient, sans en avoir louper une seule!!!!! Effectivement, Charlotte Forever appartiens a sa fille Charlotte, la version de Bonnie and Clyde et harley Davidson appartient a BB... Pire ! Je me demandais pourquoi, dans le Genius, il y avait une chanson de Véronique Sanson dans la liste... Pfff! Genius est trop fort, c'était une chanson écrite par Serge Gainsbourg.... Alors, celui qui vient me dire que Genius ne marche pas, je ne peut évidemment pas faire cas de ce genre de remarque....
avatar skhattane | 
@WhoIsLudwig "Last.fm qui a en plus le mérite de faire découvrir de nouvelles choses ?" Genius fait la même chose : 1/ il te crée des compils en associant des ziks de ta biblio itunes 2/ il te propose via le menu latéral (pliant/dépliant) et la page d'accueil du store de nouveaux morceaux en rapport avec ce que tu écoutes.
avatar joelcro | 
@whoisludwig si avec tous ces commentaires (venus et à venir) tu n'actives pas genius... :-)
avatar inick06 | 
@WhoIsLudwig Tu transfert ton last.fm sur ton iPhone??? L'appli Last.fm de l'iPhone ne propose pas de Genius... L'appli iPod de l'iPhone, iPod Touch et iPad offre la meme fonction Genius que dans iTunes... que Last.fm ne fait pas, et last.fm n'interviens pas dans ta base de musique iTunes... Dans le genre Last.fm, Pandora est beaucoup mieux dans ces cas la...
avatar WhoIsLudwig | 
Oui Pandora est très bien aussi, mais c'est vrai que j'ai pris mes habitudes avec last.fm Mon souci avec Genius, c'est que je suis resté très attaché à la notion d'albums et en général, je me prend un album que j'écoute en entier puis je switche vers un autre, etc ... Pour ce que j'ai vu, Genius sert à faire des espèces de "compilations intelligentes", du coup ça m'intéresse moins. La seule exception que je fais pour Last.fm, c'est quand je veux m'intéresser un peu à ce qui gravite autour d'un artiste ou d'un style particulier et que je veux écouter des choses qui ne sont pas dans ma bibliothèque sans pour autant avoir à acheter forcément avant. Spotify fait aussi ce genre de choses mais je le trouve un peu moins pertinent. PS : je testerai quand même, histoire de voir vrmt à quoi ça ressemble, du coup.
avatar inick06 | 
@ Whoisludwig Ca va plus loin que ca... Si tu actives la Genius SlideBar (dernier bouton tout en bas a droite, une fleche qui va vers la gauche) tu as des recommandations d'achats (ou de piratage au choix, mais moi j'achete tout depuis longtemps sur iTunes)... Ces recommendations se calquent par rapport chaque chanson ou selection de chanson, ou Playlist... Selectionne tes chansons, ouvre la Genius SlideBar et tu verras que les recommandations sont super pertinentes... C'est ce que j'ai raconté dans mon premier post plus haut.... Mais pour les Albums, pas de soucis: Genius, Comment- Ca marche!!!! Sélectionne ta chanson, plusieurs chansons ou un/des album(s), clique sur le bouton GENIUS en bas a droite dans iTunes en forme d'atomium, et BINGO! Genius t'a créé une liste de lecture basé sur ta sélection d'album(s)... Tu peut limiter cette nouvelle liste a 25 morceaux jusqu'a 100 morceaux, tu peut la sauvegarder comme une Playlist de GENIUS... C'est pas "Genius" ca??????? Genius fait aussi des "mixes", mais "quel" mixes.!!!! Faire des mixes comme ca a la main, ca prendrai 3 mois avec ma liste de 4897 chansons.... Pour Info: Genius marche aussi pour les Application iPhone/ipad et les Série TV PodCast et Fillm
avatar Nicky Larson | 
[quote]Goldman ne peut pas révéler tous les secrets mathématiques se cachant derrière Genius : « si je vous le disais, je devrais vous tuer »[/quote] Non, c'est moi qui devrait le tuer quand je vois la merde que c'est. A chaque fois que Genius me recommande un morceau sur iTMS, ça n'a rien à voir avec mes gouts. C'est de la daube en barre. LastFM par contre ça marche. J'ai découvert beaucoup de groupe grace à eux. Mais Genius, ya vraiment pas de quoi se vanter ... [quote]2/ il te propose via le menu latéral (pliant/dépliant) et la page d'accueil du store de nouveaux morceaux en rapport avec ce que tu écoutes.[/quote] Aha, CF ci dessus.
avatar inick06 | 
@ Nicky Larson Quand on dit pour iTunes 91% de satisfaction , on sait par déduction qu'il y a 9% de mécontent... Bienvenue dans le club des 9
avatar Shakjlz | 
Je ne peux plus me passer de genius!! Par contre j'aimerais qu'il soit (bien) plus configurable
avatar romainhc | 
@ Nicky Larson Peut-etre que c'est parce que t'ecoutes de la daube en barre .... non ? Aha
avatar USB09 | 
Genius ? Génial ce truc. Des fois c'est tellement incroyable comment il arrive a mélanger des morceaux. De plus, il me permet de découvrir ma ludothèque.
avatar leonzeur (non vérifié) | 
Bonjour Moi aussi je confirme le génie de Genius .. Les soirées entre potes où tu oublies le mac mais pas la musique c'est trop précieux !! Combien de potes on a pu avoir à la maison et qui m'ont demandé si c'était un mix préparé... Et quand tu leur montres que c'est Genius sur iTunes, en général ça provoque des moues admiratives ou étonnées qu'un truc pareil puisse exister.. Un peu comme la fonction Visages dans iPhoto qui en bluffe plus d'un !!
avatar flapy | 
La fonction la plus intéressante de Genius, c'est la manière dont il gère la synchro avec mon iPhone. En effet, j'ai 20Go de musique sur mon Mac et seulement 10 Go sur mon iPhone. Genius sélectionne automatiquement les meilleurs morceaux à synchroniser et créé en plus des listes de lectures appropriées. Au final, j'ai toujours les morceaux que je préfère sur mon iPhone !
avatar Nesus | 
@death_denied C'est clairement marque dans la cluf ce qui est prit dans ta bibliothèque musical pour genius. Il est aussi indiqué ce qui ne sera pas utiliser et a quelle fin. Bref ce ne sont que des infos pure aucune données personnelles (tu peux vérifier toi même en transformant le serveur de réception. Ce n'est que la liste de tes chansons sans savoir de qui elles viennnent. On est l'on de Google qui conserve absolument toutes les infos
avatar pwetpwet | 
Marrant, comme le fait remarquer death_denied, les commentateurs, si enclins d'habitude à se questionner sur le respect de leur vie privée (et c'est très bien) sont bien silencieux ici. L'article lui-meme ne fait qu'efleurer le sujet sans trop s'y attarder... Objectivité j'écris ton nom !
avatar death_denied | 
@ Pwetpwet: Exactement, j'ai l'impression que certains éteignent systématiquement la fonction "esprit critique" de leur cerveau lorsqu'il s'agit de Apple. Personnellement je suis content d'être un gros fan Apple (j'ai du claquer plus de 15 000€ en 3 ans dans des produis Apple) et de louer la qualiter de leur produits, mais dès qu'Apple sort quelque chose qui me plait pas de pouvoir le dire aussi. En ce qui concerne le Genius: J'écoute quasiment exclusivement que du METAL dans iTunes (le jazz et la musique classique, que j'aime beaucoup aussi, c'est sur des vinyles) et Genius dans ce genre de musique est plus que moyen dans ce qu'il a pu me proposer, pertinence avoisinant le 10% maxi et surtout offre ultra limitée. Donc d'après mon expérience, et elle prévaudra pour moi, Genius ne me sert à rien.
avatar hartgers | 
Mouais. Je trouve l'idée et le principe de Genius pas mal, mais c'est la collecte de données qui m'emmerde en fait. S'il n'y avait pas ce défaut googlisant, je m'y mettrais bien. @inick06 : je sais pas si c'est pareil pour toi, mais moi je trouve qu'iTunes a régressé. La version 7 est pour moi la meilleure avec ses nombreux codecs et déjà ses nouveautés grand public assez appréciables. Après ils n'ont fait que casser l'appli en la rendant plus lente, plus lourde, et bourrée de trucs inutiles... et les codecs ont été supprimés.
avatar vintz72 | 
@death_denied 15000 euros en 3 ans ??? Putain y'a des gens qui sont bien payés quand même... c'est quoi ton métier ? Rentier ? Banquier ? Assureur ? Plombier ? Je voudrais m'y mettre !
avatar iNabil | 
@ hartgers : entre collecter ce que t'écoute et les sites que tu visite, les données de géolocalisation, certaines données de ta boite mail, des recherches sur le moteur que t'utilise etc... il y a comment dire... un ENORME fossé ;) et puis ici le but est de faire découvrir de la musique quand celui de google est de se faire du fric sur tes données
avatar tabaluga72 | 
Depuis Genius, en voiture c'est le pied. Plus à changer d'album en cours de route. Une compil genius, et en voiture pour des heures :-) Et puis c'est vrai que ça m'a permit de redécouvrir certains morceaux oubliés :-) PAr contre comme pour death_denied, pour les genres de musique un peu pointu, Genius se plante pas mal, moi aussi (parfois) j'écoute du métal, thrash, gothique, industriel et autre genres assez violent, et se retrouver avec de la pop dans une telle compil, ça casse tout. :-(
avatar WhoIsLudwig | 
C'est exactement là-dessus que mes réserves portent. J'écoute pas mal de stoner et d'indus, mais je suis pas convaincu que Genius s'en sorte aussi brillamment dans ces domaines que Last.fm ou Pandora qui pour le coup fait des tours d'horizon assez sympas. Après, je suppose que tant que tu restes dans ta propre bibliothèque, l'algo se contente de faire une analyse des fichiers et les associe en fonction de ceux qui sont suffisamment proches pour s'enchainer comme il faut. Mais bon, ça je peux le faire moi-même, quoi.
avatar tabaluga72 | 
@whoisludwig je sais pas toi mais mes genres musicaux vont du classique au métal le plus violent, alors même en choisissant une compil genius intitulée métal, je vais me retrouver parfois avec un autre genre. Ou alors la compil métal te sort que les chansons molles! Donc rester dans sa propre bibliothèque c'est pas mal si on a des genres musicaux assez proches, sinon, ça se plante un peu... :-(
avatar ELC FX | 
Impressionante technologie et redoutablement efficace et ces vrai qui peut avoir des mécontent mais il faut savoir que ce sont juste des algorithme qui se base sur ta biblio personnelle et que si il ya plusieurs utilisateur sur une même session sa peut fausser les résultat
avatar f3nr1l | 
@death_denied: Je trouve bizarre que genius soit à ce point inadapté à tes gouts musicaux, métal ou pas. Ta bibliothèque est-elle constituée majoritairement de cd/vinyles rippés (auquel cas, le nom des albums est il reconnu ?), trouves-tu sur itunes les morceaux que tu aimes (hors choix genius, j'entends). Est ce que tu mets genius à jour régulièrement ?
avatar Anonyme (non vérifié) | 
Je rejoins Death_Denied là dessus, Autant l'idée de Genius est fantastique mais il y a un vrai problème dès qu'on s'écarte un peu de la musique Mainstream. Perso je suis un gros consommateur de folk/pop/rock indé et dès que je lance génius à partir de ça j'ai droit au message "Genius n'est pas disponible pour ce morceaux" alors même que la plupart de ces musique sont achetées sur le store... un peu étrange. À contrario il faut avouer que si on part depuis des artistes comme les Doors, Dylan etc... aucun soucis et les réponses sont pertinentes. C'est dommage qu'il y ai si peu de suite dans les idées.
avatar f3nr1l | 
testé à l'instant, à partir de "roots bloody roots" de Sépultura: Nom Artiste Roots Bloody Roots Sepultura Dyers Eve Metallica Be Quick or Be Dead Iron Maiden We Die Young Alice In Chains Negative Creep Nirvana The Day I Tried to Live Soundgarden Perfect Crime Guns N' Roses Million Miles Away The Offspring Eruption Van Halen Refuse / Resist Sepultura Four Sticks Led Zeppelin Powerslave Iron Maiden The God That Failed Metallica Dive Nirvana Antisocial Trust Rusty Cage Soundgarden Bleed the Freak Alice In Chains Garden Of Eden Guns N' Roses Walla Walla THE OFFSPRING Attitude Sepultura The Frayed Ends of Sanity Metallica The Wicker Man Iron Maiden Blew Nirvana Fell On Black Days Soundgarden The Battle of Evermore Led Zeppelin Je n'y vois rien de choquant, pas de POP ou de R&B (j'en ai un peu. Oui j'ai honte)
avatar f3nr1l | 
@McJej: La solution passe par [menu store/ Actualiser Genius]. Plus il y aura de monde qui le fera, (surtout ceux qui écoutent de la musique indépendante), plus les résultats seront pertinents.
avatar WhoIsLudwig | 
Bah on a tous un répertoire "Divers" dans un coin dans lequel on planque tout le Britney Spears un peu inavouable qu'on a choppé dans un moment d'égarement ... :)
avatar winstonsmith | 
Genius est surtout utile quand on connait pas ou peu sa propre bibliothèque itunes. Je suis toujours un peu surpris de voir des gens avec des dizaines de milliers de morceaux dont ils ne connaissent en réalité qu'une poignée (j'exagère à peine dans certains cas ; faites le test suivant : quand quelqu'un vous dit qu'il est grand fan de tel artiste et qu'il en connait l'intégralité, jetez un oeil au compteur itunes : le plus souvent on a trois chansons avec 20 lectures et tout le reste à 0, je précise, pour des gens qui utilisent exclusivement itunes). J'ai mes propres listes de lecture qui évoluent avec le temps (certaines ont été crées en 2002). En somme, Genius c'est bien, mais il n'y a là rien qu'on ne puisse pas faire en connaissant un minimum sa bibliothèque, et en utilisant le classement et les listes de lecture (on peut vraiment faire beaucoup de choses avec les listes intelligentes, je me sers pour cela du champ 'commentaire' que je renseigne à l'importation ou plus tard avec mes propres tags). Alors bien sûr ça demande du temps, mais c'est la condition pour connaitre un minimum la musique que l'on écoute, au lieu de se contenter d'en donner l'illusion.
avatar winstonsmith | 
Complément : pour les suggestions extérieures à la bibliothèque je préfère last.fm
avatar pwetpwet | 
[quote]et puis ici le but est de faire découvrir de la musique quand celui de google est de se faire du fric sur tes données[/quote] Mouahaha c'est touchant de naiveté :] (et puis pour rappel, l'immense majorité des comptes iTunes est liée à un numéro de CB...) Par contre à noter, je n'utilise pas les suggestions Genius mais je le garde activé pour qu'Apple sache que ma librairie est composée à 90% de titres absents du store fr...
avatar jjrmusic | 
Moi aussi je rejoins Death_Denied : je n'ai jamais activé cette fonction et rien que de savoir qu'il y en a qui s'intéresse à ce que j'écoute et qui se mettent en tête de vouloir me conseiller; par quoi il faut comprendre " me faire acheter ", ça me file de l'urticaire ! En plus je le trouve parfaitement le nom de cette fonction !
avatar jjrmusic | 
correctif : En plus je le trouve parfaitement ridicule le nom de cette fonction ! ;-)

CONNEXION UTILISATEUR