YouTube va bientôt proposer des doublages générés par l'IA
Google veut simplifier la vie des créateurs de vidéos YouTube et va prochainement proposer des doublages par IA. L'entreprise a pour cela fait appel aux équipes du service spécialisé Aloud, issu de sa division Area 120 en charge de différents types de projets expérimentaux.
Une vidéo de présentation explique comment tout fonctionne sous le capot. Le service génère tout d'abord une transcription du texte, que l'utilisateur peut modifier et adapter. Le script est ensuite traduit et lu par l'IA afin d'être facilement greffé à la vidéo. Il est possible d'avoir une idée du résultat sur cette vidéo de la chaîne The Amoeba Sisters : il suffit de sélectionner la piste doublée en espagnol en cliquant sur la roue dentée en bas à droite du lecteur.
Si les services d'Aloud ont été présentés début 2022, leur intégration sur YouTube aujourd'hui n'est pas surprenante. La plateforme a lancé depuis quelque temps une fonction permettant de proposer plusieurs pistes audio sur une vidéo. Le vidéaste MrBeast affiche ainsi pas moins de 13 doublages sur ses dernières vidéos, allant du japonais au français en passant par l'arabe ou le turc. Actuellement, les services d'Aloud se limitent à l'anglais, à l'espagnol et au portugais, mais d'autres langues devraient arriver par la suite.
YouTube a confirmé à The Verge que la fonction était en ce moment en cours de test avec une centaine de créateurs, et qu'elle avait pour ambition de la proposer à un plus grand nombre courant 2024. Sur le long terme, l'objectif est de « faire en sorte que les pistes audio traduites ressemblent à la voix du créateur, avec plus d'expression et une synchronisation labiale ».
Ce projet n'est pas sans rappeler le « Traducteur Universel » de Google, présenté lors de la dernière grande conférence du groupe. Celui-ci double les vidéos à l'aide de l'IA et fait en sorte que les lèvres d'une personne soient synchronisées de façon convaincante. Or, ce traducteur ne devrait être proposé qu'à une poignée des partenaires : Google craint que la technologie puisse être utilisée pour créer facilement des deepfakes, visant à faire raconter n'importe quoi à n'importe qui.
Bientot en deepfake pour que les lèvres suivent.
Si seulement youtube et la planète toute entière pouvaient être générés par des IAs
Nous sommes tous dans une simulation hein !!!
Surtout les femmes
@madaniso
Être ou ne pas être, telle est la question
🙂🙃
🙃🙂
@madaniso
Ça dépend de la couleur de la pilule…
Bonne opportunité pour youtube sur le long terme qui pourra vendre ce service aux créateurs pour un prix defiant toute concurrence de doubleur IRL….mr beast 14 langues!! il faut imaginer ce que ça leur coûte par vidéo…et donc combien ils gagnent!
Si c’est comme celui de TikTok on va rire 🤪
On doit avouer que les traductions de youtube sont particulièrement nulles, mais d'un nul...
Nul..
Par exemple, alors qu'une vidéo repose sur un contexte (par exemple une vidéo portant sur l'informatique) la trad utilise des mots totalement erronés car sans le contexte sus-cité , ce qui fait que c'est incompréhensible..
@rikki finefleur
L’IA va corriger tout ça je te l’assure 😉
Beaucoup de traductions qui incluent des termes techniques de domaines bien particuliers sont inexactes, et pas que sur YouTube, mais aussi dans les films, les séries et les documentaires !
Il est fréquent par exemple que dans une série ou un film américain "a 38 caliber revolver" soit traduit par "un révolver calibre 38 mm", sans que l'imbécile qui a fait cette traduction inexacte ne se rende bien compte de ce que ça serait de tenir dans la main et de tirer avec une arme de poing d'un calibre de presque 4 cm !!!
Dans les émissions sur les voitures, comme celles de RMC24, les traductions des termes techniques de mécanique sont aussi à pleurer de rire, à tel point que pour pouvoir réellement les comprendre, il vaut mieux retraduire en anglais... pour, par exemple, comprendre que "transmission" est une mauvaise traduction de "transaxle" qui en anglais US signifie "boîte de vitesses", ou que le "joint de l'arbre de pont" est en fait un cardan…
Ne fonctionne pas (pas encore ?) si on utilise Vinegar, ce qui peut sembler normal : le nouveau menu "Piste audio" n'apparaît pas dans la liste déroulante.
Plus grave en revanche, YouTube n'a pas implémenté la fonction dans leur site web sous iOS même sans Vinegar (leur player "web natif" donc) que ce soit dans Safari ou Chrome ! Ils veulent que vous passiez par leur app ! Afin de vérifier cela j'ai dû la retélécharger via l'App Store sur mon iPhone pour faire le test, avant de la supprimer à nouveau. En effet, personne ici (ni MacG ni les commentateurs) n'a fait ce constat. Je me demande même si tous ceux qui ont commenté la news avant mon message ont réellement joué la vidéo d'Amoeba Sisters. Ou alors vous êtes tous sur Mac ? Je ne pense pas. Ou vous utilisez tous l'app YouTube bourrée de pub ? Wow, si c'est le cas, vous êtes, hum… courageux. Ou vous avez tous YouTube Premium ? Je ne pense pas non plus…
Sur macOS Ventura 13.4.1 (22F82) dans Safari version 16.5.1 (18615.2.9.11.7), je vois bien les deux pistes audio (la native et la doublée) dans le menu ⚙️ du lecteur YouTube natif.
Je n'utilise ni Vinegar, ni Chrome, ni Youtube Premium, ni YouTube sur iPhone (ni l'application iOS native, ni le site dans Safari iOS).
Ça serait bien qu’il nous mette le PIP dans l’application iOS même sans abonnement
Sur YouTube autant les traductions que la simple transcription sont d’une nullité affligeante ! L’IA sera la bienvenue pour avoir enfin un texte conforme à l’audio et compréhensible.