Le « Traducteur universel » de Google double les vidéos à l'aide de l'IA et s'occupe même de la synchronisation labiale

Félix Cattafesta |

Google a profité de la Google I/O pour déballer ses nouveautés en matière d'IA, et a levé le voile sur une technologie permettant de « traduire » une vidéo de manière assez impressionnante. Le service va artificiellement doubler un passage dans une autre langue et faire en sorte que les lèvres d'une personne soient synchronisées de façon convaincante. Cela donne l'impression d'un locuteur natif sans avoir besoin de véritablement doubler une vidéo. Une petite démo a été présentée pendant la conférence (1:15:00).

En coulisse, l'algorithme va transcrire la vidéo puis traduire le texte. Il va ensuite le faire lire à l'IA en recréant la voix du locuteur tout en faisant en sorte de garder l'intonation et le style. La piste est par la suite intégrée à la vidéo, avec une synchronisation labiale permettant d'offrir un résultat convaincant. Il y a encore une marge de progression pour Google (on peut voir les ficelles si on se concentre sur les lèvres), mais cela reste bluffant.

L'intérêt de la technologie est évident : Google montre que l'on pourrait par exemple doubler un cours en plusieurs langues sans devoir faire appel à plusieurs locuteurs natifs ou recourir à des sous-titres. Cependant, on peut également craindre les scénarios dans lesquels elle serait utilisée à mauvais escient. Google est bien conscient des risques et a expliqué sur scène ne pas trop savoir sur quel pied danser. L'entreprise y voit une « tension » entre audace et sécurité, précisant que le concept pourrait être repris pour créer des deepfakes malveillants visant à faire raconter n'importe quoi à n'importe qui.

Ce « Traducteur Universel » ne sera donc proposé qu'à des partenaires certifiés et intégrera des garde-fous pour éviter les abus. Google a aussi promis de mettre en place un système de filigrane dans ses modèles, qui devrait aider à « relever le défi de la désinformation ».

Accédez aux commentaires de l'article