La traduction pour les nuls, c'est en substance ce que propose SeamlessM4T conçu par Meta. Un système de traduction de langues multimodal basée sur l'IA.

Le « premier modèle linguistique de traduction tout-en-un et multimodal », c'est ainsi que Meta présente SeamlessM4T. Ce système de traduction se veut assez vaste dans le nombre de langues traitées et flexible dans la manière de le faire.

SeamlessM4T est capable de lire des textes à l'oral dans 100 langues et d'en traduire du texte vers du texte dans quasiment la même quantité (vidéo). Il peut passer un contenu audio vers un format écrit dans 100 langues également (en entrée comme en sortie).

Ces 100 langues qu'il lit à l'audio peuvent être transcrites sous la même forme vers 36 langues. Idem pour des contenus écrits qu'on lui soumet (100 langues possibles) afin d'obtenir un fichier audio (35 langues proposées)

Au-delà de ces chiffres, qui ne recouvrent qu'une fraction des langues utilisées à travers le monde (bien plus d'un millier), admet volontiers Meta, il y a la possibilité aussi pour SeamlessM4T de jongler avec des changements de langues au fil de la conversation. Ce modèle linguistique peut détecter que la personne passe d'une langue à l'autre et adapter sa traduction en temps réel. C'est l'aspect multimodal.

Meta souligne enfin que SeamlessM4T est disponible en open source avec une licence permettant à des chercheurs de l'améliorer.