Après les images, les IA génératives s’attaquent aux vidéos. Si la présentation du Sora d’OpenAI a fait grand bruit en début d’année, Adobe ne compte pas rester sur le côté et a dévoilé un nouvel outil bien pratique pouvant créer un clip vidéo à partir d’images fixes ou d’une description textuelle. Ce modèle sous la bannière Firefly avait été brièvement aperçu au mois d’avril dernier, mais on a désormais une vague idée des résultats proposés.
En pratique, l’utilisateur peut entrer la description d’une scène et demander à l’affiner grâce à différents paramètres : ratio de l’image, nombre d’images par secondes, mouvement et angle de caméra, vitesse, etc. On peut aussi y voir comment l’IA pourra générer des plans en se basant sur une image fixe, ce qui pourrait permettre aux monteurs en mal de plans de meubler grâce à du B-roll. La démo montre également une fonction pour Premiere permettant à l’IA de créer une scène manquante en cas de plan un poil trop court dans la timeline.
Les vidéos générées sont convaincantes, mais pas vraiment représentatives étant donné qu’Adobe a sélectionné les meilleurs résultats. Le spectateur n’aura sans doute pas le temps de remarquer les défauts vu que les vidéos générées sont limitées à 5 secondes, ce qui peut paraître peu face à un Sora pouvant monter jusqu’à une minute. Adobe garde l’avantage d’avoir un modèle uniquement entraîné sur du contenu libre de droits ou sous licence, ce qui devrait permettre aux vidéos de Firefly d’être commercialisables. Ce n’est pas le cas de Sora : on se souvient de la grimace de la CTO d’OpenAI quand on lui a demandé si son modèle avait été entraîné sur des vidéos YouTube.
On notera que l’entreprise insiste sur le fait que le modèle n’a pas été formé sur les contenus des utilisateurs de ses services, ce qui vient répondre à une polémique ayant éclaté au début de l’été. Ce modèle vidéo sera lancé en bêta plus tard dans l’année en tant qu’application Firefly. Adobe voudrait par la suite l’intégrer à son Creative Cloud, Experience Cloud et Adobe Express.
Source : The Verge
