Cinq enseignements de Prompt to Production avec OpenAI

Découvrez cinq enseignements des sessions PixVerse et OpenAI : configurer le plugin PixVerse, préparer un storyboard et créer des skills réutilisables.

News •
Retour sur les événements Prompt to Production de PixVerse et OpenAI

Les 28 et 29 octobre, PixVerse et OpenAI ont organisé deux sessions Prompt to Production en direct, l’une pour la région Asie-Pacifique et l’autre pour l’Amérique du Nord. Elles ont réuni des centaines de personnes du monde entier. Paul Hsu, responsable du marketing de PixVerse aux États-Unis, a animé les deux sessions. Tyler Ryu, membre de l’équipe d’ingénierie en IA appliquée d’OpenAI, l’a rejoint à chaque fois, aux côtés de créateurs du PixVerse Creator Partner Programme : Aldo et Hidayat, d’Indonésie, et Serge Donaldson, des États-Unis. Tous ont montré comment ils passaient d’un brief créatif à une vidéo terminée avec ChatGPT, Codex et le plugin PixVerse.

Ces sessions s’appuient sur les intégrations que PixVerse a déjà développées avec OpenAI. Disponible nativement dans ChatGPT et Codex, le plugin PixVerse offre un flux de travail complet pour la vidéo, l’image et l’audio. Il prend depuis peu en charge Canvas, l’espace de travail de PixVerse dédié aux projets vidéo IA. PixVerse CLI transforme Codex en studio de création de contenus IA, où l’on peut générer vidéos, images et audio au même endroit. Les deux outils sont disponibles dès aujourd’hui, et la série vidéo Prompt to Production qui se poursuit sur la chaîne YouTube de PixVerse prolonge le travail au-delà des webinaires.

Comment configurer le plugin PixVerse dans ChatGPT et Codex

Configuration du plugin PixVerse dans ChatGPT et Codex

Tyler Ryu, ingénieur en IA appliquée chez OpenAI, montre comment trouver et installer le plugin PixVerse dans ChatGPT et Codex lors du webinaire Prompt to Production.

Tyler a présenté la configuration en cinq étapes.

  1. Installez l’application sur votre ordinateur. Utilisez l’application Codex ou la version locale du mode agent de ChatGPT pour lui donner accès aux fichiers de votre ordinateur. Pour savoir si l’application s’exécute sur votre machine ou dans le cloud, regardez le haut du chat : une icône de nuage signale la version cloud, qui ne peut pas accéder à vos fichiers locaux.
  2. Recherchez « PixVerse » dans Plugins. Deux résultats apparaissaient pendant les sessions. L’ancien portait la mention « legacy » et devait être retiré ; choisissez donc le nouveau.
  3. Connectez-vous à PixVerse. L’installation vous demande de vous identifier, ce qui établit une connexion directe et authentifiée entre l’agent et votre compte PixVerse.
  4. Appelez-le par son nom. Saisissez @PixVerse et décrivez ce que vous souhaitez en langage courant. Dans sa démonstration, Tyler a demandé un robot de livraison qui court, en forme de boîte avec des jambes. La vidéo était prête en deux minutes environ.
  5. Laissez les skills intégrées guider la rédaction des prompts. Le plugin comprend des skills créées par les développeurs de PixVerse, qui intègrent leur méthode de rédaction des prompts pour les modèles de PixVerse. Exemple donné par Tyler : si l’on demande simplement de retourner un pancake, il peut se transformer directement en pancake cuit. Un prompt rédigé à l’aide de la skill décrit pas à pas le mouvement de la spatule, et le pancake se retourne réellement.

Les résultats de recherche des plugins et les menus évoluent vite. Ce que vous voyez dans l’application peut donc différer légèrement de ce que les intervenants ont montré les 28 et 29 octobre.

Enseignement 1 : utiliser une vidéo PixVerse comme référence d’animation dans Codex

Tyler crée des jeux et constate que les personnages animés par l’IA ont parfois des mouvements étranges. Sa solution : demander à Codex des images de référence du personnage, les importer dans PixVerse pour générer une vidéo de marche, puis demander à Codex de reproduire ce mouvement sur le personnage du jeu.

Il a ensuite affiné le résultat en langage courant, en signalant par exemple que le genou restait plié dans la vue de face. D’après son estimation, l’ensemble a pris environ 20 minutes, contre deux à trois heures d’animation manuelle ou le recours à un studio de capture de mouvement, bien plus coûteux.

Il a également montré une autre application, dans laquelle la vidéo sert de référence à d’autres outils. Une vidéo PixVerse d’un robot de livraison a donné lieu à un modèle 3D reconstruit dans Blender, puis à une petite démonstration jouable où le robot s’anime lorsque l’on clique dans la scène. Selon Tyler, l’IA permet de réaliser l’essentiel du travail, et un modèle vidéo peut apporter la touche finale de mouvement difficile à obtenir autrement.

Regardez le tutoriel complet sur YouTube : démonstration d’OpenAI : créer un jeu avec le plugin PixVerse dans Codex.

Enseignement 2 : simplifier les références pour garder des personnages cohérents dans ChatGPT et Codex

La cohérence est revenue plusieurs fois dans les questions-réponses des deux sessions, et les intervenants ont partagé quelques conseils.

Pour Hidayat, les références n’ont pas besoin d’être très détaillées. Trois vues d’un personnage — de face, de dos et de profil — ainsi qu’un gros plan du visage suffisent. La même méthode fonctionne pour les objets, les véhicules, les bâtiments et les décors. Il demande ensuite à Codex de consulter le dossier local de références avant toute génération.

Planche de références de Serge dans Canvas

La planche Canvas de Serge, avec des références pour les personnages et les lieux.

Serge a ajouté plusieurs précisions. Évitez les personnages dans les références de lieux, sinon le modèle tentera de les placer dans l’image. Si une référence en plan large contient un petit visage, masquez-le avec un cercle opaque afin que le modèle utilise plutôt votre gros plan. Préparez des planches de référence distinctes pour les costumes et les accessoires : un personnage censé tenir un couteau peut finir avec un téléphone si l’accessoire est laissé au hasard. Pour maximiser la continuité entre les séquences, étendez la vidéo précédente, même si cela coûte davantage de Crédits. Tyler a aussi conseillé de conserver toutes les références dans un même dossier de projet, pour que Codex garde en mémoire l’organisation de la scène.

Enseignement 3 : préparer le storyboard dans ChatGPT avant de dépenser des Crédits PixVerse

Exemple de courte publicité créée par Aldo

Aldo a présenté une courte publicité humoristique : une passagère porte des écouteurs à réduction de bruit et ne remarque jamais le T-Rex derrière elle. Il a d’abord créé des images de référence, puis un storyboard, avant de générer la vidéo. Selon ses chiffres, un storyboard coûte environ 30 Crédits (0,20 USD) et une vidéo de 30 secondes environ 1 000 Crédits (environ 6,60 USD). Quand le décor de bureau ne lui convenait pas, il a déplacé la scène dans une gare au stade du storyboard, pour une trentaine de Crédits. Déçu par la fin, il n’a régénéré que les 10 dernières secondes pour environ 350 Crédits (moins de 2,50 USD), soit à peu près un tiers du coût nécessaire pour refaire les 30 secondes complètes.

Il a aussi constaté qu’un prompt trop détaillé rendait son personnage raide, et qu’en le simplifiant, il réglait le problème. Il a également l’habitude de tester en 480p avant d’améliorer la qualité de la vidéo. Ces chiffres proviennent de son propre projet : vos coûts peuvent varier.

Image du processus de création de la publicité d'Aldo

Les maquettes et la recherche d’idées peuvent se faire en basse résolution avant d’utiliser la mini-application AI Upscale de PixVerse pour augmenter la résolution de la séquence finale avant sa publication.

Enseignement 4 : préparer le cadrage en 3D avec ChatGPT avant de générer la vidéo

Serge travaille sur des séries animées situées dans des lieux réels ou imaginaires. Son problème : les modèles vidéo ne respectaient pas la disposition de l’espace. Sa solution consiste à donner à ChatGPT des images de référence d’un lieu, comme une jetée ou une baie avec un phare penché, et à lui demander d’en construire un modèle simple avec three.js. Il déplace la caméra, compose le plan qu’il souhaite et enregistre l’image obtenue. Il associe ensuite cette image aux références de ses personnages dans PixVerse Canvas et demande à PixVerse d’appliquer le style à cette composition.

Scène 3D de Serge montrant une baie et son phare penché

Un modèle 3D simple du lieu permet à Serge de placer la caméra et de cadrer chaque plan en amont.

Le modèle 3D n’a pas besoin d’être détaillé : il doit seulement définir le cadrage et la composition. Tyler a rappelé que ce type de prévisualisation était autrefois réservé aux grands studios utilisant des moteurs de jeu, alors qu’il peut désormais s’inscrire dans un budget personnel. Pour Serge, le résultat se rapproche davantage de la mise en scène que de la rédaction de prompts.

Le plan repris dans PixVerse Canvas

L’écran de Serge montre l’image enregistrée dans PixVerse Canvas, à côté de l’image obtenue.

Enseignement 5 : écrire les skills une fois et créer un projet ChatGPT ou Codex pour chaque travail

Aldo organise son activité comme un studio. Un espace de travail regroupe ses skills, ses fichiers de connaissances et ses projets. Chaque projet possède son dossier et son chat, de sorte que chaque décision reste dans la conversation. Une skill est un guide pour une tâche précise, comme la rédaction de prompts, l’écriture d’une histoire, la création de miniatures ou le sous-titrage. Il l’écrit une fois et la réutilise ; lorsqu’un problème survient, il ajoute la solution à la skill pour l’améliorer à chaque projet. Sa skill pour les miniatures connaît déjà ses polices, ses couleurs et sa mise en page : il n’a pas à les expliquer de nouveau.

Skills réutilisables d'Aldo pour ses projets créatifs

Vue d’ensemble des skills qu’Aldo demande à Codex de consulter à chaque fois.

Serge procède de la même façon dans Codex. Il crée un projet pour chaque ensemble de travaux et y conserve les chats associés afin de mieux garder le contexte. Il explique aussi à l’agent ce que représente un fichier, puis le laisse choisir son nom et son dossier.

Questions intéressantes posées par le public

Les participants ont posé diverses questions pratiques. L’une est revenue dans les deux sessions : quelle est la différence entre ChatGPT et Codex ? Codex a d’abord été conçu pour les développeurs, tandis que le mode agent de ChatGPT fonctionne sur le même moteur, sans l’interface technique. Les deux prennent en charge le plugin PixVerse.

Plusieurs questions sur PixVerse concernaient le partage d’un compte entre les deux produits. Comme le plugin se connecte à votre compte PixVerse, les limites de génération dépendent de votre formule PixVerse, que vous génériez directement sur PixVerse ou dans ChatGPT. Tout ce que vous générez dans ChatGPT apparaît également dans PixVerse. En revanche, les vidéos que vous aviez créées auparavant sur le site de PixVerse n’apparaissent pas dans ChatGPT.

Canvas, l’espace de travail à base de nœuds de PixVerse, a également suscité des questions. Paul a montré comment une image de référence placée dans un nœud alimente la vidéo suivante et comment assembler plusieurs séquences en un court métrage.

Démonstration de PixVerse Canvas par Paul

Présentation du fonctionnement de l’outil PixVerse Canvas.

Lancez-vous

Le conseil d’Aldo aux débutants était de commencer, de s’attendre à une première tentative imparfaite et de continuer à ajuster leur travail.

Serge s’est demandé si la créativité résidait dans les clics de souris ou dans l’idée qui vous avait donné envie d’apprendre à utiliser ces outils. Pour lui, elle réside dans l’idée. Les agents, a-t-il expliqué, lui permettent d’exprimer davantage ce qu’il a en tête.

Les deux créateurs sont partis d’une idée, et les outils les ont aidés à la concrétiser à l’écran. L’association de ChatGPT ou Codex avec PixVerse accélère les itérations : c’est ainsi qu’ils ont achevé la plupart des travaux présentés pendant ces sessions.

Regardez la série Prompt to Production avec OpenAI sur YouTube

Les sessions ont été condensées en courts tutoriels sur la chaîne YouTube de PixVerse, dans la playlist Prompt to Production avec OpenAI.