Cinco aprendizajes de Prompt to Production con OpenAI

Descubre cinco aprendizajes de las sesiones de PixVerse y OpenAI: cómo configurar el plugin de PixVerse, preparar storyboards y crear skills reutilizables.

News •
Resumen de los eventos Prompt to Production de PixVerse y OpenAI

El 28 y el 29 de octubre, PixVerse y OpenAI celebraron dos sesiones en directo de Prompt to Production, una para Asia-Pacífico y otra para Norteamérica, a las que asistieron cientos de personas de todo el mundo. Paul Hsu, responsable de marketing de PixVerse en Estados Unidos, presentó ambas sesiones. En cada una participó Tyler Ryu, del equipo de ingeniería de IA aplicada de OpenAI, junto con creadores del PixVerse Creator Partner Programme: Aldo y Hidayat, de Indonesia, y Serge Donaldson, de Estados Unidos. Todos mostraron cómo pasaban de un briefing creativo a un vídeo terminado con ChatGPT, Codex y el plugin de PixVerse.

Las sesiones se apoyan en las integraciones que PixVerse ya ha desarrollado con OpenAI. El plugin de PixVerse, disponible de forma nativa en ChatGPT y Codex, permite trabajar de principio a fin con vídeo, imágenes y audio, y recientemente ha incorporado compatibilidad con Canvas, el espacio de trabajo de PixVerse para proyectos de vídeo con IA. PixVerse CLI convierte Codex en un estudio de contenido con IA desde el que se pueden generar vídeos, imágenes y audio. Ambos están disponibles hoy, y la serie continua de vídeos Prompt to Production en el canal de YouTube de PixVerse lleva el trabajo más allá de los seminarios web.

Cómo configurar el plugin de PixVerse en ChatGPT y Codex

Configuración del plugin de PixVerse en ChatGPT y Codex

Tyler Ryu, ingeniero de OpenAI especializado en IA aplicada, muestra cómo encontrar e instalar el plugin de PixVerse en ChatGPT y Codex durante el seminario web Prompt to Production.

Tyler explicó la configuración en cinco pasos.

  1. Instala la aplicación en tu ordenador. Utiliza la aplicación Codex o la versión local del modo agente de ChatGPT para que pueda acceder a los archivos de tu ordenador. Para saber si se ejecuta en tu ordenador o en la nube, mira la parte superior del chat: el icono de una nube indica que estás en la versión en la nube, que no puede acceder a tus archivos locales.
  2. Busca «PixVerse» en Plugins. Durante las sesiones aparecieron dos resultados. El anterior llevaba la etiqueta «legacy» y estaba previsto retirarlo, así que elige el nuevo.
  3. Inicia sesión en PixVerse. Al instalarlo, se te pedirá que inicies sesión. Así, el agente obtiene una conexión directa y autenticada con tu cuenta de PixVerse.
  4. Llámalo por su nombre. Escribe @PixVerse y explica con palabras sencillas lo que quieres crear. En la demostración de Tyler, pidió un robot de reparto que corría, con forma de caja y patas; el vídeo estuvo listo en unos dos minutos.
  5. Deja que las skills incluidas se encarguen de los prompts. El plugin incorpora skills creadas por los desarrolladores de PixVerse que recogen cómo escribir prompts para sus modelos. Tyler puso un ejemplo: una petición escueta para dar la vuelta a una tortita puede hacer que simplemente aparezca cocinada; un prompt redactado con la skill describe paso a paso el movimiento de la espátula y consigue que la tortita dé la vuelta.

Las fichas de los plugins y los menús cambian rápidamente, por lo que la aplicación puede verse algo distinta de lo que mostraron los ponentes el 28 y el 29 de octubre.

Aprendizaje 1: Usa un vídeo de PixVerse como referencia de animación en Codex

Tyler desarrolla juegos y ha observado que los personajes animados con IA a veces se mueven de forma extraña. Su solución fue pedir a Codex imágenes de referencia del personaje, introducirlas en PixVerse para generar un vídeo del personaje caminando y hacer que Codex trasladase ese movimiento al personaje del juego.

Después refinó el resultado con instrucciones sencillas; por ejemplo, señaló que la rodilla seguía flexionada en la vista frontal. Según su estimación, todo el proceso llevó unos 20 minutos, frente a las dos o tres horas de animación manual o al coste considerablemente mayor de un estudio de captura de movimiento.

También mostró otro uso en el que el vídeo sirve de referencia para otras herramientas. Un vídeo de PixVerse de un robot de reparto se convirtió en un modelo 3D reconstruido en Blender y, después, en una pequeña demo jugable en la que el robot se anima al hacer clic. Su conclusión fue que la IA permite avanzar gran parte del trabajo y que un modelo de vídeo puede aportar ese último toque de movimiento que, de otro modo, cuesta conseguir.

Puedes ver el tutorial completo en YouTube: OpenAI muestra cómo crear un juego con el plugin de PixVerse en Codex.

Aprendizaje 2: Simplifica las referencias para mantener la coherencia de los personajes en ChatGPT y Codex

La coherencia de los personajes surgió varias veces en las preguntas y respuestas de ambas sesiones, y los ponentes compartieron algunos consejos.

Según Hidayat, las referencias no necesitan muchos detalles. Bastan tres vistas del personaje —frontal, trasera y lateral— y un primer plano del rostro. El mismo método sirve para objetos, vehículos, edificios y escenarios. Después, indica a Codex que consulte la carpeta local de referencias antes de generar nada.

Tablero de referencias de Serge en Canvas

Tablero de Serge en PixVerse Canvas con referencias de personajes y localizaciones.

Serge añadió varias recomendaciones. Mantén a los personajes fuera de las referencias del entorno, ya que, de lo contrario, el modelo intentará incluirlos en el plano. Si una referencia de plano general contiene un rostro pequeño, cúbrelo con un círculo opaco para que el modelo utilice el primer plano del rostro en su lugar. Prepara hojas de referencia separadas para el vestuario y los accesorios: si dejas al azar un objeto que un personaje debe sostener, puede acabar con un teléfono en vez de un cuchillo. Para lograr la máxima continuidad entre clips, extiende el vídeo anterior, aunque esto consume más créditos. Tyler añadió que conviene guardar todas las referencias en una misma carpeta de proyecto para que Codex recuerde la distribución de la escena.

Aprendizaje 3: Crea primero el storyboard en ChatGPT y gasta los créditos de PixVerse más tarde

Ejemplo de anuncio breve de Aldo

Aldo mostró un anuncio breve y divertido sobre una viajera que lleva auriculares con cancelación de ruido y no se da cuenta de que tiene un T-Rex detrás. Primero creó imágenes de referencia, luego un storyboard y solo entonces generó el vídeo. Según sus cifras, un storyboard cuesta unos 30 créditos (0,20 USD) y un vídeo de 30 segundos, unos 1.000 créditos (alrededor de 6,60 USD). Cuando el entorno de oficina no le convenció, trasladó la escena a una estación de tren durante la fase de storyboard por unos 30 créditos. Y cuando el final no cumplió sus expectativas, regeneró solo los últimos 10 segundos por unos 350 créditos (menos de 2,50 USD), aproximadamente un tercio del coste de rehacer los 30 segundos completos.

También descubrió que un prompt demasiado detallado hacía que su personaje se moviese con rigidez, y que simplificarlo resolvía el problema. Además, suele hacer pruebas a 480p y mejorar la calidad después. Estas cifras corresponden a su propio proyecto, por lo que tus costes pueden variar.

Imagen del proceso de creación del anuncio de Aldo

Las maquetas y las ideas iniciales se pueden trabajar a baja resolución antes de usar AI Upscale, la miniaplicación de PixVerse, para aumentar la resolución del clip final de cara a su publicación.

Aprendizaje 4: Planifica el encuadre en 3D con ChatGPT antes de generar el vídeo

Serge trabaja en series de animación ambientadas tanto en lugares reales como imaginarios, y tenía un problema: los modelos de vídeo no respetaban la disposición del espacio. Su solución consiste en dar a ChatGPT imágenes de referencia de un lugar, como un muelle o una bahía con un faro inclinado, y pedirle que construya un modelo sencillo en three.js. Mueve la cámara, encuentra el encuadre que busca y guarda ese fotograma. Después combina el fotograma con las referencias del personaje en PixVerse Canvas y pide a PixVerse que aplique la estética a esa composición.

Escena 3D de Serge de una bahía con un faro inclinado

Un modelo 3D sencillo del lugar permite a Serge colocar la cámara y encuadrar primero cada plano.

El modelo 3D no necesita mucho detalle: solo tiene que fijar el encuadre y la composición. Tyler señaló que este tipo de previsualización antes estaba reservado a los grandes estudios que trabajaban con motores de juego y que ahora cabe en un presupuesto doméstico. Serge describió el resultado como algo más parecido a dirigir que a escribir prompts.

El encuadre trasladado a PixVerse Canvas

La pantalla de Serge muestra el fotograma guardado en PixVerse Canvas junto a la imagen resultante.

Aprendizaje 5: Escribe cada skill una vez y crea un proyecto de ChatGPT o Codex por trabajo

Aldo organiza su trabajo como un estudio. Un espacio de trabajo reúne sus skills, sus archivos de conocimiento y sus proyectos. Cada proyecto tiene su propia carpeta y su propio chat, de modo que todas las decisiones quedan en la conversación. Una skill es una guía para una tarea concreta, como escribir prompts, desarrollar historias, crear miniaturas o redactar subtítulos. La escribe una vez y la reutiliza; cuando algo falla, incorpora la solución a la skill para mejorarla con cada proyecto. Su skill de miniaturas ya conoce sus tipografías, colores y distribución, así que no tiene que explicarlos de nuevo.

Skills reutilizables de Aldo para proyectos creativos

Resumen de las skills que Aldo pide a Codex que consulte cada vez.

Serge trabaja de forma similar en Codex. Crea un proyecto para cada línea de trabajo y agrupa los chats relacionados dentro de él para conservar mejor el contexto. También le explica al agente qué es cada archivo y deja que este elija el nombre y la carpeta.

Preguntas interesantes del público

El público planteó varias preguntas prácticas, y una apareció en ambas sesiones: ¿en qué se diferencian ChatGPT y Codex? Codex nació como herramienta para desarrolladores, mientras que el modo agente de ChatGPT funciona con el mismo motor y ofrece una interfaz menos técnica. Ambos admiten el plugin de PixVerse.

Varias preguntas sobre PixVerse se referían a cómo comparten una cuenta los dos productos. Como el plugin se conecta a tu cuenta de PixVerse, los límites de generación dependen de tu plan de PixVerse tanto si generas directamente en PixVerse como si lo haces desde ChatGPT. Todo lo que generes desde ChatGPT también aparecerá en PixVerse. En cambio, los vídeos que habías creado anteriormente en la web de PixVerse no aparecen en ChatGPT.

Canvas, el espacio de trabajo por nodos de PixVerse, también suscitó preguntas. Paul mostró cómo una imagen de referencia de un nodo alimenta el siguiente vídeo y cómo se pueden unir varios clips en un cortometraje.

Demostración de PixVerse Canvas de Paul

Recorrido guiado por la herramienta PixVerse Canvas.

Simplemente, empieza

El consejo de Aldo para principiantes fue empezar, aceptar que el primer intento puede ser imperfecto y seguir probando.

Serge se preguntó si la creatividad reside en los clics del ratón o en la idea que te llevó a aprender a usar las herramientas. Para él, reside en la idea. Los agentes, dijo, le permiten sacar más ideas de su cabeza y convertirlas en realidad.

Ambos creadores partieron de una idea y utilizaron las herramientas para llevarla a la pantalla. La combinación de ChatGPT o Codex con PixVerse hace más rápido el proceso de iteración, y así terminaron la mayoría de los trabajos que mostraron durante las sesiones.

Mira la serie Prompt to Production con OpenAI en YouTube

Las sesiones se han resumido en breves tutoriales del canal de YouTube de PixVerse, dentro de la lista de reproducción Prompt to Production con OpenAI.