Cinco lições do Prompt to Production com a OpenAI
Confira cinco lições dos encontros da PixVerse com a OpenAI, desde a configuração do plugin PixVerse até storyboards e skills reutilizáveis.
Em 28 e 29 de outubro, a PixVerse e a OpenAI realizaram duas sessões ao vivo do Prompt to Production, uma para a região Ásia-Pacífico e outra para a América do Norte, com centenas de participantes de todo o mundo. Paul Hsu, responsável pelo marketing da PixVerse nos Estados Unidos, apresentou as duas sessões. Tyler Ryu, da equipe de engenharia de IA aplicada da OpenAI, participou de ambas, ao lado de criadores do PixVerse Creator Partner Programme: Aldo e Hidayat, da Indonésia, e Serge Donaldson, dos Estados Unidos. Todos demonstraram como passaram de um briefing criativo a um vídeo finalizado usando ChatGPT, Codex e o plugin PixVerse.
As sessões se apoiam nas integrações de produto que a PixVerse já desenvolveu com a OpenAI. O plugin PixVerse, disponível nativamente no ChatGPT e no Codex, oferece um fluxo de trabalho completo para vídeo, imagem e áudio e, recentemente, passou a ser compatível com o Canvas, o espaço de trabalho da PixVerse para projetos de vídeo com IA. O PixVerse CLI transforma o Codex em um estúdio de conteúdo com IA, reunindo a geração de vídeo, imagem e áudio em um só lugar. Ambos já estão disponíveis, e a série contínua de vídeos Prompt to Production no canal da PixVerse no YouTube leva o trabalho para além dos webinars.
Como configurar o plugin PixVerse no ChatGPT e no Codex
Tyler Ryu, engenheiro de IA aplicada da OpenAI, mostra como encontrar e instalar o plugin PixVerse no ChatGPT e no Codex durante o webinar Prompt to Production.
Tyler apresentou a configuração em cinco etapas.
- Instale o aplicativo no seu computador. Use o aplicativo Codex ou a versão local do modo de agente do ChatGPT para que ele possa acessar os arquivos do seu computador. Para conferir se você está usando a versão local ou a versão na nuvem, observe a parte superior do chat: o ícone de nuvem indica que você está na versão na nuvem, que não consegue acessar arquivos locais.
- Procure por “PixVerse” em Plugins. Durante as sessões, apareceram duas opções. A mais antiga tinha a indicação “legacy” e seria descontinuada; por isso, escolha a nova.
- Entre na sua conta PixVerse. A instalação solicita que você faça login, estabelecendo uma conexão direta e autenticada entre o agente e sua conta PixVerse.
- Chame o plugin pelo nome. Digite @PixVerse e descreva o que você quer em linguagem simples. Na demonstração, Tyler pediu um robô entregador correndo, com corpo em forma de caixa e pernas. O vídeo ficou pronto em cerca de dois minutos.
- Deixe as skills incluídas cuidarem dos prompts. O plugin inclui skills criadas pelos desenvolvedores da PixVerse que incorporam orientações sobre como escrever prompts para os modelos da plataforma. Tyler deu um exemplo: um pedido curto para virar uma panqueca pode fazer com que ela simplesmente apareça pronta; um prompt elaborado com a skill descreve o movimento da espátula passo a passo e faz a panqueca virar.
As opções de plugins e os menus mudam rapidamente. Por isso, o que você vê no aplicativo pode ser um pouco diferente do que os palestrantes mostraram em 28 e 29 de outubro.
Lição 1: Use vídeos da PixVerse como referência de animação no Codex
Tyler desenvolve jogos e percebe que personagens animados com IA às vezes se movem de maneira estranha. Para resolver isso, ele pediu ao Codex imagens de referência de um personagem, usou essas imagens na PixVerse para gerar um vídeo do personagem andando e, depois, fez o Codex reproduzir esse movimento no personagem do jogo.
Em seguida, refinou o resultado com instruções em linguagem simples, por exemplo, apontando que o joelho continuava dobrado na vista frontal. Segundo sua estimativa, todo o processo levou cerca de 20 minutos, em comparação com duas a três horas de animação manual ou com um estúdio de captura de movimento, que custaria muito mais.
Ele também mostrou outro uso, no qual o vídeo serve de referência para outras ferramentas. Um vídeo da PixVerse com um robô entregador virou um modelo 3D reconstruído no Blender e, depois, uma pequena demonstração jogável, em que o robô se anima conforme você clica pela cena. Para Tyler, a IA leva o trabalho quase até o fim, e um modelo de vídeo pode fornecer o toque final de movimento que seria difícil obter de outra forma.
Assista ao tutorial completo no YouTube: Demonstração da OpenAI: criando um jogo com o plugin PixVerse no Codex.
Lição 2: Simplifique as referências para manter personagens consistentes no ChatGPT e no Codex
A consistência apareceu várias vezes nas perguntas e respostas das duas sessões, e os palestrantes compartilharam algumas dicas.
Para Hidayat, as referências não precisam ter muitos detalhes. Três vistas de um personagem — frente, costas e perfil — mais um primeiro plano do rosto são suficientes. A mesma abordagem funciona para objetos, veículos, construções e cenários. Depois, ele orienta o Codex a consultar a pasta local de referências antes de gerar qualquer coisa.
O quadro de Serge no PixVerse Canvas com referências de personagens e locações.
Serge acrescentou alguns cuidados. Não inclua personagens nas referências de locação, pois o modelo pode tentar colocá-los no quadro. Se uma referência em plano geral mostrar um rosto pequeno, cubra-o com um círculo opaco para que o modelo use o primeiro plano do rosto. Crie folhas de referência separadas para figurino e objetos de cena: se um personagem deve segurar uma faca, ele pode acabar segurando um celular caso esse detalhe fique ao acaso. Para obter a maior continuidade possível entre clipes, estenda o vídeo anterior, embora isso consuma mais Créditos. Tyler também sugeriu manter todas as referências na mesma pasta de projeto para que o Codex se lembre da organização da cena.
Lição 3: Faça o storyboard no ChatGPT antes de gastar Créditos da PixVerse
Aldo mostrou um anúncio curto e divertido sobre uma passageira usando fones com cancelamento de ruído que não percebe um T-Rex atrás dela. Ele criou primeiro as imagens de referência, depois um storyboard e só então gerou o vídeo. Segundo seus números, um storyboard custa cerca de 30 Créditos (US$ 0,20), e um vídeo de 30 segundos, cerca de 1.000 Créditos (aproximadamente US$ 6,60). Quando o cenário de escritório não pareceu adequado, ele transferiu a cena para uma estação de trem ainda na fase de storyboard, por cerca de 30 Créditos. Quando o final não o agradou, regenerou apenas os últimos 10 segundos por cerca de 350 Créditos (menos de US$ 2,50), aproximadamente um terço do custo de refazer os 30 segundos inteiros.
Ele também percebeu que prompts detalhados demais deixavam a personagem rígida, e simplificá-los resolveu o problema. Outro hábito dele é testar em 480p e melhorar a qualidade depois. Esses valores se referem ao projeto dele; seus custos podem variar.
Rascunhos e ideias podem ser desenvolvidos em baixa resolução antes de usar o miniaplicativo AI Upscale da PixVerse para elevar a resolução do clipe final para publicação.
Lição 4: Planeje o enquadramento em 3D com o ChatGPT antes de gerar o vídeo
Serge trabalha em séries animadas ambientadas em lugares reais e imaginários. Seu problema era que os modelos de vídeo não respeitavam o espaço. A solução é fornecer ao ChatGPT imagens de referência de um local, como um píer ou uma baía com um farol inclinado, e pedir que ele crie um modelo simples em three.js. Serge movimenta a câmera, escolhe o enquadramento desejado e salva esse quadro. Em seguida, combina o quadro com as referências dos personagens no PixVerse Canvas e pede à PixVerse que aplique o visual à composição.
Um modelo 3D simples da locação permite que Serge posicione a câmera e defina primeiro o enquadramento de cada plano.
O modelo 3D não precisa ser detalhado: basta definir o enquadramento e a composição. Tyler observou que esse tipo de pré-visualização antes era restrito a grandes estúdios que trabalhavam com motores de jogos e que agora cabe no orçamento doméstico. Serge descreveu o resultado como algo mais próximo de dirigir do que de escrever prompts.
Tela de Serge mostrando o quadro salvo no PixVerse Canvas ao lado da imagem resultante.
Lição 5: Escreva skills uma vez e mantenha um projeto de ChatGPT ou Codex para cada trabalho
Aldo organiza seu trabalho como um estúdio. Um espaço de trabalho reúne suas skills, seus arquivos de conhecimento e seus projetos. Cada projeto tem sua própria pasta e seu próprio chat, para que todas as decisões fiquem registradas na conversa. Uma skill é um guia para uma tarefa específica, como escrever prompts, desenvolver histórias, criar miniaturas ou preparar legendas. Ela é escrita uma vez e reutilizada; sempre que algo dá errado, Aldo incorpora a solução à skill para aperfeiçoá-la a cada projeto. Sua skill de miniaturas já conhece suas fontes, cores e composição, então ele não precisa explicá-las novamente.
Resumo das skills que Aldo pede ao Codex para consultar sempre.
Serge trabalha de forma parecida no Codex. Ele cria um projeto para cada conjunto de trabalhos e mantém os chats relacionados dentro dele para preservar melhor o contexto. Também explica ao agente o que é cada arquivo e deixa que ele escolha o nome e a pasta.
Perguntas interessantes do público
Os participantes fizeram várias perguntas práticas. Uma delas apareceu nas duas sessões: qual é a diferença entre ChatGPT e Codex? O Codex começou como uma ferramenta para desenvolvedores, e o modo de agente do ChatGPT funciona com o mesmo mecanismo, mas sem a interface técnica. Os dois executam o plugin PixVerse.
Várias perguntas sobre a PixVerse tratavam de como os dois produtos compartilham uma conta. Como o plugin se conecta à sua conta PixVerse, os limites de geração seguem seu plano PixVerse, tanto para gerar diretamente na PixVerse quanto pelo ChatGPT. Tudo o que você gerar pelo ChatGPT também aparecerá na PixVerse. No entanto, os vídeos que você criou anteriormente no site da PixVerse não aparecem no ChatGPT.
O Canvas, espaço de trabalho por nós da PixVerse, também gerou perguntas. Paul mostrou como uma imagem de referência em um nó alimenta o vídeo seguinte e como clipes separados podem ser unidos em um curta-metragem.
Demonstração passo a passo da ferramenta PixVerse Canvas.
Simplesmente comece
O conselho de Aldo para iniciantes foi começar, esperar que a primeira tentativa seja imperfeita e continuar ajustando.
Serge perguntou se a criatividade está nos cliques do mouse ou na ideia que motivou você a aprender as ferramentas. Para ele, está na ideia. Segundo Serge, os agentes permitem tirar mais dessa ideia da sua cabeça e colocá-la em prática.
Os dois criadores começaram com uma ideia, e as ferramentas ajudaram a levá-la à tela. A combinação do ChatGPT ou Codex com a PixVerse agiliza as iterações, e foi assim que a maior parte dos trabalhos mostrados nas sessões ficou pronta.
Assista à série Prompt to Production com a OpenAI no YouTube
As sessões foram transformadas em tutoriais curtos no canal da PixVerse no YouTube, como parte da playlist Prompt to Production com a OpenAI.