Пять выводов из Prompt to Production с OpenAI

Пять выводов из встреч PixVerse и OpenAI: настройка плагина PixVerse, раскадровка до генерации видео и навыки, которые можно использовать снова.

News •
Итоги встреч PixVerse и OpenAI в рамках Prompt to Production

28 и 29 октября PixVerse и OpenAI провели две прямые трансляции Prompt to Production — одну для Азиатско-Тихоокеанского региона, другую для Северной Америки. К ним присоединились сотни зрителей со всего мира. Обе встречи вел Пол Сюй, руководитель маркетинга PixVerse в США. В каждой участвовал Тайлер Рю из команды прикладной AI-инженерии OpenAI, а также авторы из PixVerse Creator Partner Programme: Альдо и Хидаят из Индонезии и Серж Дональдсон из США. Все участники показали, как они переходят от творческого брифа к готовому видео с помощью ChatGPT, Codex и плагина PixVerse.

Встречи опираются на уже созданные PixVerse интеграции с OpenAI. Плагин PixVerse, доступный непосредственно в ChatGPT и Codex, объединяет работу с видео, изображениями и аудио на всех этапах и недавно получил поддержку Canvas — рабочего пространства PixVerse для проектов AI-видео. PixVerse CLI превращает Codex в студию AI-контента, где можно создавать видео, изображения и аудио. Оба инструмента уже доступны, а продолжающаяся серия видео Prompt to Production на YouTube-канале PixVerse развивает темы, затронутые на вебинарах.

Как настроить плагин PixVerse в ChatGPT и Codex

Настройка плагина PixVerse в ChatGPT и Codex

Инженер по прикладным разработкам OpenAI Тайлер Рю показывает на вебинаре Prompt to Production, как найти и установить плагин PixVerse в ChatGPT и Codex.

Тайлер разобрал настройку за пять шагов.

  1. Установите приложение на компьютер. Используйте приложение Codex или локальную версию агентного режима ChatGPT, чтобы агент мог обращаться к файлам на вашем компьютере. Проверить, работаете ли вы локально или в облаке, можно в верхней части чата: значок облака означает облачную версию, у которой нет доступа к локальным файлам.
  2. Найдите «PixVerse» в разделе Plugins. Во время встреч поиск показывал два варианта. Старый был помечен как legacy и подлежал отключению, поэтому выбирайте новый.
  3. Войдите в PixVerse. При установке система предложит авторизоваться. После этого агент получит прямое аутентифицированное подключение к вашей учетной записи PixVerse.
  4. Обратитесь к плагину по имени. Введите @PixVerse и простыми словами опишите задачу. В демонстрации Тайлер попросил создать бегущего робота-курьера в форме коробки с ногами; готовое видео появилось примерно через две минуты.
  5. Доверьте составление промптов встроенным навыкам. В плагин входят навыки, написанные разработчиками PixVerse: в них заложены правила составления промптов для моделей PixVerse. Пример Тайлера: если просто попросить перевернуть блин, он может лишь превратиться в готовый. Промпт, составленный с помощью навыка, по шагам описывает движение лопатки, и переворот получается.

Список плагинов и меню быстро меняются, поэтому приложение у вас может немного отличаться от того, что спикеры показывали 28 и 29 октября.

Вывод 1: используйте видео PixVerse как референс для анимации в Codex

Тайлер разрабатывает игры и сталкивается с тем, что персонажи, анимированные с помощью AI, иногда двигаются неестественно. Его решение — попросить Codex создать референсные изображения персонажа, передать их в PixVerse для генерации видео с ходьбой, а затем попросить Codex перенести это движение на игрового персонажа.

Затем он уточняет результат обычными словами — например, указывает, что на виде спереди колено все еще остается согнутым. По его оценке, весь процесс занял около 20 минут вместо двух-трех часов ручной анимации или работы студии захвата движения, которая стоила бы значительно дороже.

Он показал и другой случай, когда видео становится референсом для дальнейшей работы в других инструментах. Видео PixVerse с роботом-курьером послужило основой для 3D-модели, воссозданной в Blender, а затем — для небольшой игровой демоверсии, где робот движется при щелчках по сцене. По словам Тайлера, AI позволяет выполнить большую часть работы, а видеомодель добавляет сложные для воспроизведения детали движения.

Посмотрите полный урок на YouTube: OpenAI показывает, как создать игру с плагином PixVerse в Codex.

Вывод 2: делайте простые референсы для постоянства персонажей в ChatGPT и Codex

Вопрос о постоянстве персонажей неоднократно возникал во время обсуждения на обеих встречах. Спикеры поделились несколькими советами.

По мнению Хидаята, референсам не требуется много деталей. Достаточно трех видов персонажа — спереди, сзади и сбоку — и одного крупного плана лица. Такой же подход подходит для предметов, транспорта, зданий и окружения. Затем он просит Codex проверять локальную папку с референсами перед каждой генерацией.

Доска референсов Сержа в Canvas

Доска Canvas Сержа с референсами персонажей и локаций.

Серж предложил еще несколько приемов. Не помещайте персонажей на референсы локаций, иначе модель попытается добавить их в кадр. Если на изображении общего плана есть маленькое лицо, закройте его непрозрачным кругом, чтобы модель использовала отдельный крупный план. Для одежды и реквизита сделайте отдельные листы референсов: персонаж, который должен держать нож, может оказаться с телефоном, если реквизит оставить на усмотрение модели. Максимального постоянства между клипами можно добиться, продолжая предыдущее видео, но это требует больше кредитов. Тайлер добавил, что все референсы лучше хранить в одной папке проекта, чтобы Codex помнил расположение элементов сцены.

Вывод 3: сначала сделайте раскадровку в ChatGPT, а затем тратьте кредиты PixVerse

Пример короткой рекламы Альдо

Альдо показал короткую забавную рекламу: пассажирка в наушниках с шумоподавлением не замечает тираннозавра позади себя. Сначала он создал референсные изображения, затем раскадровку и только после этого сгенерировал видео. По его расчетам, раскадровка стоит около 30 кредитов (0,20 USD), а 30-секундное видео — около 1 000 кредитов (примерно 6,60 USD). Когда офисная обстановка показалась неподходящей, он перенес действие на вокзал еще на этапе раскадровки, потратив около 30 кредитов. Когда концовка его не устроила, он заново сгенерировал только последние 10 секунд примерно за 350 кредитов (менее 2,50 USD) — это около трети стоимости повторной генерации всего 30-секундного видео.

Он также заметил, что излишне подробный промпт делал движения персонажа скованными, а сокращение текста решило проблему. Кроме того, он обычно тестирует результат в 480p и улучшает качество позже. Это цифры из его собственного проекта, поэтому ваши расходы могут отличаться.

Изображение из процесса создания рекламы Альдо

Черновые макеты и идеи можно прорабатывать в низком разрешении, а затем повысить разрешение итогового клипа для публикации с помощью мини-приложения PixVerse AI Upscale.

Вывод 4: спланируйте кадр в 3D с помощью ChatGPT до генерации видео

Серж работает над анимационными сериалами, действие которых происходит в реальных и вымышленных местах. Его проблема заключалась в том, что видеомодели не соблюдали пространственное расположение объектов. Поэтому он передает ChatGPT референсные изображения локации, например пирса или бухты с наклонным маяком, и просит построить простую модель в three.js. Затем он перемещает камеру, выбирает нужное кадрирование и сохраняет кадр. После этого он объединяет его с референсами персонажей в PixVerse Canvas и просит PixVerse применить выбранный визуальный стиль к этой композиции.

3D-сцена Сержа с бухтой и наклонным маяком

Простая 3D-модель локации помогает Сержу заранее расположить камеру и выстроить каждый кадр.

3D-модель не обязана быть детальной: ее задача — определить кадрирование и композицию. Тайлер отметил, что раньше такая предварительная визуализация была доступна в основном крупным студиям, работавшим с игровыми движками, а теперь укладывается в домашний бюджет. По словам Сержа, это больше похоже на режиссуру, чем на написание промптов.

Кадр, перенесенный в PixVerse Canvas

На экране Сержа рядом показаны сохраненный кадр в PixVerse Canvas и полученное изображение.

Вывод 5: создавайте навыки один раз и заводите отдельный проект ChatGPT или Codex для каждой задачи

Альдо организует работу как студию. В рабочем пространстве хранятся его навыки, файлы со справочной информацией и проекты; у каждого проекта есть собственная папка и чат, чтобы все решения оставались в переписке. Навык — это инструкция для конкретной задачи, например написания промптов, разработки сюжета, создания миниатюр или субтитров. Его пишут один раз, а затем используют повторно. Если что-то не срабатывает, Альдо добавляет исправление в навык, совершенствуя его с каждым проектом. Навык для миниатюр уже знает его шрифты, цвета и макет, поэтому ему не приходится снова их объяснять.

Многократно используемые навыки Альдо для творческих проектов

Сводка навыков, к которым Альдо просит Codex обращаться каждый раз.

Серж работает в Codex похожим образом. Он создает проект для каждого направления работы и хранит связанные чаты внутри проекта, чтобы сохранить контекст. Кроме того, он объясняет агенту назначение файла, а выбор имени и папки оставляет агенту.

Интересные вопросы участников

Участники задавали разные практические вопросы. Один из них прозвучал на обеих встречах: чем отличаются ChatGPT и Codex? Codex начинался как инструмент для разработчиков, а агентный режим ChatGPT работает на том же движке, но без технического интерфейса. Оба поддерживают плагин PixVerse.

Несколько вопросов о PixVerse касались того, как оба продукта используют одну учетную запись. Поскольку плагин подключается к вашей учетной записи PixVerse, ограничения на генерацию определяются вашим тарифным планом PixVerse независимо от того, создаете ли вы контент непосредственно в PixVerse или через ChatGPT. Все, что вы создаете через ChatGPT, также появляется в PixVerse. Однако видео, которые вы ранее создали на сайте PixVerse, в ChatGPT не отображаются.

Canvas, рабочее пространство PixVerse с узловой структурой, тоже вызвал вопросы. Пол показал, как референсное изображение в одном узле используется для следующего видео и как отдельные клипы можно соединить в короткометражный фильм.

Демонстрация PixVerse Canvas от Пола

Пошаговая демонстрация инструмента PixVerse Canvas.

Просто начните

Альдо посоветовал новичкам начать, ожидать, что первая попытка будет несовершенной, и продолжать дорабатывать результат.

Серж предложил задуматься, где живет творчество: в щелчках мышью или в идее, ради которой вы вообще начали осваивать инструменты. Для него ответ — в идее. По его словам, агенты помогают воплотить больше того, что раньше оставалось лишь у него в голове.

Оба автора начали с идеи, а инструменты помогли перенести ее на экран. Сочетание ChatGPT или Codex с PixVerse ускоряет повторные доработки — именно так была завершена большая часть работ, показанных на встречах.

Смотрите серию Prompt to Production с OpenAI на YouTube

Основные моменты встреч вошли в короткие уроки на YouTube-канале PixVerse в рамках плейлиста Prompt to Production с OpenAI.