PixVerse 与 OpenAI 的 Prompt to Production:五点实用经验

回顾 PixVerse 与 OpenAI 的 Prompt to Production 活动,了解 PixVerse 插件设置、故事板制作、角色一致性和 Skill 复用。

News •
PixVerse 与 OpenAI 的 Prompt to Production 活动回顾

10 月 28 日和 29 日,PixVerse 与 OpenAI 分别面向亚太地区和北美地区举办了两场 Prompt to Production 直播活动,吸引了来自世界各地的数百人参加。PixVerse 美国市场负责人 Paul Hsu 主持了两场活动。OpenAI 应用 AI 工程团队的 Tyler Ryu 两次参与分享,PixVerse 创作者合作伙伴计划的成员——来自印度尼西亚的 Aldo 和 Hidayat 以及来自美国的 Serge Donaldson——也加入了演示。所有演讲者都展示了如何借助 ChatGPT、Codex 和 PixVerse 插件,将创意简报转化为成片视频。

这两场活动建立在 PixVerse 与 OpenAI 已有的产品集成之上。PixVerse 插件原生支持 ChatGPT 和 Codex,为视频、图片和音频创作提供端到端工作流,近期还增加了对 PixVerse AI 视频项目工作台 Canvas 的支持。PixVerse CLI 则将 Codex 变成 AI 内容工作室,让用户在一处完成视频、图片和音频生成。这两款工具目前均已开放使用,而 PixVerse YouTube 频道上的 Prompt to Production 视频系列则将分享延续到了网络研讨会之外。

如何在 ChatGPT 和 Codex 中设置 PixVerse 插件

在 ChatGPT 和 Codex 中设置 PixVerse 插件

OpenAI 应用工程师 Tyler Ryu 在 Prompt to Production 网络研讨会上演示如何在 ChatGPT 和 Codex 中查找并安装 PixVerse 插件。

Tyler 的演示将设置过程分为五步。

  1. 在电脑上安装应用。 使用 Codex 应用或本地运行的 ChatGPT 智能体模式,才能访问电脑上的文件。若要确认当前是在本地还是云端运行,请查看聊天界面顶部:云朵图标表示您使用的是云端版本,无法访问电脑上的文件。
  2. 在 Plugins 中搜索“PixVerse”。 活动演示时出现了两个结果。旧版标有 legacy,并计划停用,因此应选择新版。
  3. 登录 PixVerse。 安装时系统会提示您登录,从而让智能体通过认证连接到您的 PixVerse 账户。
  4. 直接点名调用。 输入 @PixVerse,再用日常语言描述需求。Tyler 在演示中要求生成一段盒状、有腿、正在奔跑的配送机器人视频,约两分钟后便得到了成片。
  5. 让插件内置的 Skill 编写提示词。 插件包含 PixVerse 开发者编写的 Skill,融入了针对 PixVerse 模型的提示词写法。Tyler 举例说,简单要求“翻转煎饼”,可能只会得到一张突然变熟的煎饼;而 Skill 编写的提示词会逐步描述锅铲的动作,让翻转过程得以实现。

插件列表和菜单变化很快,因此您在应用中看到的界面可能与 10 月 28 日和 29 日演示时略有不同。

经验一:在 Codex 中用 PixVerse 视频作为动画参考

Tyler 从事游戏开发,发现 AI 动画角色的动作常常不自然。他的做法是先让 Codex 制作角色参考图,再交给 PixVerse 生成行走视频,最后让 Codex 将视频中的动作复现到游戏角色上。

随后,他用自然语言继续调整结果,例如指出正面视角中的膝盖一直弯曲。据他估计,整个过程约耗时 20 分钟;手工制作同样的动画则需要两到三个小时,而动作捕捉工作室的费用要高得多。

他还展示了另一种用法:把视频作为其他工具的参考。一段 PixVerse 生成的配送机器人视频先被用于在 Blender 中重建 3D 模型,再被做成一个可点击操控、机器人会随之运动的小游戏演示。他的体会是,AI 能完成大部分工作,而视频模型能够补上其他方式难以实现的动作细节。

在 YouTube 观看完整教程:OpenAI 分享:使用 Codex 中的 PixVerse 插件制作游戏。

经验二:在 ChatGPT 和 Codex 中用简洁参考资料保持角色一致

两场活动的问答环节都多次谈到角色一致性,演讲者分享了几条建议。

Hidayat 认为,参考资料不必过于复杂。角色的正面、背面、侧面三视图,加上一张面部特写就足够了;物体、车辆、建筑和场景也可以采用同样的方法。之后,他会指示 Codex 在生成内容前先检查本地参考文件夹。

Serge 在 PixVerse Canvas 中的参考板

Serge 的 Canvas 画板,包含角色和场景参考图。

Serge 还补充了几个细节。场景参考图中不要出现角色,否则模型可能试图把角色加入画面。如果一张远景参考图里有一张很小的人脸,就用不透明的圆形遮住,让模型改用您提供的面部特写。服装和道具也应各自制作参考图:如果不明确指定道具,本应拿着刀的角色可能会拿起手机。要让不同片段之间的连续性尽可能强,可以从上一段视频续写,但这会消耗更多积分。Tyler 还建议将全部参考资料放进同一个项目文件夹,方便 Codex 记住场景的布局。

经验三:先在 ChatGPT 中制作故事板,后期再使用 PixVerse 积分

Aldo 的短视频广告示例

Aldo 分享了一则幽默短广告:一位戴着降噪耳机的通勤者始终没有注意到身后的霸王龙。他先制作参考图,再做故事板,最后才生成视频。按照他项目中的数字,制作故事板约需 30 积分(0.20 美元),生成 30 秒视频约需 1,000 积分(约 6.60 美元)。当他觉得办公室场景不合适时,只花了约 30 积分,就在故事板阶段将场景改到了火车站。结尾效果不满意时,他只重新生成了最后 10 秒,花费约 350 积分(低于 2.50 美元),约为重新制作整段 30 秒视频费用的三分之一。

他还发现,提示词写得过于详细会让角色动作显得僵硬,精简之后效果反而改善。他的另一个习惯是先以 480p 测试,之后再进行画质增强。这些数字来自他自己的项目,您的实际花费可能有所不同。

Aldo 视频广告工作流中的图片

可以先用低分辨率制作样稿、探索创意,再用 PixVerse 的 AI Upscale 小应用将最终片段提升至适合发布的更高分辨率。

经验四:生成视频前,先在 ChatGPT 中用 3D 模型确定镜头

Serge 制作的动画剧集发生在真实或想象中的地点。他遇到的问题是,视频模型常常无法准确遵循空间关系。为此,他会给 ChatGPT 一些场景参考图,比如码头,或有一座倾斜灯塔的海湾,并要求它搭建一个简单的 three.js 模型。他可以移动镜头、确定想要的构图,再保存对应画面。随后,他将这张画面与角色参考图一起放入 PixVerse Canvas,让 PixVerse 按该构图呈现预期的视觉风格。

Serge 制作的倾斜灯塔海湾 3D 场景

简单的场景 3D 模型让 Serge 可以先摆放摄像机,确定每个镜头的构图。

这个 3D 模型不必精细,因为它只需要解决取景和构图问题。Tyler 指出,以前这类预演通常是大工作室在游戏引擎中完成的,如今用家庭预算也能实现。Serge 说,这样的过程更像是在执导,而不只是编写提示词。

导入 PixVerse Canvas 的镜头画面

Serge 的屏幕展示了 PixVerse Canvas 中保存的画面,以及旁边生成的图片。

经验五:Skill 编写一次即可复用,并为每项工作建立独立的 ChatGPT 或 Codex 项目

Aldo 像运营工作室一样管理自己的工作。一个工作区集中存放他的 Skill、知识文件和项目;每个项目都有独立的文件夹和聊天,让所有决策都留在同一段对话中。Skill 就是针对某项工作的操作手册,例如编写提示词、构思故事、制作缩略图或撰写字幕。它只需编写一次,就能反复使用;每当某个环节出问题,他都会把解决办法写回 Skill,让它随项目不断改进。他制作缩略图的 Skill 已经记住了字体、颜色和版式,不必每次重新说明。

Aldo 用于创意项目的可复用 Skill

Aldo 让 Codex 每次都参考的 Skill 概览。

Serge 在 Codex 中采用了类似方法。他为每类工作建立一个项目,并把相关聊天放在其中,以便保留更完整的上下文。他还会告诉智能体文件的用途,再让智能体自行命名文件并选择存放文件夹。

现场问答中的有趣问题

与会者提出了各种实用问题,其中一个问题在两场活动中都被问到:ChatGPT 和 Codex 有什么区别?Codex 最初是面向开发者的工具,而 ChatGPT 的智能体模式使用同一底层引擎,但界面没有那么多技术元素。两者都能运行 PixVerse 插件。

另一些与 PixVerse 有关的问题聚焦于两个产品如何共用账户。由于插件连接的是您的 PixVerse 账户,无论您直接在 PixVerse 生成内容,还是通过 ChatGPT 生成,生成限制都取决于您的 PixVerse 方案;通过 ChatGPT 生成的内容也会显示在 PixVerse 中。不过,您先前在 PixVerse 网站上制作的视频不会出现在 ChatGPT 中。

PixVerse 的节点式项目工作区 Canvas 也引发了讨论。Paul 演示了如何让一个节点中的参考图供下一个视频节点使用,以及如何将不同片段拼接成短片。

Paul 演示 PixVerse Canvas

PixVerse Canvas 工具操作演示。

从开始动手做起

Aldo 给初学者的建议是:先开始,接受第一次尝试可能并不理想,然后不断迭代。

Serge 问道:创造力究竟存在于点击鼠标的动作中,还是存在于促使您学习这些工具的创意中?对他来说,答案是后者。他说,智能体能帮助他把脑海中的更多想法呈现出来。

两位创作者都是从一个想法出发,借助工具将它呈现在屏幕上。将 ChatGPT 或 Codex 与 PixVerse 结合使用,可以更快地反复尝试;活动中展示的大多数作品也正是这样完成的。

在 YouTube 观看 Prompt to Production with OpenAI 系列

两场活动的内容已经整理成简短的教程视频,发布在 PixVerse YouTube 频道的 Prompt to Production with OpenAI 播放列表中。