PixVerse 与 OpenAI 的 Prompt to Production:五点实用经验
回顾 PixVerse 与 OpenAI 的 Prompt to Production 活动,了解 PixVerse 插件设置、故事板制作、角色一致性和 Skill 复用。
10 月 28 日和 29 日,PixVerse 与 OpenAI 分别面向亚太地区和北美地区举办了两场 Prompt to Production 直播活动,吸引了来自世界各地的数百人参加。PixVerse 美国市场负责人 Paul Hsu 主持了两场活动。OpenAI 应用 AI 工程团队的 Tyler Ryu 两次参与分享,PixVerse 创作者合作伙伴计划的成员——来自印度尼西亚的 Aldo 和 Hidayat 以及来自美国的 Serge Donaldson——也加入了演示。所有演讲者都展示了如何借助 ChatGPT、Codex 和 PixVerse 插件,将创意简报转化为成片视频。
这两场活动建立在 PixVerse 与 OpenAI 已有的产品集成之上。PixVerse 插件原生支持 ChatGPT 和 Codex,为视频、图片和音频创作提供端到端工作流,近期还增加了对 PixVerse AI 视频项目工作台 Canvas 的支持。PixVerse CLI 则将 Codex 变成 AI 内容工作室,让用户在一处完成视频、图片和音频生成。这两款工具目前均已开放使用,而 PixVerse YouTube 频道上的 Prompt to Production 视频系列则将分享延续到了网络研讨会之外。
如何在 ChatGPT 和 Codex 中设置 PixVerse 插件
OpenAI 应用工程师 Tyler Ryu 在 Prompt to Production 网络研讨会上演示如何在 ChatGPT 和 Codex 中查找并安装 PixVerse 插件。
Tyler 的演示将设置过程分为五步。
- 在电脑上安装应用。 使用 Codex 应用或本地运行的 ChatGPT 智能体模式,才能访问电脑上的文件。若要确认当前是在本地还是云端运行,请查看聊天界面顶部:云朵图标表示您使用的是云端版本,无法访问电脑上的文件。
- 在 Plugins 中搜索“PixVerse”。 活动演示时出现了两个结果。旧版标有 legacy,并计划停用,因此应选择新版。
- 登录 PixVerse。 安装时系统会提示您登录,从而让智能体通过认证连接到您的 PixVerse 账户。
- 直接点名调用。 输入 @PixVerse,再用日常语言描述需求。Tyler 在演示中要求生成一段盒状、有腿、正在奔跑的配送机器人视频,约两分钟后便得到了成片。
- 让插件内置的 Skill 编写提示词。 插件包含 PixVerse 开发者编写的 Skill,融入了针对 PixVerse 模型的提示词写法。Tyler 举例说,简单要求“翻转煎饼”,可能只会得到一张突然变熟的煎饼;而 Skill 编写的提示词会逐步描述锅铲的动作,让翻转过程得以实现。
插件列表和菜单变化很快,因此您在应用中看到的界面可能与 10 月 28 日和 29 日演示时略有不同。
经验一:在 Codex 中用 PixVerse 视频作为动画参考
Tyler 从事游戏开发,发现 AI 动画角色的动作常常不自然。他的做法是先让 Codex 制作角色参考图,再交给 PixVerse 生成行走视频,最后让 Codex 将视频中的动作复现到游戏角色上。
随后,他用自然语言继续调整结果,例如指出正面视角中的膝盖一直弯曲。据他估计,整个过程约耗时 20 分钟;手工制作同样的动画则需要两到三个小时,而动作捕捉工作室的费用要高得多。
他还展示了另一种用法:把视频作为其他工具的参考。一段 PixVerse 生成的配送机器人视频先被用于在 Blender 中重建 3D 模型,再被做成一个可点击操控、机器人会随之运动的小游戏演示。他的体会是,AI 能完成大部分工作,而视频模型能够补上其他方式难以实现的动作细节。
在 YouTube 观看完整教程:OpenAI 分享:使用 Codex 中的 PixVerse 插件制作游戏。
经验二:在 ChatGPT 和 Codex 中用简洁参考资料保持角色一致
两场活动的问答环节都多次谈到角色一致性,演讲者分享了几条建议。
Hidayat 认为,参考资料不必过于复杂。角色的正面、背面、侧面三视图,加上一张面部特写就足够了;物体、车辆、建筑和场景也可以采用同样的方法。之后,他会指示 Codex 在生成内容前先检查本地参考文件夹。
Serge 的 Canvas 画板,包含角色和场景参考图。
Serge 还补充了几个细节。场景参考图中不要出现角色,否则模型可能试图把角色加入画面。如果一张远景参考图里有一张很小的人脸,就用不透明的圆形遮住,让模型改用您提供的面部特写。服装和道具也应各自制作参考图:如果不明确指定道具,本应拿着刀的角色可能会拿起手机。要让不同片段之间的连续性尽可能强,可以从上一段视频续写,但这会消耗更多积分。Tyler 还建议将全部参考资料放进同一个项目文件夹,方便 Codex 记住场景的布局。
经验三:先在 ChatGPT 中制作故事板,后期再使用 PixVerse 积分
Aldo 分享了一则幽默短广告:一位戴着降噪耳机的通勤者始终没有注意到身后的霸王龙。他先制作参考图,再做故事板,最后才生成视频。按照他项目中的数字,制作故事板约需 30 积分(0.20 美元),生成 30 秒视频约需 1,000 积分(约 6.60 美元)。当他觉得办公室场景不合适时,只花了约 30 积分,就在故事板阶段将场景改到了火车站。结尾效果不满意时,他只重新生成了最后 10 秒,花费约 350 积分(低于 2.50 美元),约为重新制作整段 30 秒视频费用的三分之一。
他还发现,提示词写得过于详细会让角色动作显得僵硬,精简之后效果反而改善。他的另一个习惯是先以 480p 测试,之后再进行画质增强。这些数字来自他自己的项目,您的实际花费可能有所不同。
可以先用低分辨率制作样稿、探索创意,再用 PixVerse 的 AI Upscale 小应用将最终片段提升至适合发布的更高分辨率。
经验四:生成视频前,先在 ChatGPT 中用 3D 模型确定镜头
Serge 制作的动画剧集发生在真实或想象中的地点。他遇到的问题是,视频模型常常无法准确遵循空间关系。为此,他会给 ChatGPT 一些场景参考图,比如码头,或有一座倾斜灯塔的海湾,并要求它搭建一个简单的 three.js 模型。他可以移动镜头、确定想要的构图,再保存对应画面。随后,他将这张画面与角色参考图一起放入 PixVerse Canvas,让 PixVerse 按该构图呈现预期的视觉风格。
简单的场景 3D 模型让 Serge 可以先摆放摄像机,确定每个镜头的构图。
这个 3D 模型不必精细,因为它只需要解决取景和构图问题。Tyler 指出,以前这类预演通常是大工作室在游戏引擎中完成的,如今用家庭预算也能实现。Serge 说,这样的过程更像是在执导,而不只是编写提示词。
Serge 的屏幕展示了 PixVerse Canvas 中保存的画面,以及旁边生成的图片。
经验五:Skill 编写一次即可复用,并为每项工作建立独立的 ChatGPT 或 Codex 项目
Aldo 像运营工作室一样管理自己的工作。一个工作区集中存放他的 Skill、知识文件和项目;每个项目都有独立的文件夹和聊天,让所有决策都留在同一段对话中。Skill 就是针对某项工作的操作手册,例如编写提示词、构思故事、制作缩略图或撰写字幕。它只需编写一次,就能反复使用;每当某个环节出问题,他都会把解决办法写回 Skill,让它随项目不断改进。他制作缩略图的 Skill 已经记住了字体、颜色和版式,不必每次重新说明。
Aldo 让 Codex 每次都参考的 Skill 概览。
Serge 在 Codex 中采用了类似方法。他为每类工作建立一个项目,并把相关聊天放在其中,以便保留更完整的上下文。他还会告诉智能体文件的用途,再让智能体自行命名文件并选择存放文件夹。
现场问答中的有趣问题
与会者提出了各种实用问题,其中一个问题在两场活动中都被问到:ChatGPT 和 Codex 有什么区别?Codex 最初是面向开发者的工具,而 ChatGPT 的智能体模式使用同一底层引擎,但界面没有那么多技术元素。两者都能运行 PixVerse 插件。
另一些与 PixVerse 有关的问题聚焦于两个产品如何共用账户。由于插件连接的是您的 PixVerse 账户,无论您直接在 PixVerse 生成内容,还是通过 ChatGPT 生成,生成限制都取决于您的 PixVerse 方案;通过 ChatGPT 生成的内容也会显示在 PixVerse 中。不过,您先前在 PixVerse 网站上制作的视频不会出现在 ChatGPT 中。
PixVerse 的节点式项目工作区 Canvas 也引发了讨论。Paul 演示了如何让一个节点中的参考图供下一个视频节点使用,以及如何将不同片段拼接成短片。
PixVerse Canvas 工具操作演示。
从开始动手做起
Aldo 给初学者的建议是:先开始,接受第一次尝试可能并不理想,然后不断迭代。
Serge 问道:创造力究竟存在于点击鼠标的动作中,还是存在于促使您学习这些工具的创意中?对他来说,答案是后者。他说,智能体能帮助他把脑海中的更多想法呈现出来。
两位创作者都是从一个想法出发,借助工具将它呈现在屏幕上。将 ChatGPT 或 Codex 与 PixVerse 结合使用,可以更快地反复尝试;活动中展示的大多数作品也正是这样完成的。
在 YouTube 观看 Prompt to Production with OpenAI 系列
两场活动的内容已经整理成简短的教程视频,发布在 PixVerse YouTube 频道的 Prompt to Production with OpenAI 播放列表中。