OpenAI と学ぶ Prompt to Production:5つのポイント

PixVerse と OpenAI の Prompt to Production セッションから、プラグインの設定、絵コンテ制作、再利用できるスキルの構築まで、5つの学びを紹介します。

News •
PixVerse と OpenAI による Prompt to Production イベントの振り返り

10月28日と29日、PixVerse と OpenAI は、APAC と北米向けにそれぞれライブセッション「Prompt to Production」を開催し、世界各地から数百人が参加しました。両セッションの司会は、PixVerse の米国マーケティング責任者 Paul Hsu が務めました。OpenAI の応用 AI エンジニアリングチームに所属する Tyler Ryu に加え、PixVerse Creator Partner Programme のクリエイターであるインドネシアの Aldo と Hidayat、米国の Serge Donaldson も両セッションに登壇しました。登壇者たちは、ChatGPT、Codex、PixVerse プラグインを使い、制作依頼から完成動画までどのように進めたかを実演しました。

今回のセッションは、PixVerse が OpenAI と進めてきた製品連携を土台にしています。ChatGPT と Codex で標準的に利用できる PixVerse プラグインは、動画・画像・音声を一貫して制作できるワークフローを提供し、最近では AI 動画制作ワークベンチ「PixVerse Canvas」にも対応しました。PixVerse CLI を使えば、Codex を AI コンテンツ制作スタジオとして活用し、動画・画像・音声の生成を一か所で行えます。どちらも現在利用可能です。また、PixVerse の YouTube チャンネルで続く Prompt to Production 動画シリーズ は、ウェビナーの内容をさらに広げています。

ChatGPT と Codex で PixVerse プラグインを設定する方法

ChatGPT と Codex での PixVerse プラグインの設定

OpenAI の応用エンジニア Tyler Ryu が、Prompt to Production ウェビナーで ChatGPT と Codex に PixVerse プラグインを見つけてインストールする方法を実演しています。

Tyler は、設定方法を次の 5 ステップで説明しました。

  1. アプリをパソコンにインストールします。 ローカルファイルにアクセスできるよう、Codex アプリか ChatGPT のエージェントモードのローカル版を使います。パソコン上で動いているかクラウド上で動いているかを確かめるには、チャット上部を確認します。雲のアイコンがあればクラウド版で、パソコン上のファイルにはアクセスできません。
  2. 「PixVerse」をプラグインで検索します。 セッション中には 2 つの登録が表示されました。古い方には「legacy」と表示され、廃止予定だったため、新しい方を選びます。
  3. PixVerse にログインします。 インストール時にログインを求められます。これにより、エージェントが認証済みの PixVerse アカウントに直接接続されます。
  4. 名前を指定して呼び出します。 @PixVerse と入力し、作りたいものを自然な言葉で説明します。Tyler のデモでは、脚のある箱型の配達ロボットが走る動画を依頼し、約 2 分で完成しました。
  5. 付属のスキルにプロンプト作成を任せます。 プラグインには、PixVerse の開発者が作成した、同社のモデル向けのプロンプト作成方法を組み込んだスキルが含まれています。Tyler が示した例では、単にパンケーキをひっくり返すよう依頼すると、パンケーキが突然焼き上がった状態に変わるだけの場合があります。一方、スキルを使ったプロンプトでは、へらの動きを段階的に記述するため、ひっくり返す動作を表現できます。

プラグインの登録やメニューはすぐに変わるため、アプリで表示される内容は 10月28日・29日に登壇者が示したものと多少異なる場合があります。

ポイント 1:PixVerse 動画を Codex でのアニメーション制作の参考にする

ゲームを制作する Tyler は、AI で動かしたキャラクターの動きが不自然になりがちだといいます。そこで Codex にキャラクターの参考画像を作らせ、それを PixVerse に入力して歩行動画を生成し、Codex でその動きをゲームのキャラクターに反映させました。

その後は、正面から見ると膝が曲がったままだと指摘するなど、自然な言葉で結果を調整しました。本人の見積もりでは、全工程にかかった時間は約 20 分です。手作業のアニメーションなら 2~3 時間、モーションキャプチャースタジオを使えば費用は大幅に高くなるとのことです。

動画をほかのツールの参考資料にする使い方も紹介しました。PixVerse で作った配達ロボットの動画をもとに Blender で 3D モデルを再構築し、クリックに合わせてロボットが動く、小さなプレイ可能なゲームデモへと発展させました。AI で大部分を形にでき、動画モデルはほかでは難しい動きの仕上げを担える、というのが Tyler の考えです。

詳しいチュートリアルは YouTube で視聴できます:OpenAI による共有:Codex の PixVerse プラグインでゲームを制作。

ポイント 2:ChatGPT と Codex でキャラクターの一貫性を保つため、参考資料はシンプルにする

両セッションの質疑応答では、一貫性が繰り返し話題に上り、登壇者たちがいくつかのコツを共有しました。

Hidayat によれば、参考資料に細部を詰め込みすぎる必要はありません。キャラクターの正面・背面・側面の 3 方向と、顔のクローズアップ 1 枚で十分です。物、乗り物、建物、風景にも同じ方法を使えます。そのうえで、生成する前にローカルの参考資料フォルダーを確認するよう Codex に指示します。

Serge の PixVerse Canvas 上の参考資料ボード

キャラクターと場所の参考資料をまとめた Serge の PixVerse Canvas ボード。

Serge はさらに、いくつかの工夫を紹介しました。ロケーションの参考画像にキャラクターを入れると、モデルがそのキャラクターを画面に配置しようとするため、含めないようにします。引きの参考画像に小さな顔が写っている場合は、不透明な円で覆い、代わりに顔のクローズアップを使わせます。衣装や小道具には専用の参考シートを用意します。小道具を成り行きに任せると、ナイフを持つはずのキャラクターが電話を持つこともあります。クリップ間で最も強い一貫性を得るには、前の動画から延長しますが、その分クレジットを多く消費します。Tyler は、Codex がシーンの構成を把握できるよう、すべての参考資料を一つのプロジェクトフォルダーにまとめることも勧めました。

ポイント 3:ChatGPT で先に絵コンテを作り、PixVerse クレジットを使うのは後にする

Aldo の短い動画広告の例

Aldo が紹介したのは、ノイズキャンセリングイヤホンを着けた通勤客が背後の T-Rex にまったく気づかない、短くユーモラスな広告です。まず参考画像、次に絵コンテを作り、それから動画を生成しました。本人の数字では、絵コンテの制作には約 30 クレジット(USD 0.20)、30 秒の動画には約 1,000 クレジット(約 USD 6.60)がかかります。オフィスという設定が合わないと感じたときは、絵コンテの段階で約 30 クレジットを使い、舞台を駅に変更しました。結末が気に入らなかったときは、最後の 10 秒だけを約 350 クレジット(USD 2.50 未満)で再生成しました。30 秒の動画全体を作り直す費用の約 3 分の 1 です。

プロンプトを細かく指定しすぎるとキャラクターの動きが硬くなり、短くすることで改善したともいいます。また、まず 480p で試し、後から高画質化するようにしています。これらは本人のプロジェクトでの数字であり、実際の費用は異なります。

Aldo の動画広告の制作ワークフローで使った画像

モックアップやアイデア出しは低解像度で進め、公開前に PixVerse のミニアプリ「AI Upscale」で最終クリップの解像度を高められます。

ポイント 4:動画を生成する前に ChatGPT で 3D の構図を決める

Serge は現実や架空の場所を舞台にしたアニメーションシリーズを制作していますが、動画モデルが空間の配置を守らないことに悩んでいました。そこで桟橋や傾いた灯台のある湾など、ロケーションの参考画像を ChatGPT に渡し、簡単な three.js モデルを作らせます。カメラを動かして望む構図を決め、そのフレームを保存します。その後、PixVerse Canvas でそのフレームとキャラクターの参考資料を組み合わせ、PixVerse にその構図に合わせた見た目を適用するよう依頼します。

傾いた灯台のある湾を再現した Serge の 3D シーン

シンプルなロケーションの 3D モデルを使うと、Serge はまずカメラ位置を決めて各ショットの構図を整えられます。

3D モデルを細かく作る必要はありません。決めるべきなのはフレームと構図だけだからです。Tyler は、こうした事前視覚化はかつてゲームエンジンを使う大規模スタジオの仕事だったものの、今は家庭でも手が届く予算でできると指摘しました。Serge は、プロンプトを書くというより演出している感覚に近いと語りました。

PixVerse Canvas に取り込んだショット

PixVerse Canvas に保存したフレームと、そのフレームから生成された画像を並べて表示した Serge の画面。

ポイント 5:スキルは一度作り、仕事ごとに ChatGPT または Codex のプロジェクトを分ける

Aldo はスタジオのように作業を進めています。ワークスペースにはスキル、ナレッジファイル、プロジェクトを置き、各プロジェクトには専用のフォルダーとチャットを用意するため、判断の経緯がすべて会話に残ります。スキルは、プロンプト作成、ストーリー、サムネイル、キャプションなど、一つの仕事のための手順書です。一度作れば繰り返し使え、問題が起きたときは解決策をスキルに書き戻して、プロジェクトを重ねるたびに改善します。サムネイル用スキルにはフォント、色、レイアウトがすでに登録されており、毎回説明し直す必要はありません。

クリエイティブなプロジェクト向けに Aldo が作った再利用可能なスキル

Aldo が Codex に毎回参照させているスキルの概要。

Serge も Codex で同じように作業します。制作する仕事ごとにプロジェクトを作り、関連するチャットをその中にまとめて、文脈を保ちます。また、ファイルが何であるかをエージェントに伝え、ファイル名や保存先のフォルダーはエージェントに決めさせます。

参加者から寄せられた質問

参加者からはさまざまな実用的な質問が寄せられ、両セッションで共通していたのが、ChatGPT と Codex はどう違うのかという質問です。Codex は開発者向けツールとして始まり、ChatGPT のエージェントモードは同じエンジンを技術者向けのインターフェースなしで使えます。どちらでも PixVerse プラグインを利用できます。

PixVerse に関する質問のいくつかは、両製品でアカウントがどう共有されるかに集中しました。プラグインは PixVerse アカウントに接続するため、PixVerse 上で直接生成する場合も ChatGPT 経由で生成する場合も、生成上限は PixVerse のプランに従います。ChatGPT 経由で生成したものは PixVerse にも表示されます。一方、以前 PixVerse のウェブサイトで作った動画は ChatGPT には表示されません。

ノードベースのプロジェクトワークスペースであるPixVerse Canvasについても質問がありました。Paul は、一つのノードにある参考画像が次の動画にどう引き継がれるか、また別々のクリップをつないで短編映画にする方法を示しました。

Paul による PixVerse Canvas のデモ

PixVerse Canvas の操作手順を紹介するデモ。

まず始めること

初心者に向けた Aldo の助言は、まず始めて、最初の試みはうまくいかなくても当然と考え、改善を重ねることです。

Serge は、創造性はマウスをクリックする動作にあるのか、それともツールを学ぼうと思わせたアイデアにあるのかと問いかけました。彼にとっては後者であり、エージェントを使えば頭の中のアイデアをもっと形にできるといいます。

登壇した二人のクリエイターは、いずれもアイデアから出発し、ツールを使ってそれを映像化しました。ChatGPT または Codex と PixVerse を組み合わせることで、試行錯誤をより速く進められます。今回のセッションで示された作品の多くも、そのようにして完成しました。

YouTube で Prompt to Production with OpenAI シリーズを見る

セッションの内容は、PixVerse の YouTube チャンネルで公開されている Prompt to Production with OpenAI の再生リストの一部として、短いチュートリアル動画にまとめられています。