Fünf Erkenntnisse aus Prompt to Production mit OpenAI

Fünf Erkenntnisse aus den Sessions von PixVerse und OpenAI: vom Einrichten des PixVerse-Plugins über Storyboards bis zu wiederverwendbaren Skills.

News •
Rückblick auf die Prompt-to-Production-Veranstaltungen von PixVerse und OpenAI

Am 28. und 29. Oktober veranstalteten PixVerse und OpenAI zwei Live-Sessions zu Prompt to Production, eine für die Region Asien-Pazifik und eine für Nordamerika. Hunderte Menschen aus aller Welt nahmen teil. Paul Hsu, der das Marketing von PixVerse in den USA leitet, moderierte beide Sessions. Tyler Ryu aus dem Team für angewandte KI-Technik bei OpenAI war jeweils dabei, ebenso Kreative aus dem PixVerse Creator Partner Programme: Aldo und Hidayat aus Indonesien sowie Serge Donaldson aus den USA. Alle zeigten, wie sie mit ChatGPT, Codex und dem PixVerse-Plugin von einem Kreativbriefing zu einem fertigen Video gelangen.

Die Sessions bauen auf Produktintegrationen auf, die PixVerse bereits mit OpenAI entwickelt hat. Das PixVerse-Plugin ist nativ in ChatGPT und Codex verfügbar und bietet einen durchgängigen Workflow für Video, Bild und Audio. Kürzlich wurde es um Unterstützung für Canvas erweitert, den KI-Video-Projektworkspace von PixVerse. PixVerse CLI macht Codex zu einem KI-Content-Studio, in dem Video-, Bild- und Audiogenerierung an einem Ort verfügbar sind. Beide Angebote sind heute verfügbar. Die fortlaufende Videoreihe Prompt to Production auf dem YouTube-Kanal von PixVerse führt die Arbeit über die Webinare hinaus fort.

So richten Sie das PixVerse-Plugin in ChatGPT und Codex ein

Einrichtung des PixVerse-Plugins in ChatGPT und Codex

Tyler Ryu, Applied Engineer bei OpenAI, zeigt im Webinar Prompt to Production, wie man das PixVerse-Plugin in ChatGPT und Codex findet und installiert.

Tyler erklärte die Einrichtung in fünf Schritten.

  1. Installieren Sie die App auf Ihrem Computer. Nutzen Sie die Codex-App oder die lokale Version des agentischen Modus von ChatGPT, damit der Agent auf Dateien auf Ihrem Computer zugreifen kann. Ob die Anwendung lokal oder in der Cloud läuft, erkennen Sie oben im Chat: Ein Cloud-Symbol bedeutet, dass Sie die Cloud-Version nutzen, die nicht auf Ihre lokalen Dateien zugreifen kann.
  2. Suchen Sie unter „Plugins“ nach „PixVerse“. Während der Sessions wurden zwei Einträge angezeigt. Der ältere trug die Kennzeichnung „legacy“ und sollte eingestellt werden. Wählen Sie deshalb den neuen Eintrag.
  3. Melden Sie sich bei PixVerse an. Bei der Installation werden Sie zur Anmeldung aufgefordert. Dadurch erhält der Agent eine direkte, authentifizierte Verbindung zu Ihrem PixVerse-Konto.
  4. Sprechen Sie das Plugin mit Namen an. Geben Sie @PixVerse ein und beschreiben Sie Ihren Wunsch in einfachen Worten. In Tylers Demo ging es um einen laufenden Lieferroboter mit einem kastenförmigen Körper und Beinen. Das fertige Video war nach etwa zwei Minuten bereit.
  5. Lassen Sie die integrierten Skills die Prompts ausarbeiten. Das Plugin enthält Skills von PixVerse-Entwicklern, die das Wissen über wirksame Prompts für die PixVerse-Modelle bündeln. Tyler zeigte ein Beispiel: Eine knappe Bitte, einen Pfannkuchen zu wenden, kann dazu führen, dass er einfach fertig gebacken erscheint. Ein mithilfe des Skills formulierter Prompt beschreibt dagegen die Bewegung des Pfannenwenders Schritt für Schritt, sodass das Wenden gelingt.

Plugin-Einträge und Menüs ändern sich schnell. Was Sie in der App sehen, kann deshalb leicht von der Vorführung am 28. und 29. Oktober abweichen.

Erkenntnis 1: PixVerse-Videos in Codex als Animationsreferenz nutzen

Tyler entwickelt Spiele und kennt das Problem, dass sich KI-animierte Figuren mitunter unnatürlich bewegen. Seine Lösung: Er ließ Codex Referenzbilder einer Figur erstellen, nutzte sie in PixVerse für ein Video der gehenden Figur und ließ Codex diese Bewegung auf die Spielfigur übertragen.

Anschließend verfeinerte er das Ergebnis mit einfachen Anweisungen. Zum Beispiel wies er darauf hin, dass das Knie in der Vorderansicht gebeugt blieb. Seiner Schätzung nach dauerte der gesamte Ablauf etwa 20 Minuten. Eine Animation von Hand hätte zwei bis drei Stunden gebraucht; ein Motion-Capture-Studio wäre deutlich teurer gewesen.

Er zeigte noch eine zweite Möglichkeit, bei der ein Video als Grundlage für andere Tools dient. Aus einem PixVerse-Video eines Lieferroboters entstand ein in Blender nachgebautes 3D-Modell und daraus eine kleine spielbare Demo, in der sich der Roboter bei Klicks durch die Umgebung bewegt. Sein Fazit: KI erledigt bereits einen großen Teil der Arbeit; ein Videomodell kann die letzte, sonst schwer umzusetzende Bewegungsnuance beisteuern.

Das vollständige Tutorial finden Sie auf YouTube: OpenAI zeigt, wie man mit dem PixVerse-Plugin in Codex ein Spiel erstellt.

Erkenntnis 2: Einfache Referenzen für konsistente Figuren in ChatGPT und Codex

Die Konsistenz von Figuren kam in den Fragerunden beider Sessions mehrfach zur Sprache. Die Vortragenden gaben dazu einige Tipps.

Hidayats Regel lautet: Referenzen müssen nicht übermäßig detailliert sein. Drei Ansichten einer Figur – von vorn, hinten und der Seite – sowie eine Großaufnahme des Gesichts reichen aus. Dasselbe Prinzip funktioniert für Objekte, Fahrzeuge, Gebäude und Schauplätze. Anschließend weist er Codex an, vor jeder Generierung den lokalen Referenzordner zu prüfen.

Serges Referenzboard in Canvas

Serges Canvas-Board mit Referenzen für Figuren und Orte.

Serge ergänzte mehrere Feinheiten. Figuren sollten nicht auf Ortsreferenzen zu sehen sein, weil das Modell sonst versucht, sie ins Bild einzubauen. Zeigt eine Totale ein kleines Gesicht, decken Sie es mit einem deckenden Kreis ab, damit das Modell stattdessen Ihre Großaufnahme nutzt. Legen Sie für Kleidung und Requisiten eigene Referenzblätter an: Eine Figur, die ein Messer halten soll, kann sonst mit einem Telefon in der Hand enden. Für möglichst durchgängige Kontinuität zwischen Clips sollten Sie das vorherige Video verlängern, was allerdings mehr Credits kostet. Tyler empfahl außerdem, sämtliche Referenzen in einem Projektordner abzulegen, damit Codex die Anordnung einer Szene im Blick behält.

Erkenntnis 3: Erst in ChatGPT storyboarden, PixVerse-Credits später einsetzen

Aldos Beispiel für einen kurzen Werbefilm

Aldo zeigte eine kurze, humorvolle Werbung über eine Pendlerin mit geräuschunterdrückenden Ohrhörern, die den T-Rex hinter sich überhaupt nicht bemerkt. Er erstellte zuerst Referenzbilder, dann ein Storyboard und generierte erst danach das Video. Seinen Zahlen zufolge kostet ein Storyboard etwa 30 Credits (0,20 USD), ein 30-sekündiges Video rund 1.000 Credits (etwa 6,60 USD). Als ihm die Büroumgebung nicht gefiel, verlegte er die Szene bereits in der Storyboard-Phase für ungefähr 30 Credits an einen Bahnhof. Mit dem Ende war er ebenfalls nicht zufrieden. Statt das gesamte 30-Sekunden-Video neu zu erstellen, generierte er nur die letzten 10 Sekunden für rund 350 Credits (weniger als 2,50 USD) neu – ungefähr ein Drittel der Kosten.

Er stellte außerdem fest, dass zu ausführliche Prompts seine Figur steif wirken ließen. Kürzere Prompts behoben das Problem. Ein weiterer seiner Grundsätze ist, zunächst mit 480p zu testen und die Qualität erst später durch Hochskalieren zu erhöhen. Diese Zahlen stammen aus seinem eigenen Projekt; Ihre Kosten können abweichen.

Bild aus Aldos Workflow für die Videoanzeige

Entwürfe und Ideen lassen sich zunächst in niedriger Auflösung erarbeiten. Mit der PixVerse-Mini-App AI Upscale kann der fertige Clip anschließend für die Veröffentlichung auf eine höhere Auflösung hochskaliert werden.

Erkenntnis 4: Den Bildausschnitt vor der Videogenerierung mit ChatGPT in 3D planen

Serge arbeitet an Animationsserien, die an realen und erfundenen Orten spielen. Sein Problem war, dass Videomodelle die räumliche Anordnung nicht zuverlässig einhielten. Deshalb gibt er ChatGPT Referenzbilder eines Ortes – etwa eines Piers oder einer Bucht mit einem schiefen Leuchtturm – und lässt ein einfaches three.js-Modell bauen. Darin bewegt er die Kamera, legt den gewünschten Bildausschnitt fest und speichert das Einzelbild. Anschließend kombiniert er es in PixVerse Canvas mit seinen Figurenreferenzen und bittet PixVerse, den Look auf diese Komposition anzuwenden.

Serges 3D-Szene einer Bucht mit schiefem Leuchtturm

Mit einem einfachen 3D-Modell des Ortes kann Serge zunächst die Kamera positionieren und den Bildausschnitt für jede Einstellung festlegen.

Das 3D-Modell muss nicht detailliert sein; es dient allein dazu, Bildausschnitt und Komposition festzulegen. Tyler merkte an, dass eine solche Vorvisualisierung früher großen Studios mit Spiele-Engines vorbehalten war und heute auch mit einem Budget für zu Hause möglich ist. Für Serge fühlt sich das Ergebnis eher wie Regiearbeit an als wie das Schreiben von Prompts.

Der Bildausschnitt in PixVerse Canvas

Serges Bildschirm zeigt das in PixVerse Canvas gespeicherte Einzelbild neben dem daraus entstandenen Bild.

Erkenntnis 5: Skills einmal erstellen und pro Auftrag ein ChatGPT- oder Codex-Projekt anlegen

Aldo organisiert seine Arbeit wie ein Studio. Ein Workspace enthält seine Skills, Wissensdateien und Projekte. Jedes Projekt hat einen eigenen Ordner und einen eigenen Chat, damit sämtliche Entscheidungen im Gespräch festgehalten werden. Ein Skill ist eine Anleitung für eine bestimmte Aufgabe, etwa das Verfassen von Prompts, die Entwicklung einer Geschichte, die Gestaltung von Thumbnails oder das Schreiben von Untertiteln. Er wird einmal erstellt und dann wiederverwendet. Wenn etwas nicht funktioniert, hält Aldo die Lösung im Skill fest, sodass dieser mit jedem Projekt besser wird. Sein Thumbnail-Skill kennt bereits seine Schriften, Farben und Layouts; er muss sie nicht jedes Mal neu erklären.

Aldos wiederverwendbare Skills für Kreativprojekte

Eine Übersicht der Skills, auf die Aldo Codex jedes Mal zurückgreifen lässt.

Serge arbeitet in Codex ähnlich. Er legt für jeden Arbeitsbereich ein Projekt an und hält zusammengehörige Chats darin gebündelt, um den Kontext besser zu bewahren. Außerdem erklärt er dem Agenten, was eine Datei enthält, und überlässt ihm die Benennung und die Wahl des Ordners.

Interessante Fragen aus dem Publikum

Die Teilnehmenden stellten verschiedene praktische Fragen. Eine davon kam in beiden Sessions auf: Was unterscheidet ChatGPT von Codex? Codex begann als Entwicklerwerkzeug; der agentische Modus von ChatGPT läuft auf derselben Grundlage, aber ohne die technische Benutzeroberfläche. Beide können das PixVerse-Plugin nutzen.

Mehrere Fragen zu PixVerse betrafen die gemeinsame Kontonutzung der beiden Produkte. Da das Plugin mit Ihrem PixVerse-Konto verbunden ist, richten sich die Generierungslimits nach Ihrem PixVerse-Tarif – unabhängig davon, ob Sie direkt in PixVerse oder über ChatGPT generieren. Alles, was Sie über ChatGPT erzeugen, erscheint auch in PixVerse. Videos, die Sie zuvor auf der PixVerse-Website erstellt haben, erscheinen dagegen nicht in ChatGPT.

Auch Canvas, der knotenbasierte Projektworkspace von PixVerse, war Thema. Paul zeigte, wie ein Referenzbild in einem Knoten in das nächste Video einfließt und wie sich einzelne Clips zu einem Kurzfilm verbinden lassen.

Pauls Demo von PixVerse Canvas

Eine Demonstration der Arbeit mit PixVerse Canvas.

Einfach anfangen

Aldos Rat an Einsteiger lautete: einfach anfangen, einen holprigen ersten Versuch erwarten und weiter iterieren.

Serge fragte, ob die Kreativität in den Mausklicks steckt oder in der Idee, die einen überhaupt erst zum Erlernen der Tools gebracht hat. Für ihn liegt sie in der Idee. Agenten ermöglichen es ihm, mehr davon aus seinem Kopf auf den Bildschirm zu bringen.

Beide Kreativen hatten zuerst eine Idee; die Tools halfen ihnen, sie sichtbar zu machen. Mit ChatGPT oder Codex und PixVerse lassen sich Änderungen schneller ausprobieren. So wurde der Großteil der in den Sessions gezeigten Arbeiten fertiggestellt.

Die Reihe Prompt to Production mit OpenAI auf YouTube ansehen

Die Sessions wurden für den YouTube-Kanal von PixVerse zu kurzen Tutorials aufbereitet. Sie sind Teil der Playlist Prompt to Production mit OpenAI.