Lima Pelajaran dari Prompt to Production bersama OpenAI

Pelajari lima hal dari sesi PixVerse dan OpenAI, mulai dari menyiapkan plugin PixVerse hingga membuat storyboard dan skill yang dapat digunakan kembali.

News •
Rangkuman acara Prompt to Production dari PixVerse dan OpenAI

Pada 28 dan 29 Oktober, PixVerse dan OpenAI mengadakan dua sesi langsung Prompt to Production, masing-masing untuk kawasan Asia Pasifik dan Amerika Utara, yang diikuti ratusan peserta dari seluruh dunia. Paul Hsu, yang memimpin pemasaran PixVerse di Amerika Serikat, menjadi pembawa acara dalam kedua sesi. Tyler Ryu dari tim rekayasa AI terapan OpenAI hadir dalam masing-masing sesi bersama para kreator dari PixVerse Creator Partner Programme: Aldo dan Hidayat dari Indonesia serta Serge Donaldson dari Amerika Serikat. Semua pembicara menunjukkan cara mereka mengubah brief kreatif menjadi video jadi dengan ChatGPT, Codex, dan plugin PixVerse.

Sesi tersebut melanjutkan integrasi produk yang telah dibangun PixVerse bersama OpenAI. Plugin PixVerse, yang tersedia secara native di ChatGPT dan Codex, menyediakan alur kerja menyeluruh untuk video, gambar, dan audio. Plugin ini juga baru saja mendukung Canvas, ruang kerja proyek video AI milik PixVerse. PixVerse CLI mengubah Codex menjadi studio konten AI yang menyediakan pembuatan video, gambar, dan audio dalam satu tempat. Keduanya tersedia saat ini, sementara seri video Prompt to Production yang berkelanjutan di kanal YouTube PixVerse membawa pembelajaran dari webinar ke format lain.

Cara menyiapkan plugin PixVerse di ChatGPT dan Codex

Penyiapan plugin PixVerse di ChatGPT dan Codex

Tyler Ryu, Insinyur Terapan di OpenAI, menunjukkan cara mencari dan memasang plugin PixVerse di ChatGPT dan Codex dalam webinar Prompt to Production.

Tyler menjelaskan proses penyiapan dalam lima langkah.

  1. Instal aplikasi di komputer Anda. Gunakan aplikasi Codex atau mode agen ChatGPT versi lokal agar aplikasi dapat mengakses file di komputer Anda. Untuk memastikan apakah aplikasi berjalan di komputer atau di cloud, lihat bagian atas chat: ikon awan menandakan versi cloud, yang tidak dapat mengakses file di komputer Anda.
  2. Cari “PixVerse” di Plugins. Saat sesi berlangsung, muncul dua pilihan. Pilihan lama diberi label legacy dan dijadwalkan untuk dihentikan, jadi pilih yang baru.
  3. Masuk ke PixVerse. Saat instalasi, Anda diminta masuk agar agen mendapatkan koneksi langsung yang terautentikasi ke akun PixVerse Anda.
  4. Panggil dengan namanya. Ketik @PixVerse dan jelaskan keinginan Anda dengan bahasa biasa. Dalam demo Tyler, ia meminta robot pengantar berbentuk kotak dengan kaki yang sedang berlari. Video akhirnya siap dalam sekitar dua menit.
  5. Biarkan skill bawaan menangani Prompt. Plugin ini memuat skill yang ditulis pengembang PixVerse untuk mengajarkan cara menyusun Prompt bagi model PixVerse. Contoh dari Tyler: permintaan singkat untuk membalik panekuk dapat menghasilkan panekuk yang hanya berubah menjadi matang. Prompt yang ditulis dengan bantuan skill menjelaskan gerakan spatula langkah demi langkah sehingga panekuk benar-benar terbalik.

Daftar plugin dan menu dapat berubah dengan cepat. Tampilan aplikasi yang Anda lihat mungkin sedikit berbeda dari yang ditunjukkan para pembicara pada 28 dan 29 Oktober.

Pelajaran 1: Gunakan video PixVerse sebagai referensi animasi di Codex

Tyler membuat gim, dan menurut pengalamannya karakter animasi AI terkadang bergerak janggal. Solusinya adalah meminta Codex membuat gambar referensi karakter, memasukkannya ke PixVerse untuk menghasilkan video karakter berjalan, lalu meminta Codex meniru gerakan tersebut pada karakter gim.

Setelah itu, ia memperbaiki hasil dengan bahasa biasa, misalnya dengan menunjukkan bahwa lutut karakter masih tertekuk dari tampak depan. Menurut perkiraannya, seluruh proses memakan waktu sekitar 20 menit, dibandingkan dengan dua hingga tiga jam untuk animasi manual atau biaya yang jauh lebih besar untuk menyewa studio motion capture.

Ia juga menunjukkan penggunaan lain ketika video menjadi referensi untuk dikerjakan lebih lanjut dengan alat lain. Video PixVerse tentang robot pengantar diubah menjadi model 3D yang dibuat ulang di Blender, kemudian menjadi demo gim kecil yang membuat robot bergerak saat pemain mengeklik area sekitar. Menurut Tyler, AI dapat menyelesaikan sebagian besar pekerjaan, dan model video dapat menambahkan sentuhan gerakan terakhir yang sulit diperoleh dengan cara lain.

Tonton tutorial lengkapnya di YouTube: OpenAI berbagi cara membuat gim dengan plugin PixVerse di Codex.

Pelajaran 2: Buat referensi sederhana agar karakter tetap konsisten di ChatGPT dan Codex

Konsistensi beberapa kali dibahas dalam sesi tanya jawab di kedua acara. Para pembicara pun membagikan sejumlah kiat.

Menurut Hidayat, referensi tidak perlu terlalu rinci. Tiga sudut pandang karakter—depan, belakang, dan samping—ditambah satu close-up wajah sudah cukup. Pendekatan yang sama berlaku untuk objek, kendaraan, bangunan, dan pemandangan. Selanjutnya, ia meminta Codex memeriksa folder referensi lokal sebelum menghasilkan apa pun.

Papan referensi Serge di Canvas

Papan Canvas Serge yang memuat referensi karakter dan lokasi.

Serge menambahkan beberapa penyempurnaan. Jangan sertakan karakter dalam referensi lokasi, sebab model dapat mencoba memasukkan karakter itu ke dalam bidikan. Jika referensi wide shot memuat wajah kecil, tutupi wajah tersebut dengan lingkaran buram agar model menggunakan gambar close-up yang Anda siapkan. Buat lembar referensi tersendiri untuk kostum dan properti: karakter yang seharusnya memegang pisau bisa berakhir memegang ponsel jika properti dibiarkan tanpa arahan. Untuk kontinuitas terbaik antarklip, perpanjang dari video sebelumnya, meskipun ini memakai lebih banyak Kredit. Tyler menambahkan bahwa semua referensi sebaiknya disimpan dalam satu folder proyek agar Codex mengingat tata letak adegan.

Pelajaran 3: Buat storyboard di ChatGPT sebelum memakai banyak Kredit PixVerse

Contoh iklan video pendek buatan Aldo

Contoh Aldo adalah iklan pendek yang lucu tentang seorang penumpang ber-earbud peredam bising yang tidak menyadari ada T-Rex di belakangnya. Ia membuat gambar referensi lebih dulu, lalu storyboard, dan baru setelah itu menghasilkan video. Menurut angkanya, storyboard membutuhkan sekitar 30 Kredit (USD 0,20), sedangkan video 30 detik membutuhkan sekitar 1.000 Kredit (sekitar USD 6,60). Ketika latar kantor terasa kurang tepat, ia memindahkan adegan ke stasiun kereta pada tahap storyboard dengan biaya sekitar 30 Kredit. Saat bagian akhir tidak memuaskan, ia hanya membuat ulang 10 detik terakhir dengan sekitar 350 Kredit (kurang dari USD 2,50), kira-kira sepertiga biaya untuk mengulang keseluruhan video 30 detik.

Ia juga menemukan bahwa Prompt yang terlalu rinci membuat karakternya kaku, dan menyederhanakan Prompt mengatasi masalah tersebut. Kebiasaan lainnya adalah menguji pada 480p lalu meningkatkan kualitasnya belakangan. Angka-angka ini berasal dari proyeknya sendiri, sehingga biaya Anda dapat berbeda.

Gambar dari alur pembuatan iklan video Aldo

Rancangan awal dan eksplorasi ide dapat dibuat dalam resolusi rendah, lalu aplikasi mini PixVerse AI Upscale digunakan untuk meningkatkan resolusi klip akhir sebelum dipublikasikan.

Pelajaran 4: Tentukan komposisi bidikan dalam 3D dengan ChatGPT sebelum membuat video

Serge mengerjakan serial animasi yang berlatar tempat nyata maupun imajiner. Masalahnya, model video tidak selalu mengikuti tata ruang yang ia inginkan. Solusinya adalah memberikan gambar referensi lokasi kepada ChatGPT, misalnya dermaga atau teluk dengan mercusuar miring, lalu memintanya membuat model sederhana dengan three.js. Ia menggerakkan kamera, menentukan komposisi bidikan yang diinginkan, dan menyimpan frame tersebut. Kemudian, ia memasangkan frame itu dengan referensi karakter di PixVerse Canvas dan meminta PixVerse menerapkan tampilan visualnya pada komposisi tersebut.

Adegan 3D Serge berupa teluk dengan mercusuar miring

Model 3D lokasi yang sederhana memungkinkan Serge menempatkan kamera dan menentukan komposisi setiap bidikan lebih dulu.

Model 3D tidak harus terperinci karena tujuannya hanya menentukan komposisi dan posisi kamera. Tyler mengatakan bahwa pravisualisasi seperti ini dahulu merupakan pekerjaan studio besar yang menggunakan mesin gim, tetapi kini dapat dilakukan dengan anggaran rumahan. Serge menggambarkan hasilnya terasa lebih seperti menyutradarai daripada sekadar menulis Prompt.

Komposisi bidikan yang dibawa ke PixVerse Canvas

Layar Serge menampilkan frame yang disimpan di PixVerse Canvas berdampingan dengan gambar hasilnya.

Pelajaran 5: Tulis skill sekali dan buat satu proyek ChatGPT atau Codex untuk tiap pekerjaan

Aldo mengelola pekerjaannya seperti sebuah studio. Satu ruang kerja menampung skill, file pengetahuan, dan proyeknya. Setiap proyek memiliki folder dan chat tersendiri agar semua keputusan tercatat dalam percakapan. Skill adalah panduan untuk satu tugas, misalnya menyusun Prompt, cerita, thumbnail, atau caption. Panduan tersebut ditulis sekali dan digunakan kembali. Setiap kali ada sesuatu yang gagal, Aldo menambahkan solusinya ke skill agar semakin baik pada proyek berikutnya. Skill untuk thumbnail sudah mengetahui font, warna, dan tata letaknya, sehingga ia tidak perlu menjelaskannya lagi.

Skill Aldo yang dapat digunakan kembali untuk proyek kreatif

Ringkasan skill yang diminta Aldo untuk selalu dirujuk Codex.

Serge bekerja dengan cara serupa di Codex. Ia membuat proyek untuk setiap kelompok pekerjaan dan menempatkan chat terkait di dalamnya agar konteks lebih terjaga. Ia juga memberi tahu agen fungsi setiap file, lalu membiarkan agen memilih nama dan foldernya.

Pertanyaan menarik dari peserta

Peserta mengajukan beragam pertanyaan praktis. Salah satunya muncul di kedua sesi: apa perbedaan ChatGPT dan Codex? Codex awalnya merupakan alat pengembang, sedangkan mode agen ChatGPT berjalan dengan mesin yang sama tanpa antarmuka teknis. Keduanya dapat menjalankan plugin PixVerse.

Sejumlah pertanyaan tentang PixVerse berkaitan dengan cara kedua produk berbagi akun. Karena plugin terhubung ke akun PixVerse Anda, batas pembuatan mengikuti paket PixVerse Anda, baik saat Anda membuat konten langsung di PixVerse maupun melalui ChatGPT. Apa pun yang Anda hasilkan melalui ChatGPT juga muncul di PixVerse. Namun, video yang sebelumnya Anda buat di situs PixVerse tidak muncul di ChatGPT.

Canvas, ruang kerja proyek berbasis node dari PixVerse, juga mengundang pertanyaan. Paul menunjukkan bagaimana gambar referensi pada satu node menjadi masukan untuk video berikutnya dan bagaimana klip terpisah dapat disatukan menjadi film pendek.

Demo PixVerse Canvas oleh Paul

Demonstrasi langkah-langkah penggunaan PixVerse Canvas.

Mulai saja

Saran Aldo bagi pemula adalah mulai berkarya, menerima bahwa percobaan pertama mungkin belum bagus, lalu terus menyempurnakannya.

Serge bertanya apakah kreativitas terletak pada klik tetikus atau pada ide yang membuat Anda belajar menggunakan alat-alat tersebut. Bagi Serge, kreativitas terletak pada idenya. Menurutnya, agen membantunya mewujudkan lebih banyak hal yang ada dalam pikirannya.

Kedua kreator memulai dari sebuah ide dan menggunakan alat untuk menampilkannya di layar. Gabungan ChatGPT atau Codex dengan PixVerse mempercepat proses perbaikan berulang, dan dengan cara itulah sebagian besar karya yang ditampilkan dalam sesi tersebut diselesaikan.

Tonton seri Prompt to Production bersama OpenAI di YouTube

Sesi tersebut telah dirangkum menjadi video tutorial singkat di kanal YouTube PixVerse sebagai bagian dari playlist Prompt to Production bersama OpenAI.