5 บทเรียนจาก Prompt to Production ร่วมกับ OpenAI

สำรวจ 5 บทเรียนจากงานของ PixVerse และ OpenAI ตั้งแต่การติดตั้งปลั๊กอิน PixVerse ไปจนถึงสตอรีบอร์ดและสกิลที่นำกลับมาใช้ได้

News •
สรุปงาน Prompt to Production ของ PixVerse และ OpenAI

เมื่อวันที่ 28 และ 29 ตุลาคม PixVerse และ OpenAI จัดงาน Prompt to Production แบบสด 2 ครั้งสำหรับภูมิภาคเอเชียแปซิฟิกและอเมริกาเหนือ โดยมีผู้เข้าร่วมหลายร้อยคนจากทั่วโลก Paul Hsu ผู้ดูแลการตลาดของ PixVerse ในสหรัฐอเมริกาเป็นผู้ดำเนินรายการทั้งสองครั้ง Tyler Ryu จากทีมวิศวกรรม AI ประยุกต์ของ OpenAI เข้าร่วมทั้งสองครั้งพร้อมกับครีเอเตอร์จาก PixVerse Creator Partner Programme ได้แก่ Aldo และ Hidayat จากอินโดนีเซีย และ Serge Donaldson จากสหรัฐอเมริกา วิทยากรทุกคนสาธิตวิธีเปลี่ยนบรีฟงานสร้างสรรค์ให้เป็นวิดีโอที่เสร็จสมบูรณ์ด้วย ChatGPT, Codex และปลั๊กอิน PixVerse

งานทั้งสองครั้งต่อยอดจากการผสานผลิตภัณฑ์ที่ PixVerse พัฒนาร่วมกับ OpenAI แล้ว ปลั๊กอิน PixVerse ซึ่งใช้งานได้โดยตรงใน ChatGPT และ Codex ช่วยให้ผู้ใช้ทำงานกับวิดีโอ รูปภาพ และเสียงได้ตั้งแต่ต้นจนจบ และเพิ่งเพิ่มการรองรับ Canvas ซึ่งเป็นพื้นที่ทำงานสำหรับโปรเจกต์วิดีโอ AI ของ PixVerse ส่วน PixVerse CLI เปลี่ยน Codex ให้เป็นสตูดิโอคอนเทนต์ AI ที่สร้างวิดีโอ รูปภาพ และเสียงได้ในที่เดียว ทั้งสองเครื่องมือพร้อมใช้งานแล้ว และซีรีส์วิดีโอ Prompt to Production บน ช่อง YouTube ของ PixVerse ยังขยายเนื้อหาจากงานสัมมนาออนไลน์อย่างต่อเนื่อง

วิธีติดตั้งปลั๊กอิน PixVerse ใน ChatGPT และ Codex

การติดตั้งปลั๊กอิน PixVerse ใน ChatGPT และ Codex

Tyler Ryu วิศวกรประยุกต์ของ OpenAI สาธิตวิธีค้นหาและติดตั้งปลั๊กอิน PixVerse ใน ChatGPT และ Codex ระหว่างเว็บบินาร์ Prompt to Production

Tyler อธิบายขั้นตอนการตั้งค่าไว้ 5 ขั้นตอน

  1. ติดตั้งแอปบนคอมพิวเตอร์ของคุณ ใช้แอป Codex หรือโหมดเอเจนต์ของ ChatGPT เวอร์ชันที่ทำงานในเครื่อง เพื่อให้เข้าถึงไฟล์บนคอมพิวเตอร์ได้ หากต้องการตรวจสอบว่าแอปทำงานบนเครื่องหรือบนคลาวด์ ให้ดูที่ด้านบนของแชต: ไอคอนรูปเมฆหมายถึงเวอร์ชันคลาวด์ ซึ่งเข้าถึงไฟล์ในคอมพิวเตอร์ของคุณไม่ได้
  2. ค้นหา “PixVerse” ใน Plugins ระหว่างการสาธิตมีรายการให้เลือก 2 รายการ รายการเก่าติดป้าย legacy และมีกำหนดเลิกใช้งาน จึงควรเลือกรายการใหม่
  3. เข้าสู่ระบบ PixVerse เมื่อเริ่มติดตั้ง ระบบจะให้คุณเข้าสู่ระบบ เพื่อให้เอเจนต์เชื่อมต่อกับบัญชี PixVerse ของคุณโดยตรงและผ่านการยืนยันตัวตน
  4. เรียกใช้ด้วยชื่อ พิมพ์ @PixVerse แล้วอธิบายสิ่งที่คุณต้องการด้วยภาษาทั่วไป ในการสาธิต Tyler ขอวิดีโอหุ่นยนต์ส่งของรูปทรงคล้ายกล่องที่มีขาและกำลังวิ่ง วิดีโอเสร็จในเวลาประมาณ 2 นาที
  5. ให้สกิลที่มาพร้อมปลั๊กอินช่วยเขียนพรอมต์ ปลั๊กอินมีสกิลที่นักพัฒนาของ PixVerse เขียนขึ้นเพื่อกำหนดแนวทางการเขียนพรอมต์สำหรับโมเดลของ PixVerse Tyler ยกตัวอย่างว่า หากสั่งเพียงให้พลิกแพนเค้ก ผลลัพธ์อาจเป็นแพนเค้กที่เปลี่ยนเป็นสุกทันที แต่พรอมต์ที่เขียนด้วยสกิลจะบรรยายการเคลื่อนของตะหลิวทีละขั้นตอนจนพลิกแพนเค้กได้จริง

รายการปลั๊กอินและเมนูเปลี่ยนแปลงได้รวดเร็ว สิ่งที่คุณเห็นในแอปจึงอาจต่างจากภาพที่วิทยากรแสดงในวันที่ 28 และ 29 ตุลาคมเล็กน้อย

บทเรียนที่ 1: ใช้วิดีโอ PixVerse เป็นภาพอ้างอิงการเคลื่อนไหวใน Codex

Tyler สร้างเกม และพบว่าตัวละครที่เคลื่อนไหวด้วย AI มักมีท่าทางแปลกไป วิธีแก้ของเขาคือให้ Codex สร้างรูปภาพอ้างอิงของตัวละคร นำรูปภาพเหล่านั้นไปสร้างวิดีโอตัวละครเดินใน PixVerse แล้วให้ Codex ถ่ายทอดการเคลื่อนไหวนั้นไปยังตัวละครในเกม

จากนั้นเขาปรับผลลัพธ์ด้วยภาษาทั่วไป เช่น ชี้ว่าหัวเข่ายังคงงอเมื่อมองจากด้านหน้า เขาประเมินว่ากระบวนการทั้งหมดใช้เวลาประมาณ 20 นาที เทียบกับการทำแอนิเมชันด้วยมือที่ใช้เวลา 2–3 ชั่วโมง หรือการใช้สตูดิโอโมชั่นแคปเจอร์ซึ่งมีค่าใช้จ่ายสูงกว่ามาก

เขายังแสดงอีกวิธีที่ใช้วิดีโอเป็นข้อมูลอ้างอิงให้เครื่องมืออื่นนำไปต่อยอด วิดีโอหุ่นยนต์ส่งของที่สร้างด้วย PixVerse ถูกนำไปสร้างใหม่เป็นโมเดล 3D ใน Blender แล้วพัฒนาเป็นเกมเดโมขนาดเล็กที่หุ่นยนต์เคลื่อนไหวเมื่อคลิกไปตามฉาก ข้อสรุปของเขาคือ AI ช่วยให้งานส่วนใหญ่สำเร็จได้ และโมเดลวิดีโอช่วยเติมการเคลื่อนไหวขั้นสุดท้ายที่ทำได้ยากด้วยวิธีอื่น

ดูบทสอนฉบับเต็มบน YouTube: การสาธิตจาก OpenAI: สร้างเกมด้วยปลั๊กอิน PixVerse ใน Codex

บทเรียนที่ 2: ใช้ภาพอ้างอิงที่เรียบง่ายเพื่อให้ตัวละครคงลักษณะเดิมใน ChatGPT และ Codex

คำถามเรื่องความสม่ำเสมอของตัวละครปรากฏขึ้นหลายครั้งในช่วงถามตอบของทั้งสองงาน และวิทยากรได้แบ่งปันคำแนะนำหลายข้อ

กฎของ Hidayat คือภาพอ้างอิงไม่จำเป็นต้องมีรายละเอียดมาก ภาพตัวละคร 3 มุม ได้แก่ ด้านหน้า ด้านหลัง และด้านข้าง พร้อมภาพใบหน้าระยะใกล้อีก 1 ภาพก็เพียงพอ แนวทางเดียวกันใช้ได้กับวัตถุ ยานพาหนะ อาคาร และฉาก จากนั้นเขาจะบอกให้ Codex ตรวจสอบโฟลเดอร์ภาพอ้างอิงในเครื่องก่อนสร้างสิ่งใด

บอร์ดภาพอ้างอิงของ Serge ใน Canvas

บอร์ด Canvas ของ Serge ที่มีภาพอ้างอิงตัวละครและสถานที่

Serge เสริมข้อแนะนำอีกหลายประการ อย่าใส่ตัวละครในภาพอ้างอิงสถานที่ เพราะโมเดลอาจพยายามนำตัวละครนั้นเข้ามาในเฟรม หากภาพอ้างอิงแบบภาพระยะไกลมีใบหน้าขนาดเล็ก ให้ใช้วงกลมทึบปิดใบหน้า เพื่อให้โมเดลใช้ภาพใบหน้าระยะใกล้แทน ควรแยกแผ่นภาพอ้างอิงสำหรับเสื้อผ้าและอุปกรณ์ประกอบฉาก เพราะตัวละครที่ควรถือมีดอาจกลับถือโทรศัพท์หากปล่อยให้โมเดลตัดสินใจเอง หากต้องการความต่อเนื่องระหว่างคลิปมากที่สุด ให้ต่อความยาวจากวิดีโอก่อนหน้า ซึ่งใช้เครดิตมากขึ้น Tyler แนะนำเพิ่มเติมให้เก็บภาพอ้างอิงทั้งหมดไว้ในโฟลเดอร์โปรเจกต์เดียวกัน เพื่อให้ Codex จำผังของฉากได้

บทเรียนที่ 3: วางสตอรีบอร์ดใน ChatGPT ก่อนใช้เครดิต PixVerse จำนวนมาก

ตัวอย่างโฆษณาวิดีโอสั้นของ Aldo

ตัวอย่างของ Aldo เป็นโฆษณาสั้นขำขันเกี่ยวกับผู้โดยสารที่ใส่หูฟังตัดเสียงรบกวนจนไม่สังเกตเห็น T-Rex ที่อยู่ด้านหลัง เขาสร้างรูปภาพอ้างอิงก่อน ตามด้วยสตอรีบอร์ด แล้วจึงสร้างวิดีโอ ตามตัวเลขของเขา สตอรีบอร์ดใช้ประมาณ 30 เครดิต (USD 0.20) และวิดีโอ 30 วินาทีใช้ประมาณ 1,000 เครดิต (ประมาณ USD 6.60) เมื่อฉากสำนักงานดูไม่เหมาะ เขาย้ายฉากไปสถานีรถไฟตั้งแต่ขั้นสตอรีบอร์ดโดยใช้ประมาณ 30 เครดิต เมื่อไม่พอใจกับตอนจบ เขาสร้างใหม่เฉพาะช่วง 10 วินาทีสุดท้ายโดยใช้ประมาณ 350 เครดิต (น้อยกว่า USD 2.50) หรือราวหนึ่งในสามของค่าใช้จ่ายในการสร้างวิดีโอ 30 วินาทีใหม่ทั้งหมด

เขายังพบว่าพรอมต์ที่ระบุรายละเอียดมากเกินไปทำให้ตัวละครดูแข็ง และการลดรายละเอียดในพรอมต์ช่วยแก้ปัญหาได้ อีกวิธีที่เขาทำเป็นประจำคือทดสอบที่ 480p แล้วค่อยอัปสเกลในภายหลัง ตัวเลขเหล่านี้มาจากโปรเจกต์ของเขาเอง ค่าใช้จ่ายของคุณจึงอาจแตกต่างกัน

รูปภาพจากขั้นตอนสร้างโฆษณาวิดีโอของ Aldo

สามารถทำภาพจำลองและพัฒนาแนวคิดด้วยความละเอียดต่ำก่อน แล้วใช้ AI Upscale มินิแอปของ PixVerse อัปสเกลคลิปสุดท้ายให้มีความละเอียดสูงขึ้นสำหรับการเผยแพร่

บทเรียนที่ 4: กำหนดองค์ประกอบภาพใน 3D ด้วย ChatGPT ก่อนสร้างวิดีโอ

Serge ทำซีรีส์แอนิเมชันที่มีฉากทั้งสถานที่จริงและสถานที่ในจินตนาการ ปัญหาของเขาคือโมเดลวิดีโอไม่ค่อยรักษาผังพื้นที่ตามที่ต้องการ วิธีแก้คือให้ ChatGPT ดูรูปภาพอ้างอิงของสถานที่ เช่น ท่าเรือหรืออ่าวที่มีประภาคารเอียง แล้วขอให้สร้างโมเดล three.js แบบเรียบง่าย เขาขยับกล้องเพื่อหามุมภาพที่ต้องการและบันทึกเฟรมนั้น จากนั้นนำเฟรมไปใช้ร่วมกับภาพอ้างอิงตัวละครใน PixVerse Canvas แล้วให้ PixVerse นำรูปลักษณ์ที่ต้องการมาใช้กับองค์ประกอบภาพดังกล่าว

ฉาก 3D ของ Serge แสดงอ่าวที่มีประภาคารเอียง

โมเดล 3D แบบเรียบง่ายของสถานที่ช่วยให้ Serge วางตำแหน่งกล้องและจัดองค์ประกอบภาพของแต่ละช็อตได้ก่อน

โมเดล 3D ไม่ต้องละเอียด เพราะมีหน้าที่เพียงกำหนดมุมกล้องและองค์ประกอบภาพ Tyler กล่าวว่าเดิมทีการวางภาพล่วงหน้าแบบนี้เป็นงานของสตูดิโอใหญ่ที่ใช้เอนจินเกม แต่ตอนนี้ทำได้ด้วยงบประมาณระดับบ้าน Serge อธิบายว่าผลลัพธ์ให้ความรู้สึกเหมือนการกำกับมากกว่าการเขียนพรอมต์

มุมภาพที่นำเข้าสู่ PixVerse Canvas

หน้าจอของ Serge แสดงเฟรมที่บันทึกไว้ใน PixVerse Canvas ถัดจากรูปภาพที่สร้างขึ้น

บทเรียนที่ 5: เขียนสกิลครั้งเดียวและแยกโปรเจกต์ ChatGPT หรือ Codex ตามงาน

Aldo จัดงานของตนเหมือนสตูดิโอ พื้นที่ทำงานหนึ่งแห่งเก็บสกิล ไฟล์ความรู้ และโปรเจกต์ โดยแต่ละโปรเจกต์มีโฟลเดอร์และแชตของตัวเอง เพื่อให้ทุกการตัดสินใจอยู่ในบทสนทนา สกิลคือคู่มือสำหรับงานหนึ่งประเภท เช่น การเขียนพรอมต์ การเล่าเรื่อง การทำภาพปกย่อ หรือคำบรรยาย เขียนครั้งเดียวแล้วนำกลับมาใช้ได้ เมื่อมีสิ่งใดผิดพลาด เขาจะเพิ่มวิธีแก้ลงในสกิล เพื่อให้สกิลดีขึ้นในทุกโปรเจกต์ สกิลสำหรับภาพปกย่อรู้ฟอนต์ สี และผังภาพที่เขาใช้แล้ว เขาจึงไม่ต้องอธิบายซ้ำ

สกิลที่ Aldo นำกลับมาใช้กับโปรเจกต์สร้างสรรค์

สรุปสกิลที่ Aldo ให้ Codex เปิดอ้างอิงทุกครั้ง

Serge ทำงานแบบเดียวกันใน Codex เขาสร้างโปรเจกต์สำหรับงานแต่ละชุดและเก็บแชตที่เกี่ยวข้องไว้ภายในเพื่อรักษาบริบท เขายังบอกเอเจนต์ว่าไฟล์แต่ละไฟล์คืออะไร แล้วให้เอเจนต์ตั้งชื่อไฟล์และเลือกโฟลเดอร์เอง

คำถามที่น่าสนใจจากผู้เข้าร่วม

ผู้เข้าร่วมถามคำถามเชิงปฏิบัติหลายเรื่อง และมีคำถามหนึ่งที่ปรากฏในทั้งสองงาน: ChatGPT กับ Codex ต่างกันอย่างไร? Codex เริ่มต้นเป็นเครื่องมือสำหรับนักพัฒนา ส่วนโหมดเอเจนต์ของ ChatGPT ทำงานบนเอนจินเดียวกันโดยไม่มีส่วนติดต่อแบบเทคนิค ทั้งสองใช้งานปลั๊กอิน PixVerse ได้

คำถามหลายข้อเกี่ยวกับ PixVerse มุ่งไปที่การใช้บัญชีร่วมกันของผลิตภัณฑ์ทั้งสอง เนื่องจากปลั๊กอินเชื่อมต่อกับบัญชี PixVerse ของคุณ ขีดจำกัดการสร้างจึงเป็นไปตามแพ็กเกจ PixVerse ของคุณ ไม่ว่าคุณจะสร้างโดยตรงบน PixVerse หรือผ่าน ChatGPT และสิ่งที่คุณสร้างผ่าน ChatGPT ก็จะปรากฏใน PixVerse ด้วย อย่างไรก็ตาม วิดีโอที่คุณเคยสร้างบนเว็บไซต์ PixVerse ก่อนหน้านี้จะไม่ปรากฏใน ChatGPT

Canvas ซึ่งเป็นพื้นที่ทำงานโปรเจกต์แบบโหนดของ PixVerse ก็ได้รับความสนใจเช่นกัน Paul สาธิตว่ารูปภาพอ้างอิงในโหนดหนึ่งส่งต่อไปยังวิดีโอถัดไปได้อย่างไร และคลิปแยกกันสามารถนำมาต่อเป็นภาพยนตร์สั้นได้อย่างไร

การสาธิต PixVerse Canvas โดย Paul

การสาธิตขั้นตอนใช้งานเครื่องมือ PixVerse Canvas

แค่เริ่มลงมือ

คำแนะนำของ Aldo สำหรับมือใหม่คือเริ่มลงมือ ยอมรับว่าความพยายามครั้งแรกอาจยังไม่ดีนัก และปรับปรุงต่อไป

Serge ตั้งคำถามว่าความคิดสร้างสรรค์อยู่ที่การคลิกเมาส์หรืออยู่ที่แนวคิดที่ทำให้คุณเริ่มเรียนรู้เครื่องมือตั้งแต่แรก สำหรับเขา คำตอบคือแนวคิด เขากล่าวว่าเอเจนต์ช่วยให้เขานำสิ่งที่อยู่ในหัวออกมาได้มากขึ้น

ครีเอเตอร์ทั้งสองเริ่มจากแนวคิด แล้วใช้เครื่องมือช่วยนำแนวคิดนั้นขึ้นจอ การใช้ ChatGPT หรือ Codex ร่วมกับ PixVerse ทำให้ปรับแก้งานได้รวดเร็วขึ้น และนี่คือวิธีที่ผลงานส่วนใหญ่ซึ่งแสดงในงานทั้งสองครั้งเสร็จสมบูรณ์

ดูซีรีส์ Prompt to Production ร่วมกับ OpenAI บน YouTube

เนื้อหาจากงานทั้งสองครั้งถูกสรุปเป็นวิดีโอสอนสั้น ๆ บนช่อง YouTube ของ PixVerse ใน เพลย์ลิสต์ Prompt to Production ร่วมกับ OpenAI