OpenAI와 함께한 Prompt to Production의 다섯 가지 교훈

PixVerse와 OpenAI의 Prompt to Production 세션에서 나온 다섯 가지 교훈을 살펴봅니다. 플러그인 설정부터 스토리보드와 재사용 가능한 스킬까지 다룹니다.

News •
PixVerse와 OpenAI의 Prompt to Production 행사 요약

10월 28일과 29일, PixVerse와 OpenAI는 APAC과 북미를 대상으로 각각 한 차례씩 Prompt to Production 라이브 세션을 열었으며, 전 세계에서 수백 명이 참석했습니다. 두 세션 모두 PixVerse 미국 마케팅을 이끄는 Paul Hsu가 진행했습니다. OpenAI 응용 AI 엔지니어링 팀의 Tyler Ryu가 두 차례 모두 참여했고, PixVerse Creator Partner Programme 소속 크리에이터인 인도네시아의 Aldo와 Hidayat, 미국의 Serge Donaldson도 함께했습니다. 발표자들은 ChatGPT, Codex, PixVerse 플러그인을 이용해 창작 브리프에서 완성된 동영상까지 작업을 진행하는 과정을 보여주었습니다.

이번 세션은 PixVerse가 이미 OpenAI와 함께 구축한 제품 통합을 바탕으로 진행됐습니다. ChatGPT와 Codex에서 기본 제공되는 PixVerse 플러그인은 동영상, 이미지, 오디오를 아우르는 전체 작업 흐름을 지원하며, 최근에는 PixVerse의 AI 동영상 프로젝트 작업 공간인 Canvas 지원 기능도 추가됐습니다. PixVerse CLI는 Codex를 AI 콘텐츠 스튜디오로 바꿔 한곳에서 동영상, 이미지, 오디오를 생성할 수 있게 합니다. 두 도구 모두 현재 사용할 수 있으며, PixVerse YouTube 채널의 Prompt to Production 동영상 시리즈는 웨비나 이후에도 이 작업을 이어갑니다.

ChatGPT와 Codex에서 PixVerse 플러그인을 설정하는 방법

ChatGPT와 Codex에서 PixVerse 플러그인을 설정하는 화면

OpenAI의 응용 엔지니어 Tyler Ryu가 Prompt to Production 웨비나에서 ChatGPT와 Codex용 PixVerse 플러그인을 찾고 설치하는 방법을 보여주고 있습니다.

Tyler는 설정 과정을 다섯 단계로 설명했습니다.

  1. 컴퓨터에 앱을 설치합니다. 컴퓨터의 파일에 접근할 수 있도록 Codex 앱 또는 로컬 버전의 ChatGPT 에이전트 모드를 사용합니다. 컴퓨터에서 실행 중인지 클라우드에서 실행 중인지 확인하려면 채팅 상단을 보세요. 구름 아이콘이 보이면 컴퓨터의 파일에 접근할 수 없는 클라우드 버전입니다.
  2. Plugins에서 “PixVerse”를 검색합니다. 세션 당시에는 두 개의 항목이 표시됐습니다. 이전 항목에는 legacy 표시가 있었고 지원 종료가 예정돼 있었으므로 새 항목을 선택합니다.
  3. PixVerse에 로그인합니다. 설치 과정에서 로그인하라는 메시지가 표시됩니다. 로그인하면 에이전트가 인증된 연결을 통해 PixVerse 계정에 직접 접근할 수 있습니다.
  4. 이름을 불러 작업을 요청합니다. @PixVerse를 입력하고 원하는 내용을 자연어로 설명합니다. Tyler는 다리가 달린 상자 모양의 배달 로봇이 달리는 장면을 요청했고, 약 2분 만에 완성된 동영상이 나왔습니다.
  5. 번들로 제공되는 스킬에 프롬프트 작성을 맡깁니다. 플러그인에는 PixVerse 개발자들이 작성한 스킬이 포함돼 있으며, 여기에는 PixVerse 모델에 효과적으로 프롬프트를 작성하는 방법이 담겨 있습니다. Tyler가 든 예시에서는 팬케이크를 뒤집으라는 간단한 요청만으로는 팬케이크가 그냥 익은 상태로 바뀔 수 있습니다. 반면 스킬이 작성한 프롬프트는 주걱의 움직임을 단계별로 설명해 뒤집는 동작을 구현합니다.

플러그인 목록과 메뉴는 빠르게 바뀌므로 현재 앱에 표시되는 화면은 10월 28일과 29일 발표자들이 보여준 화면과 조금 다를 수 있습니다.

교훈 1: Codex에서 PixVerse 동영상을 애니메이션 참조 자료로 사용하기

게임을 만드는 Tyler는 AI로 애니메이션을 적용한 캐릭터의 움직임이 어색해지는 문제를 겪었습니다. 해결 방법은 Codex에 캐릭터 참조 이미지를 요청하고, 이를 PixVerse에 입력해 걷는 동영상을 생성한 다음, Codex가 그 움직임을 게임 캐릭터에 적용하도록 하는 것이었습니다.

그다음에는 정면에서 무릎이 계속 굽혀져 있다고 지적하는 식으로 자연어를 사용해 결과를 다듬었습니다. Tyler의 추산으로 전체 과정에는 약 20분이 걸렸습니다. 손으로 애니메이션을 만들면 2~3시간이 걸리고, 모션 캡처 스튜디오를 이용하면 비용이 훨씬 많이 듭니다.

또한 동영상을 다른 도구가 활용할 수 있는 참조 자료로 쓰는 방법도 보여주었습니다. PixVerse로 만든 배달 로봇 동영상을 바탕으로 Blender에서 3D 모델을 재구성하고, 클릭하는 방향으로 로봇이 움직이는 작은 게임 데모까지 만들었습니다. Tyler는 AI가 작업의 대부분을 처리하며, 동영상 모델이 다른 방식으로는 구현하기 어려운 움직임을 마지막으로 더해줄 수 있다고 설명했습니다.

전체 튜토리얼은 YouTube에서 볼 수 있습니다: OpenAI가 소개하는 Codex의 PixVerse 플러그인으로 게임 만들기.

교훈 2: ChatGPT와 Codex에서 일관된 캐릭터를 만들려면 참조 자료를 간결하게 유지하기

두 세션의 Q&A에서 일관성에 관한 질문이 여러 차례 나왔고, 발표자들은 몇 가지 팁을 공유했습니다.

Hidayat에 따르면 참조 자료는 지나치게 상세할 필요가 없습니다. 캐릭터의 정면, 뒷면, 측면 세 가지 모습과 얼굴 클로즈업 이미지 한 장이면 충분하며, 물건, 차량, 건물, 풍경에도 같은 방법을 적용할 수 있습니다. 이후에는 무엇을 생성하기 전에 Codex가 로컬 참조 폴더를 확인하도록 지시합니다.

Serge의 Canvas 참조 자료 보드

캐릭터와 장소 참조 자료가 담긴 Serge의 Canvas 보드.

Serge는 여기에 몇 가지 방법을 더했습니다. 장소 참조 이미지에는 캐릭터를 넣지 않아야 모델이 해당 캐릭터를 프레임에 넣으려 하지 않습니다. 와이드 참조 이미지에 작은 얼굴이 보이면 불투명한 원으로 가려 모델이 별도의 얼굴 클로즈업을 사용하도록 합니다. 의상과 소품은 각각 별도의 참조 시트로 준비합니다. 소품을 모델의 판단에 맡기면 칼을 들어야 할 캐릭터가 휴대폰을 들 수도 있습니다. 클립 간 일관성을 가장 높이려면 이전 동영상을 연장하는 방식이 좋지만, 이 경우 크레딧이 더 듭니다. Tyler는 Codex가 장면 구성을 기억할 수 있도록 모든 참조 자료를 하나의 프로젝트 폴더에 보관하라고 덧붙였습니다.

교훈 3: ChatGPT에서 먼저 스토리보드를 만들고 PixVerse 크레딧은 나중에 사용하기

Aldo의 짧은 동영상 광고 예시

Aldo는 뒤에 있는 티라노사우루스를 전혀 알아채지 못하는 노이즈 캔슬링 이어버드 착용 통근자를 소재로 한 짧고 유머러스한 광고를 예시로 들었습니다. 먼저 참조 이미지를 만들고, 그다음 스토리보드를 만든 뒤에야 동영상을 생성했습니다. 그가 제시한 수치에 따르면 스토리보드에는 약 30 크레딧(USD 0.20), 30초 동영상에는 약 1,000 크레딧(약 USD 6.60)이 듭니다. 사무실 배경이 어울리지 않는다고 느꼈을 때는 스토리보드 단계에서 약 30 크레딧을 써서 장면을 기차역으로 옮겼습니다. 결말이 마음에 들지 않았을 때는 마지막 10초만 약 350 크레딧(USD 2.50 미만)으로 다시 생성했습니다. 이는 30초짜리 동영상 전체를 다시 만드는 비용의 약 3분의 1입니다.

또한 프롬프트를 지나치게 자세히 쓰면 캐릭터의 움직임이 뻣뻣해졌고, 프롬프트를 줄이자 문제가 해결됐다고 했습니다. 또 다른 습관은 480p에서 먼저 테스트한 후 화질을 개선하는 것입니다. 이 수치는 Aldo의 프로젝트에서 나온 것이므로 실제 비용은 달라질 수 있습니다.

Aldo의 동영상 광고 작업 흐름에 사용된 이미지

시안 제작과 아이디어 구상은 저해상도에서 진행하고, 게시 전 PixVerse 미니 앱 AI Upscale로 최종 클립의 해상도를 높일 수 있습니다.

교훈 4: 동영상 생성 전에 ChatGPT에서 3D로 샷 구도 잡기

Serge는 현실과 가상의 장소를 배경으로 한 애니메이션 시리즈를 작업합니다. 그가 겪은 문제는 동영상 모델이 공간 구조를 정확히 따르지 않는다는 것이었습니다. 해결책은 부두나 기울어진 등대가 있는 만과 같은 장소의 참조 이미지를 ChatGPT에 제공하고 간단한 three.js 모델을 만들도록 요청하는 것이었습니다. 그는 카메라를 움직여 원하는 샷의 구도를 잡고 해당 프레임을 저장합니다. 그런 다음 이 프레임을 캐릭터 참조 자료와 함께 PixVerse Canvas에 넣고, PixVerse가 그 구도에 원하는 시각적 스타일을 적용하도록 요청합니다.

기울어진 등대가 있는 만을 구현한 Serge의 3D 장면

Serge는 장소의 간단한 3D 모델을 이용해 먼저 카메라를 배치하고 각 샷의 구도를 잡습니다.

3D 모델은 세밀할 필요가 없습니다. 프레이밍과 구도만 정하면 되기 때문입니다. Tyler는 이런 사전 시각화가 과거에는 게임 엔진을 사용하는 대형 스튜디오의 영역이었지만, 이제는 개인 예산으로도 가능하다고 지적했습니다. Serge는 이 과정이 프롬프트 작성보다 연출에 더 가깝게 느껴진다고 설명했습니다.

PixVerse Canvas로 가져온 샷

PixVerse Canvas에 저장한 프레임과 결과 이미지를 나란히 보여주는 Serge의 화면.

교훈 5: 스킬을 한 번 작성하고 작업마다 ChatGPT 또는 Codex 프로젝트 사용하기

Aldo는 스튜디오처럼 작업을 운영합니다. 하나의 작업 공간에 스킬, 지식 파일, 프로젝트를 보관하고, 각 프로젝트에는 전용 폴더와 채팅을 둬 모든 결정이 대화에 남도록 합니다. 스킬은 프롬프트 작성, 스토리, 썸네일, 자막처럼 특정 작업을 위한 실행 지침입니다. 한 번 작성해 반복 사용하며, 문제가 생길 때마다 해결 방법을 스킬에 반영해 프로젝트를 진행할수록 개선합니다. 썸네일 스킬에는 이미 글꼴, 색상, 레이아웃 정보가 담겨 있어 매번 다시 설명할 필요가 없습니다.

Aldo가 창작 프로젝트에 재사용하는 스킬

Aldo가 Codex에서 매번 참조하도록 설정한 스킬의 요약.

Serge도 Codex에서 같은 방식으로 작업합니다. 작업물마다 프로젝트를 만들고 관련 채팅을 그 안에 모아 문맥을 더 잘 유지합니다. 또한 에이전트에 파일의 용도를 설명한 뒤 파일 이름과 폴더 선택을 맡깁니다.

현장 질문에서 나온 이야기

참석자들은 다양한 실무 질문을 던졌고, 두 세션 모두에서 나온 질문 중 하나는 ChatGPT와 Codex의 차이였습니다. Codex는 개발자 도구로 시작했으며, ChatGPT의 에이전트 모드는 기술적인 인터페이스 없이 같은 엔진을 사용합니다. 두 제품 모두 PixVerse 플러그인을 실행합니다.

PixVerse 관련 질문 중에는 두 제품이 계정을 공유하는 방식에 관한 것이 많았습니다. 플러그인이 PixVerse 계정에 연결되므로 PixVerse에서 직접 생성하든 ChatGPT를 통해 생성하든 생성 한도는 PixVerse 요금제를 따릅니다. ChatGPT에서 생성한 결과도 PixVerse에 표시됩니다. 다만 이전에 PixVerse 웹사이트에서 만든 동영상은 ChatGPT에 표시되지 않습니다.

PixVerse의 노드 기반 프로젝트 작업 공간인 Canvas에 관한 질문도 있었습니다. Paul은 한 노드의 참조 이미지가 다음 동영상 생성에 어떻게 사용되는지, 그리고 여러 클립을 이어 짧은 영화를 만드는 방법을 보여주었습니다.

Paul의 PixVerse Canvas 데모

PixVerse Canvas 도구 사용 과정을 보여주는 화면.

일단 시작하기

Aldo는 초보자들에게 우선 시작하고, 첫 시도가 만족스럽지 않을 수 있음을 받아들이며, 계속 개선해 나가라고 조언했습니다.

Serge는 창의성이 마우스를 클릭하는 행위에 있는지, 아니면 도구를 배우게 만든 아이디어에 있는지 질문했습니다. 그에게 중요한 것은 아이디어입니다. 그는 에이전트 덕분에 머릿속 아이디어를 더 많이 구현할 수 있다고 말했습니다.

두 크리에이터 모두 아이디어에서 출발했고, 도구의 도움을 받아 이를 화면에 구현했습니다. ChatGPT 또는 Codex와 PixVerse를 결합하면 더 빠르게 결과를 반복 개선할 수 있으며, 세션에서 소개된 작업 대부분도 이러한 과정을 거쳐 완성됐습니다.

YouTube에서 Prompt to Production with OpenAI 시리즈 보기

두 세션의 핵심 내용은 PixVerse YouTube 채널의 Prompt to Production with OpenAI 재생목록에서 짧은 튜토리얼 동영상으로 볼 수 있습니다.