소라가 갑자기 등장하면 어떤 산업에 지각 변동을 일으킬까요?

출처: 제핀 매크로

OpenAI는 2월 16일 동영상 생성 모델인 Sora를 출시하여 AI의 동영상 콘텐츠 생성 능력을 크게 확장했습니다. Sora는 주요 지표에서 기존의 일부 비디오 생성 모델보다 훨씬 앞서 있으며, 비디오 생성에 사용하면 실제 세계에 대한 공간 시뮬레이션도 거의 사실적인 수준에 도달할 수 있습니다.

왜 소라가 AI의 새로운 이정표가 될까요? 어떻게 AI 콘텐츠 제작의 상한선인 AIGC를 깰 수 있었나요? 객관적으로 볼 때 현재 버전의 소라에는 어떤 한계와 단점이 있나요?

1. 소라는 어떻게 구현되었나요? 소라가 AI의 새로운 이정표가 되는 이유는 무엇인가요?

소라가 AI의 이정표가 된 이유는 AIGC의 AI 기반 콘텐츠 제작의 한계를 다시 한 번 뛰어넘었기 때문입니다. 이전에는 Chatgpt와 같은 텍스트 기반의 보조 콘텐츠 제작, 보조 일러스트레이션 및 화면 생성, 짧은 동영상에 아바타를 사용하는 정도에 그쳤습니다. 소라는 텍스트 또는 이미지의 입력을 통해 생성, 연결, 확장 및 기타 방법으로 비디오를 편집 할 수있는 큰 모델의 비디오 생성 클래스이며, 다중 모드 큰 모델의 범주에 속하며,이 클래스는 추가 확장, 확장에 대한 큰 모델의 언어 클래스와 같은 GPT에 있습니다.GPT-4 텍스트 토큰과 유사한 방법을 통해 소라는 비디오를 처리하는 방법을 조작하기 위해 "패치 ". 이 모델의 핵심 혁신은 비디오 프레임을 언어 모델의 단어 토큰과 유사하게 패치 시퀀스로 취급하여 광범위한 비디오를 효율적으로 관리할 수 있도록 하는 것입니다. 이러한 접근 방식은 텍스트 조건부 생성과 결합되어 Sora가 텍스트 단서를 기반으로 문맥과 관련이 있고 시각적으로 일관된 동영상을 생성할 수 있게 해줍니다.

원칙적으로 Sora는 세 가지 주요 단계로 비디오 교육을 구현합니다. 첫 번째는 비디오 압축 네트워크로, 비디오나 이미지를 작고 효율적인 형태로 다운스케일링합니다. <두 번째는 시공간 패치 추출로, 뷰 정보를 더 작은 단위로 나누고 각 단위에는 뷰의 일부에 대한 공간 및 시간 정보가 포함되어 있어 Sora가 후속 단계에서 처리할 대상을 쉽게 찾을 수 있도록 도와줍니다. 마지막으로 비디오 생성이 있는데, 입력된 텍스트나 이미지가 디코딩 및 인코딩되고 트랜스포머 모델(즉, ChatGPT 기본 변환기)이 텍스트와 이미지 단서의 콘텐츠가 전체 비디오로 구성될 수 있도록 이러한 단위를 변환하거나 결합하는 방법을 결정합니다.

Sora는 동영상 생성 모델에서 가장 중요한 두 가지 지표인 지속 시간과 해상도에서 이전 동영상 생성 모델을 크게 뛰어넘는 성능을 발휘합니다. 모델보다 월등히 뛰어나며, 텍스트 이해와 디테일 생성 능력이 뛰어나 AI 업계에서 또 하나의 획기적인 제품이 될 것입니다. 소라 출시 전 주요 모델인 피카1.0, 에뮤 비디오, 젠2는 각각 3~7초, 4초, 4~16초의 영상을 생성할 수 있었지만, 소라는 1080p 해상도로 최대 60초의 영상을 생성할 수 있으며, 소라는 텍스트 프롬프트에 따라 영상을 생성할 뿐만 아니라 영상 편집 및 확장 기능도 갖췄습니다. Sora는 텍스트 프롬프트를 기반으로 동영상을 생성할 뿐만 아니라 동영상 편집 및 확장 기능도 갖추고 있습니다. 소라는 텍스트에 대한 깊은 이해도도 높습니다. 텍스트 파싱 훈련을 받은 소라는 텍스트 명령 뒤에 숨겨진 감정적 의미를 정확하게 포착하고 이해하며, 텍스트 프롬프트를 장면에 맞는 상세한 비디오 콘텐츠로 부드럽고 자연스럽게 변환할 수 있습니다.

Sora는 비디오 생성 시 가상 세계의 물리적 법칙을 더 잘 시뮬레이션하고 물리적 세계를 더 잘 이해하여 카메라에 대한 사실적인 감각을 구현할 수 있습니다. 기술적 특징은 크게 두 가지입니다.

첫 번째는 여러 샷으로 일관된 3D 공간 모션 비디오를 생성할 수 있다는 점입니다.

두 번째는 다양한 시점에서 동일한 물체의 일관성을 유지하는 기능입니다. 이러한 방식으로 이 모델은 영상 속 캐릭터, 오브젝트, 장면의 움직임의 일관성과 연속성을 유지하며, 간단한 상호작용을 위해 월드 내 요소에 영향을 미치도록 미세 조정할 수 있습니다. 피카와 같은 이전 모델과 달리 소라는 비디오 색상 스타일 및 기타 요소를 정확하게 이해하여 표현력이 풍부한 캐릭터와 생생한 감정이 담긴 비디오 콘텐츠를 생성합니다. 또한 피사체와 배경의 관계에 초점을 맞춰 영상 피사체와 배경 간의 상호 작용이 매우 유동적이고 안정적이며 서브 장면 전환이 논리적으로 이루어지도록 합니다.

제작된 동영상의 공식적인 예시: "한 세련된 여성이 따뜻한 네온사인과 움직이는 도시 간판으로 가득한 도쿄 거리를 걷고 있습니다. 그녀는 검은색 가죽 재킷, 긴 빨간색 드레스, 검은색 부츠를 입고 검은색 가죽 가방을 들고 있습니다. 선글라스와 빨간 립스틱을 바르고 있습니다. 그녀는 자신감 있고 캐주얼하게 걷습니다. 길은 비에 젖어 반사되어 화려한 조명과 함께 거울 효과를 만들어 냅니다. 많은 보행자가 걸어 다니고 있습니다." 소라는 빛과 그림자가 반사되는 방식과 카메라가 움직이는 방식에서 피부까지 완벽한 디테일과 사실감을 구현해냈습니다.

2. 소라의 수준은 어느 정도인가요? 어떤 제한이 있나요?

Sora는 언어 모델용 ChatGPT 3.5에 해당하며, 업계에서 획기적인 발전으로 매우 최첨단에 있지만 여전히 한계가 있습니다.

Sora와 ChatGPT는 확산 모델이 구축된 트랜스포머 아키텍처에서 파생되었으며 깊이, 객체 영속성 및 자연스러운 역학성을 보여주는 데 탁월합니다. 이전에는 일반적으로 3D 물리 모델링을 위해 GPU 기반 게임 엔진을 사용하여 실제 시뮬레이션을 실행했기 때문에 높은 수준의 환경 시뮬레이션과 다양한 인터랙티브 액션을 구현하려면 높은 수준의 정확도와 복잡한 프로세스가 필요했습니다. 그러나 소라 모델에는 데이터 기반 물리 엔진이나 그래픽 프로그래밍이 없으며, 까다로운 3D 빌드에서는 정확도가 떨어집니다. 그 결과 여러 캐릭터의 자연스러운 상호작용과 사실적인 환경 시뮬레이션을 구현하는 것이 여전히 어렵습니다.

예를 들어, 소라의 동영상 생성에서 발생하는 두 가지 버그의 예:

소라가 "유리를 쏟으면 액체가 튀어요"라는 문구를 입력하면 유리가 녹아 테이블에 부딪히고 액체가 유리 위로 뛰어오르지만, 유리 산산이 부서지는 효과는 없습니다.

또 다른 예는 해변에서 의자가 갑자기 파헤쳐졌을 때 AI는 의자가 매우 가벼운 물질이라고 생각하여 그냥 떠오를 수 있다고 판단하는 경우입니다.

이런 종류의 '오류'에는 두 가지 주요 이유가 있습니다."

하나. 하나는 자동 완성 생성 시 모델이 텍스트 계획의 일부가 아닌 개체나 엔티티를 자발적으로 생성하기 때문이며, 이는 특히 혼잡하거나 복잡한 장면에서 흔히 발생합니다. OpenAI의 '겨울철 일본 거리 걷기'와 같이 일부 시나리오에서는 영상에 사실감을 더할 수 있지만, 허공에서 생성된 테이블이 물로 변한 첫 번째 예와 같이 더 많은 환경에서는 영상 속 물리 법칙의 타당성을 떨어뜨릴 수 있습니다.

두 번째는 소라의 시뮬레이션에서 많은 동작이 일어날 때 시간적, 공간적 순서를 혼동하기 쉽다는 점입니다. 예를 들어 '러닝머신 위에서 뛰는 사람'을 입력하면 러닝머신 위에서 엉뚱한 방향으로 걷는 사람이 생성될 수 있습니다. 따라서 Sora는 보다 복잡한 실제 물리적 상호작용, 역학 및 인과 관계를 정확하게 모델링하며, 단순한 물리적 및 객체 속성을 시뮬레이션하는 데는 여전히 어려움을 겪고 있습니다.