就在昨天,Sora又有全新「神作」炸出了!
两位Sora作者,Bill Peebles、Tim Brooks纷纷甩出全新图片。(顺便还秀了一把基友情?)
「一只小熊猫和一只巨嘴鸟是最好的朋友,在蓝色时刻漫步在圣托里尼岛」,Peebles称这个场景简直就和两人走到OpenAI办公室的画面一模一样。


a red panda and a toucan are best friends taking a stroll through santorini during the blue hour
这个视频的连贯性简直令人惊呼:在每一帧中,小熊猫和巨嘴鸟的形象始终保持着一致性。
当然仔细看还是有不少破绽。比如小熊猫的腿有时会交织在一起,画面看起来更像卡通图像,而不像逼真的现实世界。
但总的来说,这种视频质量已经足以让我们对AI视频的未来放飞想象。
有网友立刻做出了配音版,贴切的配音一出,视频更有那个味儿了!
难怪好莱坞大导Tyler Perry直言,自己在看完Sora制作的视频后,直接搁置了自己影师工作室8亿美元的扩建计划!
更多「神作」来袭
这次两位作者放出的第二批视频,效果更加逼真、更加炸裂。

网友们接连不断发出惊叹:Sora是怎么做到一次比一次迭代得更好的?
这个视频是「一名潜水员发现了一艘隐藏的未来沉船,里面有控制论海洋生物和先进的外星技术」。

a scuba diver discovers a hidden futuristic shipwreck, with cybernetic marine life and advanced alien technology
潜水员、海底景观、沉船外壳、内部的外星技术都生成得十分逼真。
当然,这个场景也不是100%完美。立刻有人发现破绽——
比如,潜水员没有摆动脚蹼就能游动起来,也没有吐出气泡。

一位好莱坞电影制片人吐槽说:人的动作看起来没有灵魂,有些像僵尸。

但对于不那么挑剔的观众,这个20秒视频的质量已经够了。

有人满意地说:看起来像《深海迷航》的高分辨率版本
在以往,这个场景无疑要耗费巨资。而现在,好莱坞大片中烧金的高难度场景,都可以用Sora视频替代了,AI淘汰影视行业真不是说说而已!
这条闪着珠光的银色鳞片、有着冰蓝的眼睛和象牙龙角、吐出白气的小白龙,也让网友们惊呼,太太太震撼了!

Close-up of a majestic white dragon with pearlescent, silver-edged scales, icy blue eyes, elegant ivory horns, and misty breath. Focus on detailed facial features and textured scales, set against a softly blurred background
它的拟人化做得很好,眼睛水汪汪的,传达了非常动人的情感,仿佛能听懂人话一样。
《权力的游戏》中的巨龙,是这样的。跟它比起来,小白龙的差距并不太大。

有的网友表示,自己对这条小白龙爱不释手,直接给它配了个音——
于是一场配音大赛开始了。
现实场景,是给Sora最难的考题。
下面这个「一个男人在夏威夷热带水域上空定点跳伞,宠物金刚鹦鹉在旁边飞翔」的视频,Sora再次交出了让人印象深刻的答卷。

a man BASE jumping over tropical hawaii waters. His pet macaw flies alongside him
场景如此逼真,直接有人发问:「是真的视频还是AI做的?」

配上音后是这样的,就问会有多少人发现——这并不是真实的场景?
如果非要找茬,就是金刚鹦鹉的照明不太对,看起来像是单独做出来的动画,并不像自然条件下的光照。

定点跳伞的动作生成得不够准确,降落伞太小。

下面是一只玻璃乌龟,裂缝用金繕工艺修复,在日落时分走在黑色的沙滩上。

画面的一致性很完美,沙子的物理学特性也完全还原出来了。
不过美中不足的是:乌龟似乎只有三条腿??

也有人发现「华点」:把沙丘做出崎岖不平的样子,是为了让海龟爬过沙丘后不会留下痕迹吗?

相比之下,Midjourney生成的玻璃乌龟是这样的,别有一番风味。

精美的纸艺世界中的一艘船,海面还有海洋动物跃出。

in a beautifully rendered papercraft world, a steamboat travels across a vast ocean with wispy clouds in the sky. vast grassy hills lie in the distant background, and some sealife is visible near the papercraft ocean's surface
黑暗的霓虹灯雨林里,闪耀着奇幻的动植物。

a dark neon rainforest aglow with fantastical fauna and animals
不过对于这个视频,也有人挑刺说:「这是我见过的Sora最差的demo,它不知为什么就生成了矢量动画的风格。」
一只戴着眼镜的猫,出现在20世纪60年代的谍战电影中。

cat in glasses in a 1960s spy movie
黄昏时分,一只巨大的半透明水母优雅地飘浮在荒芜的城市中,还是用35毫米胶片拍摄的超现实场景。

A surreal scene unfolds as a giant, translucent jellyfish floats gracefully through a deserted cityscape at dusk. The scene is shot on 35mm film
这是一个精心制作的立体模型:江户时代,木结构建筑前,一个孤独的武士慢慢穿过小镇。

A meticulously crafted diorama depicting a serene scene from Edo-period Japan. Traditional wooden architecture. A lone samurai, clad in intricate armor, walks slowly through the town
一只戴着护目镜的小胖哈巴狗,坐在一辆旧摩托车旁边的凳子上。
仔细看可以发现,狗肚子一呼一吸的样子,显得非常真实。

a small chubby Pug dog in goggles is sitting on a stool next to an old motorcycle
一只棕色边牧戴着太阳镜,滑着滑板。

a brown and white border collie stands on a skateboard, wearing sunglasses
可怕的事来了,有人在底下留言称,棕色边牧是自己的狗,这个视频是自己拍的。
而我们,竟有那么一刻恍惚了:他说的究竟是真是假?

总之,网友们迫不及待等待公测了。
还有人给Sora出了神考题——「一部手机正在直播进入黑洞的过程」。

网友猜测:虚幻引擎被用来生成部分数据集?
随着这些视频被放出,网友们心中的疑问也越来越强烈——
Sora模型究竟是用什么数据训练的?

不少网友也觉得,怎么Sora生成的画面,看起来有些似曾相识?仿佛就是直接用虚幻引擎(Unreal Engine)做出来的一样。

随后,越来越多人公认:Sora训练的数据集,应该就是用UE产生的。

其实,在Sora刚诞生时大佬就纷纷预测——Sora是由游戏引擎提供支持的。
Pytorch联合创始人Soumith Chintala就这样认为。

数据科学家和机器学习工程师Ralph Brooks也给出了自己的分析:

如果要创建大量不同角度的高清视频,就需要进行模拟。其中,有很多线索让我相信,UE5在一定程度上就是用来创建训练数据的。
比如这段广为人知的樱花漫步视频中,人物移动的方式跟UE5中非常相似。现实中的人走路是不会用恒定速度的。

英伟达高级科学家Jim Fan同样表示,「如果Sora接受过大量UE5合成数据的训练,我不会感到惊讶的!」

当然,它可能没有明确调用UE5,但非常有可能将UE5生成的文本、视频对作为合成数据,添加到训练集中。

早有预言帝猜中,Sora的推理管道是用的CLIP底座、文本转3D对象,和游戏引擎模拟。

果然,「人工训练数据耗尽」不会阻止LLM的发展,合成数据才是AI的未来!

「精简版」体验,就藏在技术报告里!
网友们看到这些一代比一代强的demo,已经心痒难耐了。
好消息是:虽然Sora还没有正式开放功能,但在技术报告里,已经可以小体验一把了!

报告地址:https://openai.com/research/video-generation-models-as-world-simulators
通过选择不同的关键词,比如人物、衣着、天气环境、地理位置等选项,就可以体验Sora生成的不同视频。
这样我们就可以看到——a穿着b样子的衣服,在c地点的d天气下,惬意地散步。




好莱坞大佬直言很害怕,影视行业真完蛋了?
这也难怪,好莱坞知名导演、制片人、演员Tyler Perry因为Sora,决定搁置自己亚特兰大工作室耗资8亿美元的扩建计划。

本来,Perry导演在过去四年里,一直计划斥资8亿美元扩建自己的工作室,为占地330英亩的土地增加12个摄影棚。
然而,在2月16日看过Sora做出的视频后,他决定撤销自己的8亿美元计划,因为他拍摄的大片中,可能并不需要找取景地,或者搭建实景了。
「以前,我们只是被告知AI可以做这些事,但是真的看到它做出来的场景,还是太令人震惊了!」

Perry导演表示,因为Sora给自己带来的冲击太过强烈,8亿美元扩建计划已被无限期推迟。
现在,拍电影时再也不需要亲自前往拍摄地点了。
不论是想要科罗拉多的雪地场景、月球上的场景,还是山中客厅中拍摄两个人的场景,都再也不要搭建真实布景,只要在办公室的电脑上,就能完成一切!
而这也就意味着,巨大的变化将波及行业的每一个角落,影响到演员、灯光、运输、音效和剪辑等所有从业者的饭碗。
现在,Perry导演已经在两部电影中的现场拍摄和后期制作中使用了AI,避免了耗费数小时给演员画老年妆。
Sora的出现彻底改变了游戏规则。
在以往,HBO的试播可能需要耗资1500万、2000万乃至3500万美元,而现在,这个成本低到不可想象。公司显然会选择成本更低的方案。
在不远的将来,很多工作岗位都会消失。
影视行业该建立怎样的安全防护措施,保住大家的饭碗?
参考资料:
https://www.hollywoodreporter.com/business/business-news/tyler-perry-ai-alarm-1235833276/
https://twitter.com/JMT3/status/1761443473218240558
https://twitter.com/_tim_brooks/status/1761236971186438178
https://twitter.com/model_mechanic/status/1761198301482021084