Sora为何出道即碾压主流AI视频模型:文生视频最长纪录,对世界有全面认知

  澎湃新闻   2024-02-19 11:34:07

近日,AI(人工智能)新锐巨头OpenAI推出文生视频模型Sora,将人们的视线再次引到了AI视频生成赛道。

由于在AI生成视频的时长上成功突破到一分钟,再加上演示视频的高度逼真和高质量,Sora立刻引起了轰动。不过,OpenAI尚未宣布Sora对公众正式开放的日期。Sora将首先被提供给安全团队,以评估产品的危害或风险,一些视觉艺术家、设计师和电影制作人也能获得Sora的访问权限。

在Sora推出之前,已经出现了一些用户认可度较高的AI生成视频模型。为什么Sora能引发如此大的轰动?多家外媒对三款热门文生视频模型Runway、Pika Labs和Stable Video进行了分析,并比较了Sora和它们之间的技术差别。

时长:60秒 vs 16秒

在Sora横空出世之前,Runway一直被视为AI生成视频的默认选择,尤其是自去年11月推出第二代模型以来,Runway还被称为“AI视频界的MidJourney”。第二代模型Gen-2不仅解决了第一代AI生成视频中每帧之间连贯性过低的问题,在从图像生成视频的过程中也能给出很好的结果。

Runway能够生成已经很逼真的四秒短视频。来源:Runway

而在Sora发布后,Runway的CEO克里斯托瓦尔·巴伦苏埃拉(Cristóbal Valenzuela)便在X平台上发布了两个字:“Game On(比赛开始了)。”

Sora最震撼的技术突破之一在于其输出的视频时长。Runway能够生成4秒长的视频,用户可以将其最多延长至16秒,是AI生成视频在2023年所能达到的最长时长纪录 。Stable Video也提供4秒的视频,Pika则提供3秒的视频。在这一方面,Sora以1分钟的时长向竞争对手们提出了挑战。

Sora传播度最高的时长60秒的视频之一,女子行走在东京街头。来源:Sora

Sora模型能够实现视频时长突破,主要功臣是其所采用的扩散Transformer架构,而Sora的创始者之一、现任OpenAI工程师的William Peebles刚在去年和别人一同发布了针对该架构的研究论文。

本质上,Sora和Pika、Runway采用了相似的底层模型,即Diffusion扩散模型。不同之处在于,Sora把其中的实现逻辑进行了变化,将U-Net架构替换成了Transformer架构。

不过目前,外界尚不清楚Sora提供了哪些功能以供用户定制输出视频,因此Runway仍可能是Sora的替代方案之一。今年1月,Runway刚宣布,用户将能够通过多头运动笔刷(Multi Motion Brush)功能实现对AI生成视频中多个元素的运动控制。此外,Runway也因其提供了集合多种AI工具的视频制作解决方案而备受推崇。

镜头语言:运动镜头 vs 静止视角 

值得注意的是,X平台上的一些用户表示,在OpenAI推出Sora的2月15日晚上,AI视频生成初创公司Stability AI也在官网和X平台上发布了新动态,宣布了Stable Video Diffusion更新1.1版本。但是,几分钟后,这两条消息都迅速消失了。

被Stability删掉的文章截屏。来源:X平台

外界无从得知这究竟是由于操作失误,还是Stability观察到了两种AI生成视频之间的巨大质量差异,选择重新制作广告。Stable Video和前两款产品一样,都没能脱离现有文生视频的一般模式,即输出单一的、通常是静止视角的短视频片段。相比之下,Sora的宣传视频包括变换摄像机角度、电影式剪辑和场景变换,也就是人们常说的镜头语言的使用。

此外,许多分析都指出,Sora带有世界模型的特质。所谓世界模型便是对真实的物理世界进行建模,让机器能够像人类一样,对世界产生一个全面而准确的认知 。这一特性使得AI视频生成更流畅、更符合逻辑,降低了视频模型的训练成本,提升了训练效率。

由Sora生成的“赛博朋克背景下机器人的生活故事”。来源:Sora

和Runway一样,Stability AI的CEO埃马德·莫斯塔克(Emad Mostaque)也在X平台上感慨“奥特曼(OpenAI的创始人兼CEO)真是一个魔术师”,并称Sora可以被视为AI视频的GPT3,将在未来几年内得到扩展、细化、调整和优化。

劣势:有无免费选项,能否开源

和前辈们相比,Sora也存在两个可能令其不会被用户青睐的问题:有无免费选项,以及能否开源。

作为AI视频领域的新晋竞争者,Pika Labs于去年11月推出了生成式AI视频工具Pika 1.0,也在推出时凭借精美的演示视频引起了轰动。Pika已于去年12月公开,与Runway具备相似的质量,并在短时间内建立了一个非常活跃的用户社区。

Pika生成的视频截图。来源:Pika

最重要的是,和其他竞争对手相比,Pika提供了更具吸引力的免费使用选项。Runway只会给用户125个不可续的免费积分,而Pika每天都会给用户发放30个积分,这使得它在短时间内拥有了一个庞大且活跃的用户社群。

Stability AI旗下的Stable Video Diffusion则是一款开源的视频生成模型。类似于图像版的Stable Diffusion,该模型可以根据用户自己的需求进行定制,并且可以在个人设备上进行本地安装,而Sora大概率永远不会提供这种功能。

目前,Stable Video Diffusion也仅供部分用户试用,在Stability的官网上可以加入等待列表。

责编:万枝典

一审:彭彭

二审:李茁

三审:文凤雏

来源:澎湃新闻

我要问