视频ChatGPT时代”来了?Meta挑战霸主Sora

1.jpeg

Sora未来能够在市场上推出,依然具备强大的竞争优势。

  近日,Meta发布Movie Gen,称其为“最先进的媒体基础模型”。据悉,Movie Gen可生成1080P、16秒、每秒16帧的高清长视频,其不但可以通过文本输入生成视频,还可以通过文本对现有视频进行编辑修改,据称逼真程度超越Sora,Movie Gen预计明年正式向公众开放。

Movie Gen生成的视频


  《IT时报》记者注意到,如今几乎所有新推出的文生视频产品都会与年初亮相的Sora对比,将之视为最强大的竞争者。不过,Sora一鸣惊人后却迟迟未上线,被外界调侃为“期货”,那么“视频ChatGPT时代”究竟何时来临?

  OpenAI的内忧外患

  距离首次亮相已超过半年,Sora为何迟迟未能正式上线?

  Logenic AI联合创始人李博杰向《IT时报》记者表示,Sora未能如期发布的主要原因可能与其所需的算力资源密切相关。Sora模型本身需要占用大量计算资源,生成一分钟视频的时间高达约半小时,且并非单台设备完成,而是需要多台并行运行,这

  ;96t0k-kt9ogpotot\/.t/t/T/FTddddddddft t分钟视频的成本可能超过100美元。

  李博杰指出,如果普通用户生成一分钟视频要花费100美元,那么如此高的成本对于消费级市场来说显然难以接受。因此,Sora尚未能大规模推广。相比之下,一些国内公司选择了较小规模的模型,虽然生成效果不如Sora,但在当前算力有限的情况下更加实用,能让用户立即上手。

  Sora如何降低成本?可能需要依赖模型蒸馏这一技术。

  模型蒸馏是指通过使用大型、强大的模型(如GPT-4o或o1-preview)的输出,来微调更小、更具成本效益的模型(如GPT-4o mini),以在特定任务上接近高级模型的性能,但成本大幅度降低。

  如GPT-4o mini,通过模型蒸馏技术将成本降低了30倍,“理论上Sora也可以采取这种方法,将模型能力稍微削弱,但成本却能大幅下降。”李博杰同时指出,这一过程需要大量资源投入,而资源恰恰是当前OpenAI内部面临的一个重要问题。

  近日,《The Information》报道称,OpenAI因不满微软无法快速提供足够的服务器,开始与Oracle洽谈,以建立全球最强的AI数据中心。OpenAI首席财务官Sarah Friar此前表示,由于微软提供的算力不够,OpenAI不得不寻找其他数据中心合作。

  另一方面,尽管OpenAI拥有比大多数公司更多的GPU资源,但团队规模庞大,内部的资源争夺和职场斗争不断。OpenAI内部约有3000名员工,不少团队需要抢占资源,高管的频繁离职也与此有关。

  OpenAI部分团队专注于商业化,需要快速推向市场,因此占用了大量GPU资源。尤其是GPT-4的免费开放,更加剧了资源消耗。此外,OpenAI还在不断训练新模型,如o1推理模型、Sora的最新版本、GPT-4.5以及即将推出的GPT-5.进一步加重了计算资源的负担。

  当地时间10月4日,OpenAI的文生视频大模型Sora团队研发负责人Tim Brooks宣布离职,加入谷歌 DeepMind。在此之前,9月26日,OpenAI高层也经历了重大变动,多位高管相继离职,创始团队成员仅剩三人。

  此外,在美国,生成式AI引起的版权争议正愈演愈烈。此前,超过4700名艺术家发起集体诉讼,指控Stability AI、Midjourney和其他AI相关公司非法使用版权作品用于训练AI。相比文本生成,图片、视频和语音的版权风险更大,视频生成面临更多的版权问题。

  内忧外患之中,Sora终成“期货”。

  国产文生视频百花齐放

  对于广大使用者而言,Sora从“理想”到“现实”的进展缓慢无疑令人失望与焦虑。Sora首次亮相时,业内的讨论还聚焦于中美AI技术的差距。如今,短短半年后,国内AI创作领域已然“百花齐放”。相比之下,Meta的入局已经显得慢了半拍,中国企业迫不及待地开始布局视频生成技术。

  今年3月底,字节跳动旗下的剪映团队推出AI创作平台“即梦AI”并开放内测。8月6日,移动版应用正式上线苹果商店,具备文生图、文生视频和图生视频等功能。

  6月13日,美图发布了基于大模型的短片创作平台MOKI,创作者只需经过简单设定,即可生成动画短片、网文短剧、故事绘本和MV等多种内容,极大降低了创作门槛。

  6月21日,快手推出旗下的“可灵”图生视频功能,7月24日,基础模型升级,显著提升了画面质量与运动表现。

  大模型领域的初创公司同样不甘落后。爱诗科技推出了AI视频生成产品PixVerse,生数科技4月发布了视频生成模型Vidu,智谱AI7月26日上线清影(Ying),MiniMax则于9月2日推出abab-video-1.其高压缩率、优良的文本响应能力以及多样化风格,能够生成媲美电影质感的高分辨率、高帧率视频。

  据德邦证券统计,自Sora首次亮相以来,全球已有十多家公司发布或更新了视频生成模型。

  作为自2023年2月起就开始体验各种视频创作工具的资深用户,俞国汉见证了AI视频创作领域快速变化。

  “最开始要将视频的每一帧都用图像生成模型Stable-Diffusion进行图生图处理,然后再连成视频。”俞国汉回忆道。这种方法虽然能够生成具有创意效果的视频,但每一帧图生图之间存在差别,导致最终的视频效果总是闪烁不定,严重影响了观看体验。

  此后,字节跳动的Animatediff模型出现,凭借免费、本地使用且可操作性强的优点,迅速获得了技术爱好者们的青睐,成为视频转视频的主流工具。与此同时,市场上也涌现出了一些高质量的图生视频工具,如Runway Gen2因其出色的画质和高分辨率,一度受到短剧领域的青睐。

  2024年初Sora的面世给视频创作领域带来一波新浪潮。“那时候大家对Sora既充满期待又感到不安,觉得之前花时间研究的视频技术都变得不再重要了。”俞国汉回忆道。

  直到2024年6月,快手“可灵”正式发布,让俞国汉在内的创作者们直呼“原来真的有那么好的文生视频工具”。可灵不仅提升了文生视频的表现,还证明了高质量文生视频的可能性。此后,市场上涌现出了多种文生视频工具,如Vidu、Runway、Luma、海螺AI等,每款工具都各有特色。

  俞国汉向《IT时报》记者详细介绍了自己体验这些文生视频工具的直观感受,比如海螺AI以其优秀的动画、镜头运用和人物情感表达而著称;Vidu在语义理解、特效2D动画、一致性等表现出色;Runway则以其较高的分辨率、优秀的画面质感成为广告行业的理想选择;而可灵则因其平衡的性能而被视为多面手。

  商业化“道阻且长”

  俞国汉指出,目前使用AI视频制作对于个人用户而言成本仍然较高,但对于企业来说,这种成本是可以接受的,商用AI视频制作中,画面一致性、分辨率和语义理解能力是决定视频质量的关键因素。

  尽管文生视频技术为创意工作开辟了新的空间,但其现有的局限性使得它在商业应用中的价值远不及图生视频。目前来看,文生视频大多时候更像是爱好者的“玩具”,难以满足商业需求。因为在短剧制作中,需要确保人物形象和其他元素的一致性,而文生视频往往只能生成几秒钟的内容,且下一秒的内容可能会发生变化,这显然无法满足专业制作的要求。

  李博杰也指出,在技术层面,文生视频面临的关键挑战之一是风格一致性的问题。例如,在生成一个10秒的视频时,人物形象是否保持一致,是否会出现前后视频中人物外貌不符的情况。此外,视频中的物理规律是否符合常识也是一个难点。

  “Sora的关键作用在于它为行业指明了方向。如果它能够降低成本并进入市场,其他公司将会纷纷跟进,投入资源进行开发。”李博杰表示,尽管目前Sora的效果未达最佳,但如果它开源视频生成模型,将带来一场颠覆性的行业变革。

  事实上,当前市面上缺乏先进开源的视频生成模型。大多数头部公司如Meta和Sora都选择了闭源。虽然Meta近期发布了一份92页的技术报告,详细阐述了技术细节,开放程度已超出其他公司,但模型本身仍未开源。若未来这些模型能实现开源,将极大推动视频生成行业的发展。

  尽管如此,李博杰认为,Sora未来能够在市场上推出,依然具备强大的竞争优势,“OpenAI在数据和算力上的显著优势让其在市场中独树一帜,其他公司既没有那么多的GPU资源,也缺乏同等规模的高质量数据”。


产品图.jpg

赞 (0)
上一篇 2024年11月22日 13:00
下一篇 2024年11月22日 13:00