在OpenAI“12天直播”的第三天,阿尔特曼如外界猜测一般宣布了视频生成模型Sora上线,模型全新版本Sora Turbo增加了从文本生成视频、为图像添加动画和重新混合视频等功能,并将在今天晚些时候向美国用户以及其他大多数国家用户推出。
鸽了近 10 个月的Sora,终于赶在2024年底落地了。
图源:网络
在直播期间,OpenAI 展示了 Sora 的新探索页面,其中包含由其他社区成员创建的 AI 生成视频。该公司强调了一项名为 “storyboards” 的功能,该功能可让用户根据一系列提示生成视频,以及将照片转换为视频的能力。OpenAI 还演示了一个 “remix” 工具,它允许你通过文本提示来调整 Sora 的输出,以及一种用 AI 将两个场景 “混合” 在一起的方法。
具体来看, Sora 目前的完整功能如下:
-
Remix:使用 Remix 替换、移除或重新构想视频中的元素(例如,移除宇宙飞船、添加丛林);
-
Re-cut:查找并隔离最佳帧,将它们向任一方向扩展以完成场景;
-
Storyboard:在个人时间轴上组织和编辑视频的独特序列;
-
Loop:通过循环修剪并创建无缝重复的视频;
-
Blend:将两个视频合并为一个无缝剪辑;
-
Style Presets:使用预设创建和共享激发您想象力的样式。
图源:网络
在生成方式上,Sora提供了三种视频生成模式,包括文本到视频、文本 + 图像到视频以及文本 + 视频到视频模式。
其中的文本 + 视频到视频模式允许用户上传已有的视频素材,并结合文本描述进行修改或扩展。用户可以在现有的视频上重新编辑,包括加入新的对话、场景或动画效果,从而提升视频的吸引力和表现力,创作出全新的版本或完全不同的内容。
OpenAI 表示,使用 Sora 生成的视频将具有可见的水印和 C2PA 元数据,以表明它们是使用 AI 制作的。在将图像或视频上传到 Sora 之前,OpenAI 会提示您核对一项协议,该协议规定您上传的内容不包含 18 岁以下的人、露骨或暴力内容以及受版权保护的材料。它表示,“滥用媒体上传”可能会导致帐户被禁止或暂停。
图源:Sora
模型服务被包含在 ChatGPT Plus、ChatGPT Pro的会员订阅中,用户无需额外付费。
不过,使用 Sora 生成视频需要花费积分,OpenAI计划为ChatGPT Plus 和 Pro 每月分别重置 1000 和 10000 积分,生成不同分辨率视频使用的积分数量也不同。
使用 Sora 生成的 480p 视频需要 20 到 150 个积分,720p 视频需要 30 到 540 个积分,1080p 视频需要 100 到 2000 个积分。
根据OpenAI方面的说法,用户每月可以生成最多50个时长为 5 秒、分辨率达720p的视频,上周推出的每月200美元的ChatGPT Pro订阅用户每月可生成视频数量则达到500个,同时视频可取消水印,分辨率提高到 1080p,持续时间提高到20秒。
图源:OpenAI
作为一个铺垫了整个2024年的产品,Sora一经推出就在社交媒体上炸开了锅,大批用户涌入体验网站甚至还导致该网站一度崩溃,停止注册登录。
从用户的最新作品来看,有用Sora制作二次元美少女视频的;有用来制作三次元可爱猫咪的;甚至还有用来生成游戏录屏的,网友们玩得不亦乐乎,各种Sora新用法层出不穷。
图源:网络
但对于“美国和大部份国家”以外的地区用户来说,可就没办法在第一轮就感受Sora带来的震撼,在社交媒体上,已经有不少欧洲用户破防了:
图源:网络
OpenAI首席执行官奥尔特曼表示,初期Sora的使用仍然受限,除了视频生成的数量和速度会有限制之外,Sora在欧洲大部分地区也无法使用,因为欧洲的科技监管更严格。
此外,Sora的生成效果在早期测试中显示出明显的局限性,Sora对物理现象的理解仍然不够准确,可能会导致生成的视频在一些细节上与现实不符,例如在模拟物体的运动、光影效果等方面,可能会出现不合理的情况。
同时与图像生成器或聊天机器人相比,Sora生成每个视频所需的时间和算力明显更多,这可能会限制其在一些资源有限的环境中的应用,也增加了用户的使用成本。
但尽管如此,作为视频生成模型的先驱,Sora已经成为 OpenAI 通用人工智能路线图的关键一环,能够帮助 AI 持续学习理解世界。通过处理和生成视频,Sora 能够模拟现实世界中的各种场景和现象,从而为 OpenAI 的人工智能系统提供更多的学习数据和经验,这对于实现通用人工智能的目标至关重要。
而对于Sora的实际体验效果,前方智能已在详细测试中,详情请关注后续深度测评文章。