人工智能创业公司Runway推出文本生成视频模型,效果出色

远洋 ☉ 文 来源:IT之家
2023-03-21 @ 哈希力量文库

文库划重点:Gen-1主要是对现有视频素材进行转换,让用户输入一个粗糙的3D动画或者抖动的手机拍摄片段,并应用一个人工智能生成的覆盖层。例如在下面的例子中,纸板包装的视频与一个工业厂房的图片结合起来,产生了一个可以用于故事板或者提案更精美作品的片段。


3月20日消息,一家名为Runway的人工智能创业公司宣布了一款新的文本生成视频(Text-to-video)AI模型,名为Gen-2,文本生成视频也就是用户可以输入一个描述,然后系统自动生成任何风格的对应视频。目前的技术还达不到这个梦想,但Runway公司的新模型已经展示了一些非常好的效果。rGX哈希力量 | 消除一切智能鸿沟

Runway公司提供了一个基于网络的视频编辑器,专注于人工智能工具,如背景移除和姿态检测。该公司参与开发了开源文本生成图像模型Stable Diffusion,并在二月份发布了第一个人工智能视频编辑模型Gen-1。rGX哈希力量 | 消除一切智能鸿沟

Gen-1主要是对现有视频素材进行转换,让用户输入一个粗糙的3D动画或者抖动的手机拍摄片段,并应用一个人工智能生成的覆盖层。例如在下面的例子中,纸板包装的视频与一个工业厂房的图片结合起来,产生了一个可以用于故事板或者提案更精美作品的片段。rGX哈希力量 | 消除一切智能鸿沟

相比之下,Gen-2更专注于从零开始生成视频,但是也有很多需要注意的地方。首先,Runway公司分享的演示片段都很短、不稳定、并不是很逼真;其次,访问权限也受限,用户必须通过Runway公司的Discord平台注册并加入等待名单才能使用Gen-2模型;该公司发言人Kelsey Rondenet称,“我们将在未来几周内提供广泛访问。”换句话说:目前我们只能通过一个演示片和少数几个片段(其中大部分已经作为Gen-1模型宣传过)来评价Gen-2模型,不过看起来效果很是很出色的。rGX哈希力量 | 消除一切智能鸿沟

文本生成视频技术令人兴奋,带来了新的创造性机会,但也带来了新威胁(例如虚假信息等)。rGX哈希力量 | 消除一切智能鸿沟

https://www.ithome.com/0/681/022.htmrGX哈希力量 | 消除一切智能鸿沟

(文章收录有删节,视频插图未收录)rGX哈希力量 | 消除一切智能鸿沟



收录于哈希力量,手机站省略本文固定网址