一句话就能生成视频 人人能拍大片了？让郭帆和张颂文焦虑的AI技术 杭州已有公司用来做广告样片
《新江南网》江南第一门户网站！
追踪网络热点，关注民生动态，传播江南文化，倡导网络新时代！
“前几天张颂文老师提到过，我给他看人工智能生成的视频。他是焦虑得一晚上没睡，其实我也焦虑了好长时间。我觉得这是一种技术革新。”国产科幻片《流浪地球》系列的导演郭帆如是说。
正在进行时的上海国际电影节，今年首次特设“科幻电影周”单元，人工智能毫无意外地成了现场频频被提及的热词。恰好也就在近日，为奥斯卡大赢家《瞬息全宇宙》提供过技术支持的人工智能公司Runway，开放了视频编辑器的免费试用。这可能是全球范围第一个公开可试用的“文生视频”AI工具。随着“文生图”的AI绘画日渐融入我们的日常工作和生活，“文生视频”也开始崭露头角，杭州已有公司正在使用这种技术制作商业广告样片。郭帆：完全颠覆的技术已经出现了A掏出手机，给B看一段30秒的视频。视频画面中，昏暗的灯光下，一位老人在室内的环境里说着台词，表情满是忧伤。B：挺好，很走心。A：这是AI制作出来的，这个演员根本不存在。B：没有借鉴某个演员的脸吗？指AI换脸。我就被换过很多次，在网上看到过自己唱歌跳舞。A：没有，完全虚拟的人物。这是未来的挑战。A是郭帆，B是张颂文。“做《流浪地球2》时，面部的增/减龄虽然也是通过人工智能完成，但当时应用并不便利。而现在技术突飞猛进，生成的一个视频中，演员可能压根不存在，而你甚至很难分辨。完全颠覆的技术已经出现了。”被网友戏称为“赛博妲己”的郭帆，现在每天只有三四个小时的睡眠时间，工作之余都在琢磨人工智能，阅读相关书籍。就在本届上海国际电影节期间举行的三场科幻电影主题论坛上，国内电影人热烈讨论着如何看待、运用生成式AI，AI会给电影创作和制作带来哪些影响等话题。现实似乎比电影更科幻。网友：上一次这么激动还是第一次体验AI绘画就在几天前，大洋彼岸一家名叫Runway的人工智能公司，面向全球开放了视频编辑器Gen-2的免费公测。你只需要输入几个词或者一句话（也可以给张参考图），就能“无中生有”生成想要的视频。它支持中文输入，不过目前公测版的视频片段仅为4秒。“上一次这么激动还是第一次体验AI绘画”“人人能拍大片的时代要来了”“视频制作的门槛降低了”……网友难掩兴奋。与Gen-2同时公测的，还有上一代编辑器Gen-1，可通过文本或提供参考图，将现有视频风格转化为其他任意风格。成立于2018年的这家公司，其实也不算无名之辈。它曾完成了《瞬息全宇宙》中香肠手、大眼石头对话等超现实艺术场景，本月初还拿到了谷歌领投的D轮融资。在Runway官网的演示视频中，输入提示词“丛林”，大片镜头立刻呈现。轮流搭配“河流”“瀑布”“黄昏”“白天”等，这个AI工具也能秒懂。据官方透露，Gen-2的训练数据，包括2.4亿张图片、640万个视频剪辑片段以及数亿个学习示例。实际生成效果真有这么好吗？记者上手试了试。输入中文提示词“杭州西湖荷花盛开 影视风格”，1分多钟后呈现在眼前的是“水中亭台楼阁”的航拍镜头，不见荷花；再转用英语表达，这次荷花有了，但效果依然不尽如人意，画质较模糊，某些地方卡顿得像幻灯片。杭州有公司正在用它制作广告样片“目前这类AI工具，生成视频的整体水平还比较粗糙，达不到影视剧直接使用的标准和要求。”杭州元形水滴智能科技CEO、联合创始人沈传立一边说，一边传过来几段此前用AI生成的视频。从画面看，同样存在颗粒感重、帧率不稳定等问题，且人物脸部还有点扭曲和诡异。这家位于滨江的科技公司，专业从事数字人、元宇宙等生成式人工智能相关的研发和业务。近期，他们正在为客户用“文生视频”的技术，制作商业广告宣传片的demo（样片）。“因为签有保密协议，细节不便透露，但就跟‘文生图’的AI绘画一样，这（文生视频）是目前市场上已经在发展的事。”那么，“文生视频”的整体水平还不够理想，是因为技术问题吗？与图像生成相比，优质和可控的视频显然更复杂。“不是技术做不到，而是需要有更多人参与。”沈传立纠正了这种说法。“需要三点：一是数据的标准性和通用性，现在‘喂’给模型的数据比较杂和‘脏’；二是训练模型的建立和完善，就是需要更多LoRA模型（可以解决微调大模型的问题）；三是更多开放生态伙伴加入。说白了，就是好的生成模型，需要好的‘饲料喂养’，也需要更多技术公司参与进来。”事实上，目前，国内外大厂都有正在开发的文生视频AI工具，像是百度CreateLab、阿里达摩院的文本生成视频大模型、谷歌Imagen，还有Meta的Make-A-Video等。而在Runway等的技术接近能直接生成电影质感的视频前，至少还要经过多次迭代。这个时间大概是多久？漫威电影《复仇者联盟4》等的导演乔·罗素日前接受采访时预测，两年内，人工智能就将能够创造一部成熟的电影。
正在进行时的上海国际电影节，今年首次特设“科幻电影周”单元，人工智能毫无意外地成了现场频频被提及的热词。恰好也就在近日，为奥斯卡大赢家《瞬息全宇宙》提供过技术支持的人工智能公司Runway，开放了视频编辑器的免费试用。这可能是全球范围第一个公开可试用的“文生视频”AI工具。随着“文生图”的AI绘画日渐融入我们的日常工作和生活，“文生视频”也开始崭露头角，杭州已有公司正在使用这种技术制作商业广告样片。郭帆：完全颠覆的技术已经出现了A掏出手机，给B看一段30秒的视频。视频画面中，昏暗的灯光下，一位老人在室内的环境里说着台词，表情满是忧伤。B：挺好，很走心。A：这是AI制作出来的，这个演员根本不存在。B：没有借鉴某个演员的脸吗？指AI换脸。我就被换过很多次，在网上看到过自己唱歌跳舞。A：没有，完全虚拟的人物。这是未来的挑战。A是郭帆，B是张颂文。“做《流浪地球2》时，面部的增/减龄虽然也是通过人工智能完成，但当时应用并不便利。而现在技术突飞猛进，生成的一个视频中，演员可能压根不存在，而你甚至很难分辨。完全颠覆的技术已经出现了。”被网友戏称为“赛博妲己”的郭帆，现在每天只有三四个小时的睡眠时间，工作之余都在琢磨人工智能，阅读相关书籍。就在本届上海国际电影节期间举行的三场科幻电影主题论坛上，国内电影人热烈讨论着如何看待、运用生成式AI，AI会给电影创作和制作带来哪些影响等话题。现实似乎比电影更科幻。网友：上一次这么激动还是第一次体验AI绘画就在几天前，大洋彼岸一家名叫Runway的人工智能公司，面向全球开放了视频编辑器Gen-2的免费公测。你只需要输入几个词或者一句话（也可以给张参考图），就能“无中生有”生成想要的视频。它支持中文输入，不过目前公测版的视频片段仅为4秒。“上一次这么激动还是第一次体验AI绘画”“人人能拍大片的时代要来了”“视频制作的门槛降低了”……网友难掩兴奋。与Gen-2同时公测的，还有上一代编辑器Gen-1，可通过文本或提供参考图，将现有视频风格转化为其他任意风格。成立于2018年的这家公司，其实也不算无名之辈。它曾完成了《瞬息全宇宙》中香肠手、大眼石头对话等超现实艺术场景，本月初还拿到了谷歌领投的D轮融资。在Runway官网的演示视频中，输入提示词“丛林”，大片镜头立刻呈现。轮流搭配“河流”“瀑布”“黄昏”“白天”等，这个AI工具也能秒懂。据官方透露，Gen-2的训练数据，包括2.4亿张图片、640万个视频剪辑片段以及数亿个学习示例。实际生成效果真有这么好吗？记者上手试了试。输入中文提示词“杭州西湖荷花盛开 影视风格”，1分多钟后呈现在眼前的是“水中亭台楼阁”的航拍镜头，不见荷花；再转用英语表达，这次荷花有了，但效果依然不尽如人意，画质较模糊，某些地方卡顿得像幻灯片。杭州有公司正在用它制作广告样片“目前这类AI工具，生成视频的整体水平还比较粗糙，达不到影视剧直接使用的标准和要求。”杭州元形水滴智能科技CEO、联合创始人沈传立一边说，一边传过来几段此前用AI生成的视频。从画面看，同样存在颗粒感重、帧率不稳定等问题，且人物脸部还有点扭曲和诡异。这家位于滨江的科技公司，专业从事数字人、元宇宙等生成式人工智能相关的研发和业务。近期，他们正在为客户用“文生视频”的技术，制作商业广告宣传片的demo（样片）。“因为签有保密协议，细节不便透露，但就跟‘文生图’的AI绘画一样，这（文生视频）是目前市场上已经在发展的事。”那么，“文生视频”的整体水平还不够理想，是因为技术问题吗？与图像生成相比，优质和可控的视频显然更复杂。“不是技术做不到，而是需要有更多人参与。”沈传立纠正了这种说法。“需要三点：一是数据的标准性和通用性，现在‘喂’给模型的数据比较杂和‘脏’；二是训练模型的建立和完善，就是需要更多LoRA模型（可以解决微调大模型的问题）；三是更多开放生态伙伴加入。说白了，就是好的生成模型，需要好的‘饲料喂养’，也需要更多技术公司参与进来。”事实上，目前，国内外大厂都有正在开发的文生视频AI工具，像是百度CreateLab、阿里达摩院的文本生成视频大模型、谷歌Imagen，还有Meta的Make-A-Video等。而在Runway等的技术接近能直接生成电影质感的视频前，至少还要经过多次迭代。这个时间大概是多久？漫威电影《复仇者联盟4》等的导演乔·罗素日前接受采访时预测，两年内，人工智能就将能够创造一部成熟的电影。
