目前还没有人真正知道生成视频模型有什么用处，但这并没有阻止 Runway、OpenAI 和 Meta 等公司投入数百万美元来开发它们。Meta 的最新产品名为 Movie Gen，正如它的名字一样，它将文本提示变成相对逼真的有声视频......但值得庆幸的是，现在还没有声音。明智的是，他们没有公开发布这个。
Movie Gen 实际上是基础模型的集合（或他们所说的 “演员”），其中最大的是文本到视频的位。Meta 声称它的性能优于 Runway 的 Gen3、LumaLabs 的最新和 Kling1.5 等产品，尽管与往常一样，这种事情更多地表明他们正在玩同样的游戏，而不是 Movie Gen 获胜。技术细节可以在 Meta 发布的描述所有组件的论文中找到。
生成音频以匹配视频的内容，例如添加与汽车运动相对应的发动机噪音，或背景中瀑布的奔腾，或视频中途需要时的雷声。如果这看起来相关，它甚至会添加音乐。
它接受了“许可和公开可用数据集的组合”的训练，他们称之为“专有/商业敏感”，不会提供更多细节。我们只能猜测这意味着很多 Instagram 和 Facebook 视频，加上一些合作伙伴的东西和许多其他没有得到充分保护免受爬虫攻击的内容——也就是“公开可用”。
然而，Meta 在这里的目标显然不是简单地在一两个月内夺得“最先进”的桂冠，而是一种实用的、从头到尾的方法，从非常简单、自然的语言提示中可以生产出可靠的最终产品。比如“想象我是一名面包师，在雷雨中制作闪亮的河马蛋糕”。
例如，这些视频生成器的一个症结在于它们通常很难编辑。如果你要求提供某人走过马路的视频，然后意识到你希望他们从右到左走而不是从左走，那么当你使用该附加说明重复提示时，整个镜头看起来很可能会有所不同。Meta 正在添加一种简单的、基于文本的编辑方法，您只需说“将背景更改为繁忙的十字路口”或“将她的衣服更改为红色连衣裙”，它就会尝试进行更改，但仅限于该更改。
相机移动通常也可以理解，在生成视频时会考虑 “跟踪镜头” 和 “向左平移” 等内容。与真正的相机控制相比，这仍然相当笨拙，但总比没有好得多。
该模型的局限性有点奇怪。它生成的视频宽度为 768 像素，这是大多数人熟悉的著名但过时的 1024×768 的尺寸，但它也是 256 的三倍，使其与其他高清格式配合得很好。Movie Gen 系统将其升级到 1080p，这是它生成该分辨率的说法的来源。并非如此，但我们会给他们一个通行证，因为放大效果出奇地有效。
奇怪的是，它会生成长达 16 秒的视频......每秒 16 帧，历史上没有人想要或要求过的帧速率。但是，您也可以以 10 FPS 的速度制作 24 秒的视频。以那个开始！
至于为什么它不做语音......嗯，可能有两个原因。首先，这非常困难。生成语音现在很容易，但将其与嘴唇运动以及嘴唇到面部的运动相匹配是一个更复杂的命题。我不怪他们把这个留到以后，因为这将是一个一分钟的失败案例。有人可能会说“生成一个小丑，一边骑着小自行车转圈，一边发表葛底斯堡演说”——噩梦燃料已经准备好传播开来。
第二个原因可能是政治性的：在重大选举前一个月推出相当于深度伪造生成器的东西是......不是最好的光学。稍微限制其功能，以便在恶意行为者试图使用它时，需要他们进行一些实际工作，这是一个实用的预防措施。当然，可以将这种生成模型与语音生成器和开放式口型同步模型相结合，但你不能只让它生成一个提出疯狂主张的候选人。
“Movie Gen 现在纯粹是一个 AI 研究概念，即使在这个早期阶段，安全也是重中之重，就像我们所有的生成式 AI 技术一样，”Meta 的一位代表在回答 TechCrunch 的问题时说。
与 Llama 大型语言模型不同，Movie Gen 不会公开可用。你可以通过遵循研究论文来在一定程度上复制它的技术，但除了 “底层评估提示数据集” 之外，代码不会被发布，也就是说，用于生成测试视频的提示的记录。
