Stability AI 推出了其最新的人工智能模型 ——Stable Virtual Camera,该模型能够将2D 图像转换为 “沉浸式” 视频,并呈出逼真的深度和视角。虚拟相机通常被广泛应用于数字电影制作和3D 动画中,借助 Stable Virtual Camera,Stability AI 希望将生成式 AI 的优势融入其中,以便为用户提供更大的控制和自定义空间。
Stable Virtual Camera 可以从一张或多张图像(最多可处理32张)中生成场景的 “新视角”,用户还可以指定相机角度。该模型可以生成沿着 “动态” 相机路径或预设路径移动的视频,包括 “螺旋”、“缩放”、“移动” 和 “平移” 等多种效果。
目前版本的 Stable Virtual Camera 为研究预览版,可以生成方形(1:1)、竖屏(9:16)和横屏(16:9)三种宽高比的视频,最长可达1000帧。然而,Stability AI 警告说,该模型在某些情况下可能会产生较低质量的结果,尤其是在处理包含人类、动物或 “动态纹理”(如水面)的图像时。
Stability AI 在其博客中指出,“高度模糊的场景、复杂的相机路径交叉物体或表面,以及不规则形状的物体可能导致闪烁伪影,尤其是在目标视角与输入图像差异较大的情况下。”
目前,Stable Virtual Camera 在 Hugging Face 平台上以非商业许可的形式供研究使用,用户可以下载体验。Stability AI 是广受欢迎的图像生成模型 Stable Diffusion 的背后公司。尽管过去面临管理问题和财务困境,Stability AI 在去年的投资者支持下获得了新一轮融资,力图扭转局面。
近期,Stability AI 聘请了新任首席执行官,并邀请电影导演詹姆斯・卡梅隆加入董事会。此外,Stability AI 还发布了多个新型图像生成模型,并于今年3月与芯片制造商 Arm 合作,推出了一款可以生成音频及音效的 AI 模型,旨在将这些功能带入运行 Arm 芯片的移动设备中。
划重点:
🌟 Stable Virtual Camera 可将2D 图像转换为沉浸式视频,提供多种相机路径选择。
📉 当前模型为研究预览版,处理某些场景可能会出现质量下降的问题。
💼 Stability AI 在经历管理危机后,正在积极重组并推出新产品,以改善公司前景。