通义万相开源视频生成模型Wan2.1:8.2G显存即可生成480P视频

112
2025-02-26

近日,通义宣布开源其最新的通义万相大模型 Wan2.1。Wan2.1是一款专注于高质量视频生成的 AI 模型,凭借其在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面的卓越表现,成为了创作者、开发者和企业用户拥抱 AI 时代的首选工具。



权威评测集 Vbench 中,通义万相 Wan2.1以总分86.22% 的成绩登顶榜首,大幅领先国内外其他知名视频生成模型,如 Sora、Minimax、Luma、Gen3和 Pika 等。这一成就得益于 Wan2.1基于主流的 DiT 和线性噪声轨迹 Flow Matching 范式,通过一系列技术创新实现了生成能力的重大进步。其中,自研高效的3D 因果 VAE 模块实现了256倍无损视频隐空间压缩,并通过特征缓存机制支持任意长度视频的高效编解码,同时减少了29% 的推理时内存占用。此外,该模型在单个 A800GPU 环境下,视频重建速度比现有最先进方法快2.5倍,展现出显著的性能优势。


Wan2.1的视频 Diffusion Transformer 架构通过 Full Attention 机制有效建模长时程时空依赖,生成高质量且时空一致的视频。其训练策略采用6阶段分步训练法,从低分辨率图像数据的预训练逐步过渡到高分辨率视频数据的训练,并在最后通过高质量标注数据进行微调,确保模型在不同分辨率和复杂场景下的出色表现。在数据处理方面,Wan2.1设计了四步数据清洗流程,重点关注基础维度、视觉质量和运动质量,以从嘈杂的初始数据集中筛选出高质量且多样化的数据,促进有效训练。



在模型训练和推理效率优化方面,Wan2.1采用了多种策略。训练阶段,针对文本、视频编码模块和 DiT 模块,分别采用不同的分布式策略,并通过高效的策略切换避免计算冗余。显存优化方面,采用分层的显存优化策略,结合 PyTorch 显存管理机制解决显存碎片问题。推理阶段,使用 FSDP 和2D CP 的组合方法进行多卡分布式加速,并通过量化方法进一步提升性能。


目前,通义万相 Wan2.1已在 GitHub、Hugging Face 和魔搭社区等平台开源,支持多种主流框架。开发者和研究者可以通过 Gradio 快速体验,或利用 xDiT 并行加速推理提升效率。同时,该模型正在加速接入 Diffusers 和 ComfyUI,以简化一键推理与部署流程,降低开发门槛,为用户提供灵活的选择,无论是快速原型开发还是高效生产部署,都能轻松实现。

77468
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400
次卡|北京转纽约国际早教,9800,75节课,可以上蓝色港湾店等很多店
早教课
¥9800
次卡|[new]泰州[右]NYC纽约国际泰州早教中心[右]年卡出售[hot]
早教课
¥9850
年卡|西安西安麦吉森林托育课程一个月➕15天
早教课
¥9999
73
AI资讯

通义万相开源视频生成模型Wan2.1:8.2G显存即可生成480P视频

收录于合集

近日,通义宣布开源其最新的通义万相大模型 Wan2.1。Wan2.1是一款专注于高质量视频生成的 AI 模型,凭借其在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面的卓越表现,成为了创作者、开发者和企业用户拥抱 AI 时代的首选工具。



权威评测集 Vbench 中,通义万相 Wan2.1以总分86.22% 的成绩登顶榜首,大幅领先国内外其他知名视频生成模型,如 Sora、Minimax、Luma、Gen3和 Pika 等。这一成就得益于 Wan2.1基于主流的 DiT 和线性噪声轨迹 Flow Matching 范式,通过一系列技术创新实现了生成能力的重大进步。其中,自研高效的3D 因果 VAE 模块实现了256倍无损视频隐空间压缩,并通过特征缓存机制支持任意长度视频的高效编解码,同时减少了29% 的推理时内存占用。此外,该模型在单个 A800GPU 环境下,视频重建速度比现有最先进方法快2.5倍,展现出显著的性能优势。


Wan2.1的视频 Diffusion Transformer 架构通过 Full Attention 机制有效建模长时程时空依赖,生成高质量且时空一致的视频。其训练策略采用6阶段分步训练法,从低分辨率图像数据的预训练逐步过渡到高分辨率视频数据的训练,并在最后通过高质量标注数据进行微调,确保模型在不同分辨率和复杂场景下的出色表现。在数据处理方面,Wan2.1设计了四步数据清洗流程,重点关注基础维度、视觉质量和运动质量,以从嘈杂的初始数据集中筛选出高质量且多样化的数据,促进有效训练。



在模型训练和推理效率优化方面,Wan2.1采用了多种策略。训练阶段,针对文本、视频编码模块和 DiT 模块,分别采用不同的分布式策略,并通过高效的策略切换避免计算冗余。显存优化方面,采用分层的显存优化策略,结合 PyTorch 显存管理机制解决显存碎片问题。推理阶段,使用 FSDP 和2D CP 的组合方法进行多卡分布式加速,并通过量化方法进一步提升性能。


目前,通义万相 Wan2.1已在 GitHub、Hugging Face 和魔搭社区等平台开源,支持多种主流框架。开发者和研究者可以通过 Gradio 快速体验,或利用 xDiT 并行加速推理提升效率。同时,该模型正在加速接入 Diffusers 和 ComfyUI,以简化一键推理与部署流程,降低开发门槛,为用户提供灵活的选择,无论是快速原型开发还是高效生产部署,都能轻松实现。

77468
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400
次卡|北京转纽约国际早教,9800,75节课,可以上蓝色港湾店等很多店
早教课
¥9800
次卡|[new]泰州[右]NYC纽约国际泰州早教中心[右]年卡出售[hot]
早教课
¥9850
年卡|西安西安麦吉森林托育课程一个月➕15天
早教课
¥9999