阿里发布新开源视频天生模子Wan-Video, 支持文生图和图生图,最低6G就能跑, ComfyUI可用!

Wan-Video 模子先容：包括 Wan-Video-1.3B-T2V 和 Wan-Video-14B-T2V 两个版本，分别支持文本到视频（T2V）和图像到视频（I2V）天生。14B 版本需要更高的 VRAM 设置。

Wan2.1 是一套全面开放的视频底子模子，旨在突破视频天生的边界。Wan2.1 具有以下几个关键特性：

• SOTA 性能：Wan2.1 在多个基准测试中始终优于现有的开源模子和最先进的商业办理方案。
  
• 支持消费级 GPU：T2V-1.3B 型号仅需 8.19 GB VRAM，可兼容险些全部消费级 GPU。它可在约 4 分钟内用 RTX 4090 天生一段 5 秒的 480P 视频（未使用量化等优化技能），性能甚至可与一些闭源型号相媲美。
  
• 多使命：Wan2.1 在文本转视频、图像转视频、视频编辑、文本转图像、视频转音频方面表现出色，推动了视频天生范畴的发展。
  
• 视觉文本天生：Wan2.1是第一个可以或许天生中英文文本的视频模子，具有强盛的文本天生功能，可增强其实际应用。
  
• 强盛的视频 VAE：Wan-VAE 提供卓越的服从和性能，可对任意长度的 1080P 视频进行编码和解码，同时保留时间信息，使其成为视频和图像天生的理想底子。
  

相关链接

• 推理链接：https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/wanvideo?continueFlag=79104c0ee2c31191b38f9b2c59a528d9
  
• 模子链接：
  
  
  
• comfyui：https://github.com/kijai/ComfyUI-WanVideoWrapper?continueFlag=79104c0ee2c31191b38f9b2c59a528d9
  
• 官网：https://wan.video/welcome?spm=a2ty_o02.30011076.0.0.118ce41e6cpA82
  

先容

Wan2.1-I2V-14B

I2V-14B 模子的表现逾越了领先的闭源模子以及全部现有的开源模子，达到了 SOTA 性能。它可以或许根据输入的文本和图像天生展示复杂视觉场景和运动模式的视频，包括 480P 和 720P 分辨率的模子。
Wan2.1-T2V-14B

T2V-14B 模子在开源和闭源模子中创下了 SOTA 性能新高，展现出其可以或许天生具有大量运动动态的高质量视觉效果的能力。它照旧唯一可以或许同时天生中英文文本的视频模子，并支持 480P 和 720P 分辨率的视频天生。
Wan2.1-T2V-1.3B

T2V-1.3B 模子支持在险些全部消费级 GPU 上天生视频，仅需 8.19 GB BRAM 即可天生 5 秒的 480P 视频，在 RTX 4090 GPU 上输出时间仅为 4 分钟。通过预训练和蒸馏过程，它逾越了更大的开源模子，甚至达到了与一些先进的闭源模子相称的性能。
Wan2.1 以主流的扩散变更器范式为底子，通过一系列创新明显提拔了天生能力，包括我们新颖的时空变分自动编码器 (VAE)、可扩展的预训练计谋、大规模数据构建和自动化评估指标。这些贡献共同提拔了模子的性能和多功能性。
3D 变分自动编码器

我们提出了一种专为视频天生而计划的新型 3D 因果 VAE 架构。我们结合了多种计谋来改善时空压缩、减少内存使用并确保时间因果关系。这些增强功能不仅使我们的 VAE 更高效、更可扩展，而且更恰当与 DiT 等基于扩散的天生模子集成。

为了高效支持任意长视频的编码和解码，我们在 3D VAE 的因果卷积模块中实现了特征缓存机制。详细来说，视频序列帧数遵循 1 + T 输入格式，因此我们将视频分成 1 + T/4 个块，与潜在特征的数目一致。在处置处罚输入视频序列时，该模子采用逐块计谋，其中每个编码和解码操作仅处置处罚与单个潜在表示相对应的视频块。基于时间压缩比，每个处置处罚块中的帧数最多限制为 4，从而有用防止 GPU 内存溢出。 实验效果表明，我们的视频 VAE 在两个指标上都表现出了极具竞争力的性能，展现了卓越视频质量和高处置处罚服从的双重优势。值得注意的是，在雷同的硬件情况（即单个 A800 GPU）下，我们的 VAE 的重修速度比现有的 SOTA 方法（即 HunYuanVideo）快 2.5 倍。由于我们的 VAE 模子的小尺寸计划和特征缓存机制，这种速度优势将在更高分辨率下得到进一步表现。

视频传播 DiT

Wan2.1 采用主流 Diffusion Transformers 范式中的 Flow Matching 框架进行计划。在我们的模子架构中，我们利用 T5 Encoder 对输入的多语言文本进行编码，并在每个 Transformer 块内参加交叉注意力机制，将文本嵌入到模子布局中。此外，我们还使用 Linear 层和 SiLU 层来处置处罚输入的时间嵌入，并分别猜测六个调制参数。此 MLP 在全部 Transformer 块之间共享，每个块都学习一组不同的毛病。我们的实验效果表明，在雷同的参数规模下，这种方法可以明显提高性能。因此，我们在 1.3B 和 14B 模子中都实现了此架构。

模子扩展和训练服从

在训练过程中，我们使用 FSDP 进行模子分片，当与上下文并行 (CP) 结适时，FSDP 组和 CP 组相交，而不是形成模子并行 (MP) 和 CP/DP 的嵌套组合。在 FSDP 中，DP 巨细即是 FSDP 巨细除以 CP 巨细。在满足内存和单批次延迟要求后，我们使用 DP 进行扩展。

在Inference过程中，为了降低扩展到多GPU时天生单个视频的延迟，需要选择Context Parallel进行分布式加快。另外当模子很大时，需要进行模子分片。

• 模子分片计谋：对于 14B 这样的大型模子，必须考虑模子分片。考虑到序列长度通常很长，FSDP 与 TP 相比通信开销较小，并且允许计算重叠。因此，我们选择 FSDP 方法进行模子分片，与我们的训练方法一致（注意：仅分片权重而不实现数据并行）。
  
• 上下文并行计谋：采用与训练时雷同的 2D 上下文并行方法：对外层（机器间）采用 RingAttention，对内层（机器内）采用 Ulysses。 在万14B大模子上，采用2D Context Parallel和FSDP并行计谋，DiT实现了靠近线性的加快比，如下图所示。
  

下表中我们测试了不同Wan2.1模子在不同GPU上的计算服从，效果以总时间（s）/峰值GPU内存（GB）的格式出现。

图像转视频

图像到视频 (I2V) 使命旨在根据输入提示将给定图像动画化为视频，从而增强视频天生的可控性。我们引入额外的条件图像作为第一帧来控制视频合成。详细而言，条件图像沿时间轴与零添补帧毗连，形成指导帧。然后，这些指导帧由 3D 变分自动编码器 (VAE) 压缩为条件潜在表示。此外，我们引入了一个二元掩码，其中 1 表示保留的帧，0 表示需要天生的帧。掩码的空间巨细与条件潜在表示匹配，但掩码与目的视频共享雷同的时间长度。然后，将此掩码重新排列为与 VAE 的时间步幅相对应的特定外形。噪声潜在表示、条件潜在表示和重新排列的掩码沿通道轴毗连并传递通过提出的 DiT 模子。由于 I2V DiT 模子的输入通道比文本转视频 (T2V) 模子多，因此使用了额外的投影层，并用零值初始化。此外，我们使用 CLIP 图像编码器从条件图像中提取特征表示。这些提取的特征由三层多层感知器 (MLP) 投影，用作全局上下文。然后通过解耦交叉注意力将此全局上下文注入 DiT 模子。

数据

我们整理并去重了一个包罗大量图像和视频数据的候选数据集。在数据整理过程中，我们计划了一个四步数据清理流程，重点关注基本维度、视觉质量和运动质量。通过强盛的数据处置处罚流程，我们可以轻松获得高质量、多样化、大规模的图像和视频训练集。

与 SOTA 的比较

为了评估 Wan2.1 的性能，我们将 Wan2.1 与领先的开源和闭源模子进行了比较。我们使用精心计划的 1,035 个内部提示集进行测试，这些提示集涵盖了 14 个重要维度和 26 个子维度，涵盖了运动质量、视觉质量、风格和多目的等方面。最终，我们根据每个维度的重要性通过加权平均计算总分。详细效果如下表所示。从这些效果可以看出，我们的模子在与闭源和开源模子的全面比较中取得了最佳性能。

写在最后

感兴趣的小搭档，赠送全套AIGC学习资料，包罗AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。

AIGC技能的未来发展前景广阔，随着人工智能技能的不断发展，AIGC技能也将不断提高。未来，AIGC技能将在游戏和计算范畴得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能紧密结合，在更多的范畴得到广泛应用，对程序员来说影响至关重要。未来，AIGC技能将继续得到提高，同时也将与人工智能技能紧密结合，在更多的范畴得到广泛应用。
 

一、AIGC全部方向的学习路线
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管自己学得较为全面。

二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记
当我学到肯定底子，有自己的理解能力的时间，会去阅读一些前辈整理的册本或者手写的笔记资料，这些笔记详细记载了他们对一些技能点的理解，这些理解是比较独到，可以学到不一样的思绪。

四、AIGC视频教程合集
观看全面零底子学习视频，看视频学习是最快捷也是最有用果的方式，跟着视频中老师的思绪，从底子到深入，照旧很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时间可以搞点实战案例来学习。

如有侵权，请接洽删除