AI绘画AnimateDiff-Lightning让文生视频天生速率提升多倍！【含模子及工作流获取】

各人好，我是步伐员晓晓
视频天生模子不停很受到各人的关注，比年来在深度学习技能的推动下取得了明显希望。传统的动画天生方法每每面对服从低下和质量不高等标题，而深度学习模子通过学习和明白大量的数据，可以大概天生更加逼真、流通的动画视频。尤其是近两年，更是“百模”齐放，“百模”争鸣~
然而，视频天生的速率和质量不停是研究者们面对的挑衅。在包管高质量的同时，进步天生速率，是视频天生范畴的紧张研究方向。由于对于现实应用来说，快速且高质量的天生可以大概大大进步制作服从和用户体验。

本日先容的这款AnimateDiff-Lightning模子是由字节跳动推出的。信赖不少朋侪也已经看到过。该款模子已经推出一段时间了。晓晓有点姗姗来迟。
紧张特色功能
• 仅需 4-8 步推理，就能天生高质量视频，速率快效果好。
• 与 Contorlnet 共同，提升视频转绘工作流程。
• 提供 Comfyui 工作流程，方便开发者利用。
• 保举利用运动 LoRA，加强运动效果
这是晓晓通过demo体验的效果，短短几秒，就天生了一小段2S的视频。以为天生的速率方面简直是提升了许多。有人与 AnimateDiff 模子做了对比，听说提升了 6-8 倍。

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模子中提炼出来的，包罗 1 步、2 步、4 步和 8 步共 4 个蒸馏模子。此中 2 步、4 步和 8 步模子的天生质量较好，1 步模子现在仅用于研究目标。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能天生一个 2s 的视频， 而且步数越高的模子天生的质量也越好。
官方表现 AnimateDiff-Lightning 模子非常适实用于视频转视频，对此有人也举行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模子必要 3 分钟，而 mm_sd_v15_v2 模子则必要 15 分钟，速率差了 5 倍；而且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 简直能有用提升视频转绘的速率。
二、在 ComfyUI 中利用 AnimateDiff-Lightning

AnimateDiff-Lightning 模子资源已经开源，官方还提供了 ComfyUI 适配模子和工作流，以是在当地摆设起来也非常轻松。下面先容一下文生视频（t2v）和视频天生视频（v2v2）的利用方法。（文末获取模子包）
① 安装插件
起首必要安装两款插件 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite ，可以在扩展中安装，也可以通过 Git 克隆，安装完成后重启 ComfyUI
ComfyUI-AnimateDiff-Evolved插件所在： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
ComfyUI-VideoHelperSuite插件所在： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
如以上链接无法打开下载，请看文末扫描获取当地插件安装包

② 安装模子
必要两类模子。一是 AnimateDiff-Lightning 模子的，保举 4 步大概 8 步模子。下载完成后，将模子放到根目次的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。
下载所在：请看文末扫描获取哦
https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main

安装 motion lora 模子，它可以为视频添加镜头运动，包罗推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模子共同利用可以让视频动态更加显着。下载后放置在根目次的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。
下载所在：请看文末扫描获取哦
https://huggingface.co/guoyww/animatediff/tree/main

③ 文生视频工作流
工作流所在：请看文末扫描获取
https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui
官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能利用了。

利用文生视频工作流时，必要注意的点包罗：

• 可以多实验风格化的大模子
  
• Ksampler 中得天生步数必须与选择的 AnimateDiff-Lightning 对应，4 步模子就填 4，8 步模子就填 8；默认采样器 Euler，调理器选 sgm_uniform；
  
• Motion LoRA 的运动方式可以自界说，老徐这里就略过了
  

④ 视频转绘工作流
假如想利用 AnimateDiff-Lightning v2v 功能，提升视频转绘速率，则必要再安装 Controlnet 插件和对应的 Openpose 模子，再导入 v2v 工作流：

• ComfyUI-Advanced-ControlNet 插件：https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；
  
• ComfyUI_controlnet_aux 插件：https://github.com/Fannovel16/comfyui_controlnet_aux ；
  
• Openpose 模子下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模子放到models/controlnet/目次）
  注意：如以上链接都无法下载，请看文末获取当地模子插件安装包哦~
  

利用视频转绘工作流时，必要注意的内容有：

• 上传视频的不宜太长，分辨率也不要太高，官方利用的是一个 8 秒 576x1024 px 的视频；
  
• 利用的是 DWPose 预处置惩罚器，初次利用时会自动下载预处置惩罚器模子，可以在控制台检察下载进度；
  
• 视频的帧率设置要与上传的视频素材同等，否则会影响视频天生效果；
  
• Ksampler 中得天生步数必须与选择的 AnimateDiff-Lightning 对应，4 步模子就填 4，8 步模子就填 8；默认采样器 Euler，调理器选 sgm_uniform；
  

好了本日的分享就到这里了~感爱好的快试一试吧。
写在末了

感爱好的小搭档，赠予全套AIGC学习资料，包罗AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技能的未来发展远景广阔，随着人工智能技能的不绝发展，AIGC技能也将不绝进步。未来，AIGC技能将在游戏和盘算范畴得到更广泛的应用，使游戏和盘算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能精密团结，在更多的范畴得到广泛应用，对步伐员来说影响至关紧张。未来，AIGC技能将继承得到进步，同时也将与人工智能技能精密团结，在更多的范畴得到广泛应用。
 

一、AIGC全部方向的学习门路
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管本身学得较为全面。

二、AIGC必备工具
工具都帮各人整理好了，安装就可直接上手！

三、最新AIGC学习条记
当我学到肯定根本，有本身的明白本事的时间，会去阅读一些先辈整理的册本大概手写的条记资料，这些条记具体记录了他们对一些技能点的明白，这些明白是比力独到，可以学到不一样的思绪。

四、AIGC视频教程合集
观看全面零根本学习视频，看视频学习是最快捷也是最有用果的方式，跟着视频中老师的思绪，从根本到深入，还是很轻易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才华将本身的所学运用到现实当中去，这时间可以搞点实战案例来学习。

如有侵权，请接洽删除