AIGC视频天生模子：ByteDance的PixelDance模子

各人好，这里是好评条记，公主号：Goodnote，专栏文章私信限时Free。本文详细先容ByteDance的视频天生模子PixelDance，论文于2023年11月发布，模子上线于2024年9月，同时期上线的模子尚有Seaweed（论文未发布）。
  

热门专栏

呆板学习

呆板学习条记合集
深度学习

深度学习条记合集
   🌺优质专栏回首🌺：
  

• 呆板学习条记
  
• 深度学习条记
  
• 多模态论文条记
  
• AIGC—图像
  

   
   
  论文

论文：https://arxiv.org/pdf/2311.10982
项目：https://makepixelsdance.github.io/
择要

如今的视频天生方法紧张侧重于文本到视频的天生，如许天生的视频片断每每动作少少。作者以为，仅依靠文本指令举行视频天生是不敷且并非最优的。
在本文中，作者先容了PixelDance，这是一种基于扩散模子的新颖方法，它将视频天生的第一帧和末了一帧的图像指令与文本指令相联合。
   这并不是首例提出依靠文本指令举行视频天生是不敷的论文，在Meta的Emu Video中也提到了，但是两者的天生战略略有差别：
  

• Emu Video根据输入文本提示天生图像；之后再基于图像和文本的强条件天生视频。
  
• 输入的内容包罗，文本，作为视频第一帧的图像，作为视频末了一帧的图像。
  

  Emu Video模子的实现参考汗青文章：AIGC视频天生明星——Emu Video模子

  弁言

输入

作者提出了一种新颖的视频天生输入，其输入包罗三部门：

• 文本指令；
  
• 视频片断的第一帧引入图像指令。第一帧的图像指令刻画了视频片断的紧张场景。
  
• 视频片断的末了一帧引入图像指令。末了一帧的图像指令（在训练和推理中可选使用）刻画了片断的末端，并为天生提供了额外的控制。
  

这种方法还可以创建更长的视频，在这种环境下，模子会被多次应用，前一个片断的末了一帧将作为后续片断的第一帧指令。
训练和推理时的数据处置处罚

相比于其他模子提出使用高度形貌性的文本表明以更好地依照文本指令。图像指令使用真实视频帧，更加直接和易于获取。
PixelDance是一种基于匿伏扩散模子的视频天生方法，以 <文本，第一帧，末了帧>指令为条件。
文本指令由预训练的文本编码器编码，并通过交错注意力机制集成到扩散模子中。
图像指令由预训练的VAE编码器编码，并与扰动后的视频匿伏表现或高斯噪声毗连，作为扩散模子的输入，如下所示：【在下节“方法”中会详细先容】。

• 第一帧
  
  
  
  • 在训练中，使用（真实）第一帧来逼迫模子严格依照指令，保持连续视频片断之间的连续性。
    
  • 在推理中，这个指令可以泉源：
    
    
    • 从文本到图像（T2I）模子中得到；
      
    • 由用户提供。
      
    
    
  
  
• 末了一帧
  
  
  
  • 在训练中，我们故意克制鼓励模子完全复制末了一帧指令，由于在推理中很难提供美满的末了一帧，在末了一帧的处置处罚上，作者开发了三种技能：
    
    
    
    • 第一，在训练中，末了一帧指令是从视频片断的末了三帧（真实帧）中随机选择的。
      
    • 第二，我们向指令中引入噪声，以镌汰对指令的依靠并进步模子的鲁棒性。
      
    • 第三，在训练中，我们以肯定的概率（比方25%）随机扬弃末了一帧指令。
      
    
    
  • 在推理中，用户可以使用根本的图像编辑工具创建这种指令。模子可以或许顺应用户提供的大抵草图作为引导，而不须要提供美满的末了一帧。简朴而有用的推理采样战略如下（末了一帧指令的影响可以通过T来调解。）：
    
    
    
    • 在前T步去噪步调中，使用末了一帧指令引导视频天生朝着渴望的竣事状态发展。
      
    • 在剩余的步调中，扬弃该指令，使模子可以或许天生更具时间连贯性的视频。
      
    
    
  
  

总结

作者在文中分析白其紧张贡献可以总结如下：

• 提出了一种基于扩散模子的新颖视频天生方法PixelDance，它将第一帧和末了一帧的图像指令与文本指令相联合（还可以天生长视频，这一点是最紧张的）。
  
• 为PixelDance开发了训练和推理技能，这不光有用地进步了天生视频的质量，而且为用户提供了对视频天生过程更多的控制。
  
• 在公开数据上训练的模子在天生具有复杂场景和动作的高动态视频方面表现出色，为视频天生设定了新的尺度。
  

干系工作

视频天生

扩散模子在传神的文本到图像天生方面取得了显着盼望，其表现出比GAN更强的鲁棒性，而且与基于Transformer的模子相比须要更少的参数。匿伏扩散模子被提出通过在压缩的低维匿伏空间中训练扩散模子来减轻盘算负担。
对于视频天生，以往的研究通常在预训练的文本到图像扩散模子的2D UNet中添加时间卷积层和时间注意力层【如Gen-1和Emu Video等】。只管这些盼望通过集成超分辨率模块为高分辨率视频的天生铺平了蹊径，但天生的视频具有简朴、动作少少的特点。
近来，视频编辑范畴取得了显着盼望，特别是在保持视频原始结构和运动的同时举行内容修改方面，但存在下面的标题：

• 探求符合的参考视频举行编辑非常耗时。
  
• 限定了创作的范围，由于它清除了合玉成新内容（比方，一只北极熊走在长城上）的大概性。
  

长视频天生

长视频天生是一项更具挑衅性的使命，它要求连续的视频片断之间无缝过渡，而且场景和脚色具有长期同等性。通常有两种方法：

• 自回归方法接纳滑动窗口，从前一个片断为条件天生新的片断。自回归方法由于时间上的偏差累积轻易导致质量降落。
  
• 分层方法起首天生希罕帧，然后插值中心帧。须要长视频举行训练，由于在线视频中频仍的镜头变革，这些长视频很难过到。
  

在本文中，PixelDance以自回归的方式天生连续的视频片断，而且在合成长期同等的帧方面比现有模子表现更优。同时，我们提倡用户积极到场天生过程，就像影戏导演一样，以确保天生的内容与用户的渴望精密同等。
方法

本文试图让模子专注于学习视频内容的动态变革，以天生具有丰富动作的视频。将第一帧和末了一帧的图像指令与文本指令相联合用于视频天生，而且我们有用地使用公开视频数据举行训练。我们将在本节详细论述模子架构和量身定制的训练和推理技能。
模子架构

匿伏扩散架构

论文中使用变分自动编码器（VAE）在匿伏空间中举行去噪训练，以减轻盘算负担。同时接纳广泛使用的2D UNet作为扩散模子，它由一系列空间下采样层和一系列带有跳跃毗连的空间上采样层构成。它由两个根本块构成：

• 2D卷积块
  
• 2D注意力块。
  

通过插入时间层将2D UNet扩展为3D变体，实现如下：

• 在2D卷积层之后添加沿时间维度的1D卷积层；
  
• 在2D注意力层之后添加沿时间维度的1D注意力层(双向自注意力机制)。
  

   Runway的Gen-1和Meta的Emu Video也是云云实现的。
  该模子举行图像和视频连合训练，以在空间维度上保持高保真的天生本领。对于图像输入，1D时间利用被禁用。
   图像输入紧张涉及两类：训练时的图像指令输入以及连合训练时的平凡图像输入。
  我们使用预训练的CLIP文本编码器对文本指令举行编码，并通过UNet中的交错注意力层将嵌入文本注入，此中隐蔽状态作为查询，文本作为键和值。
图像指令注入

将第一帧和末了一帧的图像指令与文本指令相联合。在训练中，使用真实视频帧作为指令，这很轻易得到。图像指令起首使用VAE将它们编码到扩散模子的输入空间中，得到                                             f                                       f                               i                               r                               s                               t                                                 f^{first}                  ffirst和                                             f                                       l                               a                               s                               t                                                 f^{last}                  flast 。终极的图像条件构建为：                                                   c                                           i                                  m                                  a                                  g                                  e                                                 =                                       [                                           f                                               f                                     i                                     r                                     s                                     t                                                      ,                               P                               A                               D                               s                               ,                                           f                                               l                                     a                                     s                                     t                                                      ]                                      ∈                                       R                                           F                                  ×                                  C                                  ×                                  H                                  ×                                  W                                                       c^{image }=\left[f^{first }, PADs, f^{last }\right] \in \mathbb{R}^{F × C × H × W}                     cimage=[ffirst,PADs,flast]∈RF×C×H×W
此中                                    P                         A                         D                         s                         ∈                                   R                                       (                               F                               −                               2                               )                               ×                               C                               ×                               H                               ×                               W                                                 PADs \in \mathbb{R}^{(F-2) ×C ×H ×W}                  PADs∈R(F−2)×C×H×W 。然后，条件                                             c                                       i                               m                               a                               g                               e                                                 c^{image}                  cimage与噪声匿伏表现                                             z                            t                                       z_t                  zt​沿通道维度毗连，作为扩散模子的输入。
训练和推理

   图3：展示了PixelDance的训练过程。原始视频片断和图像指令（位于赤色和绿色框中）被编码为                                        z                                  z                     z和                                                   c                                           i                                  m                                  a                                  g                                  e                                                       c^{image}                     cimage ，然后在添加差别噪声举行扰动后，沿着通道维度举行拼接。
  训练过程如上图所示。
第一帧指令：训练中使用真实的第一帧，使模子在推理中严格依照第一帧指令。
末了一帧指令：故意克制鼓励模子完全复制末了一帧指令。由于在推理时，预先无法得到真实的末了一帧，模子须要顺应用户提供的大抵草图作为引导，以天生时间连贯的视频。为此，引入了三种技能来选择末了一帧指令：

• 第一，我们从视频片断的末了三帧真实帧中随机选择一帧作为训练的末了一帧指令。
  
• 第二，为了进步鲁棒性，我们用噪声扰动图像指令的编码匿伏表现                                                   c                                           i                                  m                                  a                                  g                                  e                                                       c^{image}                     cimage 。
  
• 第三，在训练中，我们以概率                                        η                                  \eta                     η随机扬弃末了一帧指令，将相应的匿伏表现更换为零。
  

在第三种技能中，作者还提出了一种简朴而有用的推理技能。在推理过程中，在统共T步去噪步调的前                                        τ                                  \tau                     τ步中，应用末了一帧指令来引导视频天生朝着渴望的竣事状态发展，在后续步调中扬弃该指令，以天生更公道且时间连贯的视频：
                                                                x                                  ~                                          θ                                      =                                       {                                                                                                                                        x                                                    ^                                                                  θ                                                                               (                                                                   z                                                    t                                                                  ,                                                                   f                                                                       f                                                       i                                                       r                                                       s                                                       t                                                                                    ,                                                                   f                                                                       l                                                       a                                                       s                                                       t                                                                                    ,                                                                   c                                                                       t                                                       e                                                       x                                                       t                                                                                    )                                                              ,                                                                                                                            i                                              f                                              t                                              <                                              τ                                                                                                                                                                                     x                                                    ^                                                                  θ                                                                               (                                                                   z                                                    t                                                                  ,                                                                   f                                                                       f                                                       i                                                       r                                                       s                                                       t                                                                                    ,                                                                   c                                                                       t                                                       e                                                       x                                                       t                                                                                    )                                                              ,                                                                                                                            i                                              f                                              τ                                              ≤                                              t                                              ≤                                              T                                                                                                             \tilde{x}_{\theta}=\left\{\begin{array}{ll} \hat{x}_{\theta}\left(z_{t}, f^{first }, f^{last }, c^{text }\right), & if t<\tau \\ \hat{x}_{\theta}\left(z_{t}, f^{first }, c^{text }\right), & if \tau \leq t \leq T \end{array} \right.                     x~θ​={x^θ​(zt​,ffirst,flast,ctext),x^θ​(zt​,ffirst,ctext),​ift<τifτ≤t≤T​
                                    τ                              \tau                  τ决定了模子对末了一帧指令的依靠程度，调解                                   τ                              \tau                  τ将实现各种应用。比方，我们的模子可以在没有末了一帧指令的环境下（即                                   τ                         =                         0                              \tau = 0                  τ=0）天生高动态视频。别的，我们在推理中应用无分类器引导，它肴杂了模子在有文本提示和无文本提示条件下的分数估计。
实行

参照论文原文
两种天生模式

第一种是底子模式(Basic Mode)【和Emu Video 一样】，用户只须要提供一张引导图片+文本形貌，PixelDance 就可以天生有高度同等性且有丰富动态性的视频，此中引导图片可以是真实图片，也可以使用现有的文生图模子天生，如下所示：

第二种是高级邪术模式（Magic Mode），给了用户更多发挥想象力和创造力的空间。在这种模式下，用户须要提供两张引导图片+文本形貌，可以更好地天生更有难度的各种炫酷殊效镜头，如下所示：

更多应用

草图指令

我们提出的方法可以扩展到其他范例的图像指令，如语义图、图像草图、人体姿态和边界框。为了证实这一点，我们以图像草图为例，使用图像草图作为末了一帧指令对PixelDance举行微调。效果如图10的前两行所示，表明一个简朴的草图图像可以或许引导视频天生过程。
零样本视频编辑

PixelDance无需任何训练即可实行视频编辑，这通过将视频编辑使命转化为图像编辑使命来实现。如图10的末了一个示例所示，通过编辑给定视频的第一帧和末了一帧，PixelDance天生了与用户视频编辑渴望同等的时间连贯视频。
结论

在本文中，作者提出了一种基于扩散模子的新颖视频天生方法PixelDance，它将第一帧和末了一帧的图像指令与文本指令相联合。作者还为该方法开发了专门的训练和推理技能。紧张在WebVid - 10M上训练的PixelDance在合成具有复杂场景和动作的视频方面表现出精良的熟练度，为视频天生设定了新的尺度。
只管我们的方法取得了显着结果，但仍有进一步改进的空间：

• 起首，模子可以从高质量的开放域视频数据训练中受益。
  
• 其次，在特定范畴对模子举行微调可以进一步增强其本领。
  
• 第三，联合概述视频关键元素和动作的表明文本可以进步与用户指令的匹配度。
  
• 末了，PixelDance如今仅包罗15亿参数，为未来的扩展提供了时机。未来的工作将对这些方面举行进一步研究。