AIGC视频天生明星——Emu Video模子

各人好，这里是好评条记，公主号：Goodnote，专栏文章私信限时Free。本文具体先容Meta的视频天生模子Emu Video，作为Meta发布的第二款视频天生模子，在视频天生范畴发挥关键作用。
  

热门专栏

呆板学习

呆板学习条记合集
深度学习

深度学习条记合集
   🌺优质专栏回首🌺：
  

• 呆板学习条记
  
• 深度学习条记
  
• 多模态论文条记
  
• AIGC—图像
  

   
  
  论文

项目：https://emu-video.metademolab.com/assets/emu_video
论文：https://arxiv.org/pdf/2311.10709
择要

本文提出Emu Video，这是一种文本到视频天生模子，将天生过程分解为两个步调：

• 先根据文本天生图像;
  
• 再基于文本和天生的图像天生视频。
  

该模子在性能上逾越了RunwayML的Gen2和Pika Labs等贸易办理方案。
弁言

T2I模子在大规模的图像文本对上练习，已经很乐成了，可使用视频文本对进一步拓展文本到视频（T2V）天生，但视频天生在质量和多样性方面仍落后于图像天生。缘故起因在于：

• 须要对更高维度的时空输出空间举行建模，且仅以文本提示作为条件；
  
• 视频文本数据集通常比图像文本数据集小一个数量级。
  

当前视频天生的主流范式是使用扩散模子一次性天生全部视频帧。而不是NLP中的自回归题目差别，自回归方法在视频天生中具有寻衅性，由于从扩散模子天生单个帧就须要多次迭代。
Emu Video通过显式的中央图像天生步调，将文本到视频天生分解为两个子题目：

• 根据输入文本提示天生图像；
  
• 基于图像和文本的强条件天生视频。
  

直观地说，给模子一个起始图像和文本会使视频天生更轻易，由于模子只须要猜测图像未来的演变。
由于视频文本数据集远小于图像文本数据集，使用预练习的文本到图像（T2I）模子初始化T2V模子，并冻结其权重。在推理时，这种分解方法能显式天生图像，从而生存T2I模子的视觉多样性、风格和质量。
Emu Video证明了将文本到视频（T2V）天生过程分解为：天赋生图像，再用天生的图像和文本天生视频。可以大幅进步天生质量。
到此，作者确定了他们的关键计划决议 —— 改变扩散噪声调理和接纳多阶段练习，从而可以大概绕过先前工作中对深度级联模子的需求，高效天生 512 像素高分辨率的视频。该模子也可以根据用户提供的图像和文本提示天生视频。
干系工作

文本到图像（T2I）扩散模子

相比于先前的天生对抗网络（GAN）或自回归方法，扩散模子是文本到图像天生的前沿方法，通过加噪声和猜测参加的噪声并去除来学习数据分布，天生输出。
扩散模子去噪可以在像素空间使用，也可以在低维潜伏空间使用，本文接纳潜伏扩散模子举行视频天生。
视频天生/猜测

很多先前工作，如掩码猜测、LSTMs、GANs 等通常在有限的范畴中举行练习和评估。它们实用的场景较为局促，大概只在特定范例的视频数据、特定的任务要求或特定的应用场景中表现精良。
本文的研究中，目的是开放集的文本到视频（T2V）天生。开放集意味着处理处罚的数据和任务场景更为广泛和多样，没有预先设定的严格限定，这与之前这些方法所实用的有限范畴形成对比。
文本到视频（T2V）天生

多数先前工作通过使用T2I模子来办理T2V天生题目：

• 接纳无练习方法，通过在T2I模子中注入运动信息举行零样本T2V天生；
  
• 通过微调T2I模子实现单样本T2V天生。
  

这些方法天生的视频质量和多样性有限。
也有很多工作通过向T2I模子引入时间参数，学习从文本条件到天生视频的直接映射，来改进T2V天生。如

• Make-A-Video使用预练习的T2I模子和先验网络，在无配对视频文本数据的情况下练习T2V天生；
  
• Imagen Video基于Imagen T2I模子构建级联扩散模子。
  

为办理高维时空空间建模的寻衅，部分工作在低维潜伏空间练习T2V扩散模子，但这些方法学习从文本到高维视频空间的直接映射具有寻衅性。
本文则 接纳分解方法来加强条件信号。
分解天生

与Emu Video在分解方面最相似的工作是CogVideo和Make-A-Video：

• CogVideo基于预练习的T2I模子，使用自回归Transformer举行T2V天生，其自回归性子在练习和推理阶段与Emu Video的显式图像条件有根本区别。
  
• Make-A-Video 使用从共享图像文本空间中学习到的图像嵌入作为条件。，
  

Emu Video直接使用第一帧作为条件，条件更强。
   别的，Make-A-Video从预练习的T2I模子初始化，但对全部参数举行微调，无法像Emu Video那样生存T2I模子的视觉质量和多样性。Stable Video Diffusion是一项与Emu Video同时期的工作，也引入了类似的分解方法举行T2V天生。
    Make-A-Video是Meta于2022年发布的模子/论文中：MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA
CogVideo是国产的视频天生模子，之前清华大学和智谱AI一起研发了CogView文本天生图像模子，CogVideo由清华大学发布的论文：CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
  方法

文本到视频（T2V）天生的目的：构建一个模子，该模子以文本提示 P 作为输入，天生由 T 个 RGB 帧构成的视频 V。
近期的一些模子仅使用文本作为条件，一次性直接天生 T 个视频帧。作者在本论文中以为：通过文本和图像共同提供更强的条件可以大概提拔视频天生效果（验证拜见 3.2 节 ）。
准备知识

条件扩散模子是一类天生模子，通过迭代对高斯噪声去噪，根据条件输入c天生输出。
在练习时：

• 将时间步                                   t                         ∈                         [                         0                         ,                         N                         ]                              t \in[0, N]                  t∈[0,N]干系的高斯噪声                                                   ϵ                               t                                      ∼                            N                            (                            0                            ,                            1                            )                                  \epsilon_{t} \sim N(0, 1)                     ϵt​∼N(0,1)添加到原始输入信号X上，得到有噪输入                                             X                            t                                  =                                   α                            t                                  X                         +                                              1                               −                                           α                                  t                                                                 ϵ                            t                                       X_{t}=\alpha_{t} X+\sqrt{1-\alpha_{t}} \epsilon_{t}                  Xt​=αt​X+1−αt​            ​ϵt​，此中                                             α                            t                                       \alpha_{t}                  αt​界说 “噪声调理”，N是扩散步调总数。
  
• 扩散模子通过猜测噪声                                             ϵ                            t                                       \epsilon_{t}                  ϵt​、                                   x                              x                  x或                                             v                            t                                  =                                   α                            t                                            ϵ                            t                                  −                                              1                               −                                           α                                  t                                                       X                              v_{t}=\alpha_{t} \epsilon_{t}-\sqrt{1-\alpha_{t}} X                  vt​=αt​ϵt​−1−αt​            ​X来对                                             x                            t                                       x_{t}                  xt​举行去噪。时间步t的信噪比（SNR）为                                   (                                              α                               t                                                 1                               −                                           α                                  t                                                                 )                            2                                       (\frac{\alpha_{t}}{1-\alpha_{t}})^{2}                  (1−αt​αt​​)2，并随着                                   t                         →                         N                              t \to N                  t→N而低落。
  

在推理时：

• 从纯噪声/高斯噪声                                             X                            N                                  ∼                         N                         (                         0                         ,                         1                         )                              X_{N} \sim N(0, 1)                  XN​∼N(0,1)开始去噪天生样本。
  

对                                             x                            t                                       x_{t}                  xt​去噪的三种猜测方式：

• 猜测                                                   ϵ                               t                                            \epsilon_{t}                     ϵt​（常用）：
  
  
  
  •                                                          ϵ                                  t                                                 \epsilon_{t}                        ϵt​是在时间步                                             t                                      t                        t添加到原始输入信号                                                  X                                          X                           X的高斯噪声                                                         ϵ                                  t                                          ∼                               N                               (                               0                               ,                               1                               )                                      \epsilon_{t}\sim N(0, 1)                        ϵt​∼N(0,1)。如果模子可以大概正确猜测出这个噪声，那么就可以从含噪输入                                                         X                                  t                                          =                                           α                                  t                                          X                               +                                                        1                                     −                                                   α                                        t                                                                               ϵ                                  t                                                 X_{t}=\alpha_{t}X +\sqrt{1-\alpha_{t}}\epsilon_{t}                        Xt​=αt​X+1−αt​              ​ϵt​中减去猜测的噪声，从而到达去噪的目的。
    
  
  
• 猜测                                        x                                  x                     x：
  
  
  
  • 这里的                                             x                                      x                        x是指原始输入信号                                             X                                      X                        X。模子直接猜测原始信号本身，在得到猜测的原始信号                                                         X                                  ^                                                 \hat{X}                        X^后，就可以将含噪输入                                                         X                                  t                                                 X_{t}                        Xt​中的噪声部分去除。在实际利用中，直接猜测原始信号大概会比力复杂，由于模子须要学习从含噪信号中还原出原始信号的复杂映射关系。
    
  
  
• 猜测                                                   v                               t                                            v_{t}                     vt​：
  
  
  
  •                                                          v                                  t                                          =                                           α                                  t                                                      ϵ                                  t                                          −                                                        1                                     −                                                   α                                        t                                                                   X                                      v_{t}=\alpha_{t}\epsilon_{t}-\sqrt{1 - \alpha_{t}}X                        vt​=αt​ϵt​−1−αt​              ​X是一种组合了噪声                                                         ϵ                                  t                                                 \epsilon_{t}                        ϵt​和原始信号                                             X                                      X                        X的情势。当模子猜测出                                                         v                                  t                                                 v_{t}                        vt​为                                                                      v                                     ^                                              t                                                 \hat{v}_{t}                        v^t​时，可以通过肯定的数学变更往复除噪声，规复原始信号。这种方式综合思量了噪声和原始信号之间的关系，也是一种有效的去噪计谋。
    
  
  

Emu Video

   图3形貌了分解的文本 - 视频天生过程。
  

• 起首根据文本                                        p                                  p                     p天生图像                                        I                                  I                     I；
  
• 然后使用更强的条件，即天生的图像和文原来天生视频                                        V                                  V                     V。
  

  为了使我们的模子                                   F                              \mathcal{F}                  F以图像为条件，我们在时间维度上对图像举行零添补，并将其与一个二进制掩码毗连起来，该掩码指示哪些帧是零添补的【类似Trandformer的添补掩藏（Padding Masking）与未来掩藏（Future Masking）】，以及含噪输入。
  天生步调

将文本到视频天生分解为两个步调：

• 起首，根据文本提示                                    p                              p                  p 天生第一帧（图像）；
  
• 然后，使用文本提示                                    p                              p                  p 和图像条件【下面会先容图像条件怎么来的】天生T帧视频。
  

这两个步调均使用潜伏扩散模子                              F                          \mathcal{F}               F实现，使用预练习的文本到图像模子初始化                              F                          \mathcal{F}               F，确保其在初始化时可以大概天生图像。
只需练习                                   F                              \mathcal{F}                  F办理第二步，即根据文本提示和起始帧/图像推出视频。使用视频文本对练习                              F                          \mathcal{F}               F，通过采样起始帧/图像                              I                          I               I，让模子根据文本提示                              P                          P               P和图像                              I                          I               I条件猜测                              T                          T               T帧（                              T                          T               T帧会被独立地添加噪声，以天生含噪输入                                       x                         t                                  x_{t}               xt​，而扩散模子的练习目的就是对这个含噪输入举行去噪）。
起首通过逐帧应用图像主动编码器的编码器将视频                              v                          v               v转换到潜伏空间                              X                      ∈                               R                                   T                            ×                            C                            ×                            H                            ×                            W                                           X \in \mathbb{R}^{T×C×H×W}               X∈RT×C×H×W，这会低落空间维度。潜伏空间中的数据可以通过主动编码器的解码器转换回像素空间。
图像条件

通过将起始帧                                   I                              I                  I与噪声拼接(如上图的concatenate)，为模子提供条件。将                              I                          I               I表现为单帧视频（                              T                      =                      1                          T=1               T=1），并对其举行零添补，得到                              T                      ×                      C                      ×                      H                      ×                      W                          T ×C ×H ×W               T×C×H×W张量，同时使用形状为                              T                      ×                      1                      ×                      H                      ×                      W                          T ×1 ×H ×W               T×1×H×W的二进制掩码m，在第一时间位置设置为1表现起始帧位置，其他位置为0。将掩码m、起始帧I和有噪视频                                       x                         t                                  x_{t}               xt​按通道毗连作为模子输入。
   与 Make-a-video等模子中基于语义嵌入设定条件的方法差别，Emu Video 的拼接的方式能让模子使用起始帧 I 的全部信息。基于语义嵌入的方法会在条件设定时丢失部分图像信息，而 Emu Video 的计划克制了这一题目，为天生高质量视频提供了更多有效信息。
    掩码 m 用于标记起始帧在序列中的位置，资助模子辨认起始帧，对后续视频天生过程举行更精准的引导。
  模子结构

使用预练习的T2I模子Emu初始化潜伏扩散模子                                   F                              \mathcal{F}                  F，并添加新的可学习时间参数：

• 在每个空间卷积层之后添加一维时间卷积层；
  
• 在每个空间留意力层之后添加一维时间留意力层 ；
  
• 原始的空间卷积层和留意力层保持冻结状态。
  

   在Runway的Gen-1中的时空潜伏扩散中也使用了可学习时间参数：
  

• 在每个残差块中的每个 2D 空间卷积之后引入一个1D 时间卷积。
  
• 在每个空间 2D 空间留意力块后引入一个时间1D 时间留意力块。
  

  预练习的 T2I 模子以文本作为条件，与上一节的图像条件相联合后，模子                                    F                              \mathcal{F}                  F 同时以文本和图像作为条件。
   Emu是Meta发布的一款T2I模子，论文为：Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
  零终端信噪比 噪声调理

作者发现，先前工作（Emu和SD模子）中使用的扩散噪声调理存在练习 - 测试差别，这会拦阻高质量视频的天生。
   在练习过程中，该噪声调理会留下一些残留信号，也就是说，纵然在扩散的终端时间步N，信噪比（SNR）仍不为零。当我们从不含真实数据信号的随机高斯噪声中采样时，这会导致扩散模子在测试时无法很好地泛化。由于高分辨率视频帧在空间和时间上存在冗余像素，其残留信号更为显着。
  作者通过缩放噪声调理并将终极的                                       α                         N                              =                      0                          \alpha_N = 0               αN​=0来办理这个题目，这使得在练习过程中的时间步为N时（扩散过程的末了一个阶段），信噪比也为零。我们发现这个计划决议对于高分辨率视频的天生至关告急。
   这个题目和缩放噪声调理方法并非本文首创，在之前的：Common diffusion noise schedules and sample steps are flawed也发现了这个题目。【泉源于字节跳动】
  插值模子

使用与                                   F                              \mathcal{F}                  F结构雷同的插值模子                                   I                              I                  I，将低帧率的                                   T                              T                  T帧视频转换为高帧率的                                             T                            p                                       T_{p}                  Tp​帧视频。 输入的                              T                          T               T帧通过零交错天生                                       T                         p                                  T_{p}               Tp​帧，并将指示                              T                          T               T帧存在的二进制掩码m毗连到有噪输入。为进步服从，从                              F                          \mathcal{F}               F初始化                              I                          I               I，并仅针对插值任务练习                              I                          I               I的时间参数。
   将低帧率的                                   T                              T                  T帧视频转换为高帧率的                                             T                            p                                       T_p                  Tp​帧，能提拔视频流通度与视觉效果，顺应多样化应用场景，加强模子竞争力，为用户带来更好体验。
  实现简朴性

Emu Video在实现方面的简朴且高效：

• 练习数据与模子结构简朴
  
  
  
  • 尺度数据集练习：Emu Video接纳尺度视频文本数据集举行练习，这意味着其练习数据泉源广泛且具有通用性，不须要特殊定制的数据集，低落了数据准备的难度和本钱。
    
  • 无需深度级联模子：在天生高分辨率视频时，Emu Video不须要像某些其他方法（如Imagen Video中使用7个模子的深度级联结构）那样复杂的模子架构，简化了模子构建和练习流程。
    
  
  
• 推理过程
  
  
  
  • 图像与视频天生：推理时，先运行去除时间层的模子F根据文本提示天生图像I，再将I和文本提示作为输入，通过F直接天生高分辨率的T帧视频，这种推理方式简便高效。
    
  • 帧率提拔：借助插值模子I可进步视频帧率，进一步加强视频的视觉效果，且这一利用融入到了团体的推理流程中。
    
  
  
• 模子初始化与风格生存
  
  
  
  • 初始化计谋：空间层从预练习的T2I模子初始化并保持冻结，如允许以使用T2I模子在大规模图像文本数据集上学习到的概念和风格多样性。
    
  • 风格生存上风：相比Imagen Video须要在图像和视频数据上连合微调以维持风格，Emu Video不须要额外的练习本钱就能生存并运用这些风格来天生图像I。很多直接的T2V方法，如Make-a-video，固然也从预练习T2I模子初始化并冻结空间层，但由于没有接纳基于图像的分解方法，无法像Emu Video一样生存T2I模子的质量和多样性 。
    
  
  

妥当的人类评估（JUICE）

由于主动评估指标不能反映质量的提升，重要使用人类评估来权衡T2V天生性能，从视频天生质量（Quality，Q）和天生视频与文本提示的对齐或 “保真度”（Faithfulness，F）两个正交方面举行评估。提出JUICE评估方案，要求评估者在成对比力视频天生效果时分析选择来由，显着进步了标注者之间的划一性。评估者可选择像素清楚度、运动平滑度、可辨认对象/场景、帧划一性和运动量等来由来评价视频质量；使用空间文本对齐和时间文本对齐来评价保真度。
实现细节

附录第 1 节提供完备的实现细节，具体内容可以参考附录第 1 节，这里只先容关键细节。
架构与初始化

接纳Emu中的文本到图像 U-Net 架构构建模子，并使用预练习模子初始化全部空间参数。
预练习模子使用一个 8 通道、64×64 的潜伏向量，经主动编码器在空间上举行 8 倍下采样，天生 512px 的方形图像。
该模子同时使用一个冻结的 T5-XL 和一个冻结的 CLIP 文本编码器从文本提示中提取特性。
高效的多阶段多分辨率练习

为低落盘算复杂度，分两个阶段举行练习。

• 先在低分辨率下，练习更简朴的任务，即天生256px、8fps、1s的视频。
  
• 然后在渴望的高分辨率下练习，对4fps、2s的视频举行15K次迭代练习。
  a. 使用同SD一样的噪声调理举行256px练习。
  b. 在512px练习中使用零终端信噪比噪声调理，扩散练习步数                                   N                         =                         1000                              N = 1000                  N=1000
  c. 使用DDIM采样器举行采样，采样步数为250步。
  

   SD中的噪声调理是：线性调理。
SD 系列文章参考：Stable Diffusion
  高质量微调

通过在一小部分高运动和高质量视频上微调模子，可改善天生视频的运动效果。从练习会集主动辨认出1600个具有高运动（根据H.264编码视频中存储的运动信号盘算）的视频作为微调子集，并根据美学分数和视频文本与第一帧的CLIP相似度举行筛选。
插值模子

插值模子I从视频模子F初始化，输入8帧，输出                                       T                         p                              =                      37                          T_{p} = 37               Tp​=37帧，帧率为16fps。在练习时使用噪声加强，在推理时对F的样本举行噪声加强。
实验

参照论文原文
伦理题目

参照论文原文