Phantom 视频生成的流程

Phantom 视频生成的流程

flyfish
Phantom 视频生成的实践
Phantom 视频生成的流程
Phantom 视频生成的命令
Wan2.1 图生视频 支持批量生成
Wan2.1 文生视频 支持批量生成、参数化配置和多语言提示词管理
Wan2.1 加速推理方法
Wan2.1 通过首尾帧生成视频
AnyText2 在图片里玩文字而且还是所想即所得
Python 实现从 MP4 视频文件中平均提取指定数量的帧
Phantom通过跨模态对齐实现主体一致的视频生成,是一个统一的视频生成框架，实用于单主体和多主体参考，基于现有的文本到视频和图像到视频架构构建。它通过重新设计团结文本-图像注入模子，利用文本-图像-视频三元组数据实现跨模态对齐。此外，它强调在人类生成过程中保持主体一致性，同时增强ID保留的视频生成。
给的文字描述和图片 / 视频等素材，生成一个里面的主体（好比人物、物体）始终保持一致的视频，举个简单的例子资助理解：
假设有一张宠物猫的照片（主体是这只猫），然后想生成一个视频，让这只猫 “在沙滩上追蝴蝶，同时嘴里叼着一朵花”。
传统方法：可能必要找动画师手动设计猫的动作、沙滩场景，还要确保猫的表面和照片完全一致。
用 Phantom 技能：只必要把猫的照片和文字描述（“在沙滩追蝴蝶，叼花”）喂给体系。
体系会自动 “对齐” 照片里的猫和文字描述的动作，生成一个视频里的猫始终和照片长得一样，动作也符合描述的连贯视频。
1. 单主体 vs. 多主体

单主体

指在视频生成任务中，参考对象为单一实体（如一个人、一只动物或一个物体）。

• 目标：生成以该单一主体为焦点的视频，确保其表面、动作、姿态等特性在视频序列中保持一致。
  
• 应用场景：个人虚拟形象生成、单一产品展示视频等。
  

多主体

指参考对象包含两个或多个实体（如多个人物、动物群体或多个物体）。

• 寻衅：必要同时处置惩罚多个主体的交互关系、空间位置、各自特性的一致性，以及团体场景的和谐性。
  
• 应用场景：多人互动场景生成、群演视频生成、多物体动态模仿等。
  

2. 跨模态对齐（Cross-Modal Alignment）

定义

跨模态指不同类型的数据模态（如文本、图像、视频、音频等），对齐指建立不同模态数据之间的语义对应关系。

• 在Phantom框架中，通过文本-图像-视频三元组数据练习模子，使模子能够理解：
  
  
  
  • 文本描述（如“穿赤色外套的人跳舞”）、
    
  • 参考图像（含主体视觉特性）、
    
  • 目标视频（含动态时序信息）
    之间的关联，实现跨模态的语义统一。
    
  
  

技能实现

• 重新设计团结文本-图像注入模子，让模子在生成视频时，既能捕捉文本的语义信息，又能对齐参考图像的视觉特性，最终生成符合两者描述的视频内容。
  
• 目的：办理传统模子中不同模态数据“语义割裂”的问题，提拔生成视频的语义正确性和视觉一致性。
  

3. 主体一致性（Subject Consistency）

定义

在视频生成过程中，确保同一主体在不同帧画面中保持视觉特性和举动逻辑的连贯性，制止出现主体表面突变、形态扭曲或动作矛盾等问题。

• 关键维度：
  
  
  
  • 表面一致性：主体的颜色、形状、纹理、服装、面部特性等不变（如同一人物的发型、肤色在视频中保持一致）。
    
  • 动作一致性：主体的运动轨迹、姿态变化符合物理规律和语义逻辑（如行走动作的连贯性，制止“瞬间移动”）。
    
  
  

Phantom的技能重点

通过强化对参考图像中主体特性的建模（如利用图像编码器提取主体特性向量），并在视频生成过程中持续“锚定”这些特性，确保主体在时序上的一致性，尤其实用于长视频或复杂动作场景。
4. 增强ID保留的视频生成（Enhanced ID-Preserving Video Generation）

定义

ID保留指保留主体的身份特性（Identity，简称ID），如人脸身份、独特表面标识（如胎记、特别服装）或品牌标记等。

• 增强ID保留：通过技能手段提拔模子对主体身份特性的捕捉和再现本领，即使在不同视角、光照或动作下，也能稳固保留主体的身份信息。
  

2个焦点模子

1. 底子视频生成模子（Wan2.1-T2V-1.3B）

• 作用：
  
  
  
  • 焦点生成引擎：负责根据文本描述生成视频的底子内容，包括场景、动作、光影等团体效果。
    
  • 时空建模：通过扩散Transformer（Diffusion Transformer）和时空变分自动编码器（VAE）处置惩罚视频的时间序列和空间细节，确保帧与帧之间的连贯性。
    
  • 效率优化：1.3B参数版本专为消费级GPU设计，仅需8.19GB显存即可运行，适合快速生成480P分辨率的视频。
    
  
  
• 关键参数关联：
  
  
  
  • ckpt_dir 指向该模子的路径（./Wan2.1-T2V-1.3B），决定了底子生成本领的强弱。
    
  • size（832×480）和 frame_num（81帧）直接影响该模子的计算量和输出规格。
    
  
  

2. 跨模态对齐模子（Phantom-Wan-1.3B）

• 作用：
  
  
  
  • 主体一致性保障：从参考图像中提取主体特性（如人物、物体），并强制视频生成过程中主体表面、姿态与参考图像保持一致，制止传统AI常见的“变脸”“物体变形”问题。
    
  • 多模态融合：团结处置惩罚文本提示和参考图像，通过跨模态对齐技能（如文本-图像-视频三元组练习），让生成的视频既符合文字描述，又老实于参考图像的主体特性。
    
  • 精细化控制：支持多主体生成（如多人互动），并能保留服装、心情、物品细节等复杂特性，适合广告、影视预演等专业场景。
    
  
  
• 关键参数关联：
  
  
  
  • phantom_ckpt 指向该模子的路径（./Phantom-Wan-1.3B/Phantom-Wan-1.3B.pth），是实现主体一致性的焦点。
    
  • sample_guide_scale_img（5.0）和 sample_guide_scale_text（7.5）通过调整图像和文本的引导强度，均衡参考图像与文本描述的权重。
    
  
  

用一张猫的照片生成“猫在草地上跳跃”的视频来拆解整个技能流程

一、文本编码：让计算机“理解”文字含义

输入：

• 文本提示：“一只灰色短毛猫在绿色草地上跳跃，尾巴翘起，背景有蒲公英”
  
• 模子：底子视频生成模子中的 T5文本编码器（属于NLP领域的预练习模子）
  

处置惩罚流程：

• 分词与编码：
  T5先将文本拆分成最小语义单元（如“灰色”“短毛猫”“跳跃”），转化为 token序列（类似计算性能理解的“密码”）。
  
  
  
  • 例如：“猫”→ token ID=123，“草地”→ token ID=456。
    
  
  
• 语义特性提取：
  T5通过多层Transformer神经网络，分析token之间的关系（如“猫”是主语，“跳跃”是动作），生成一个 768维的语义向量（可理解为文本的“数字指纹”）。
  
  
  
  • 这个向量包含了文本的焦点信息：主体（猫）、动作（跳跃）、场景（草地、蒲公英）、表面（灰色短毛）。
    
  
  

输出：

一个包含文本语义的 语义特性向量，用于引导后续视频生成。
二、图像特性提取：锁定参考图像中的主体

输入：

• 参考图像：一张灰色短毛猫的照片（主体明白，背景简单）
  
• 模子：跨模态对齐模子（Phantom-Wan中的图像编码器，基于CNN或ViT架构）
  

处置惩罚流程：

• 主体检测与分割：
  模子首先通过 目标检测算法（如YOLO）定位图像中的主体（猫），并用 语义分割 提取主体掩码（mask），将猫与背景分离。
  
  
  
  • 输出：仅包含猫的地区，背景被屏蔽（如图中绿色部分为主体）。
    
  
  
• 视觉特性提取：
  对主体地区进行特性编码，提取 颜色、纹理、轮廓、姿态 等视觉信息：
  
  
  
  • 颜色特性：灰色毛发的RGB均值、尾巴的毛色分布。
    
  • 纹理特性：毛发的细腻程度、瞳孔的纹路。
    
  • 空间特性：猫的体型比例（头身比）、跳跃时的姿态（如四肢弯曲角度，基于参考图像的预设动作）。
    
  
  
• 特性压缩：
  通过卷积神经网络将视觉特性压缩为 512维的图像特性向量，确保后续生成的视频中猫的表面与该向量匹配。
  

输出：

一个包含主体视觉特性的 图像特性向量 和 主体掩码，用于强制生成视频的主体与参考图像一致。
三、团结生成：让文字描述与图像主体“合二为一”

焦点逻辑：

底子模子（Wan2.1-T2V）负责“创作”视频内容，跨模态模子（Phantom-Wan）负责“监督”主体一致性，两者通过 损失函数 实时交互。
步骤1：底子模子生成视频初稿

• 输入：
  
  
  
  • 文本语义向量（来自T5）
    
  • 随机噪声（作为生成出发点，类似画家的“草稿”）
    
  
  
• 模子架构：
  
  
  
  • 扩散Transformer（Diffusion Transformer）：处置惩罚视频的时空维度（宽度×高度×帧数），逐帧去除噪声，生成开端视频。
    
  • 过程：
    从纯噪声开始，颠末50步采样（由sample_steps控制），逐步生成符合“猫在草地跳跃”的画面，包括：
    
    
    
    • 背景：绿色草地、飘动的蒲公英（由文本语义驱动）。
      
    • 动作：猫的跳跃轨迹、尾巴摆动（由文本语义和扩散模子的动态建模本领生成）。
      
    
    
  
  
• 输出：
  一版“自由创作”的视频，但此时猫的表面可能与参考图像不一致（如毛色变浅、体型变化）。
  

步骤2：跨模态模子修正主体特性

• 输入：
  
  
  
  • 底子模子生成的视频帧
    
  • 图像特性向量（来自参考图像）
    
  • 主体掩码（标记猫的地区）
    
  
  
• 修正机制：
  
  
  
  • 特性匹配：
    在每帧视频中，利用图像编码器提取当前帧中猫的特性向量，与参考图像的特性向量计算 余弦相似度。
    
    
    
    • 若相似度低（如毛色弊端大），则通过反向流传调整扩散模子的参数，强制特性接近。
      
    
    
  • 空间引导：
    利用主体掩码，仅在猫的地区应用特性修正（制止影响背景）。例如：
    
    
    
    • 背景的蒲公英由文本驱动自由生成，不被图像特性干扰。
      
    • 猫的身材地区必须严酷匹配参考图像的颜色和轮廓。
      
    
    
  
  
• 输出：
  颠末修正的视频帧，猫的表面与参考图像一致，动作和场景符合文本描述。
  

四、时空优化：让视频流畅天然

1. 时空压缩（VAE模块）

• 作用：
  生成的视频原始数据量巨大（81帧×832×480像素），通过 变分自动编码器（VAE） 压缩时空维度：
  
  
  
  • 编码器：将高分辨率视频压缩为低维隐变量（latent variables），淘汰计算量。
    
  • 解码器：在生成后期将隐变量还原为高分辨率视频，保留细节。
    
  
  
• 优势：
  压缩后的数据量可淘汰90%以上，使扩散模子能更高效地处置惩罚时空连贯性。
  

2. 动态优化（扩散Transformer）

• 焦点问题：
  确保相邻帧之间的动作连贯（如猫的跳跃轨迹平滑，不会突然“闪现”）。
  
• 技能手段：
  
  
  
  • 时间留意力机制：模子在生成第t帧时，会关注第t-1帧和t+1帧的动作，通过 时序损失函数 强制动作连续。
    
  • 空间一致性约束：同一主体在不同帧中的位置、姿态变化符合物理规律（如跳跃时的抛物线轨迹）。
    
  
  

3. 最终输出

颠末50步采样（由sample_steps决定）和时空优化后，生成 81帧、832×480分辨率 的连贯视频，其中：

• 主体（猫）与参考图像完全一致（毛色、体型、姿态）。
  
• 场景（草地、蒲公英）与文本描述一致，动态流畅天然。
  

参数如何影响流程？

• sample_guide_scale_img=5.0：
  控制图像特性对生成的“约束力”。数值越大，视频主体越接近参考图像（可能牺牲动作多样性）。
  
• sample_guide_scale_text=7.5：
  控制文本语义对生成的“引导力”。数值越大，场景和动作越贴合文字描述（可能导致主体稍微变形）。
  
• frame_num=81：
  决定扩散模子必要处置惩罚的时间维度长度，数值越大，时序优化难度越高，生成耗时越长。
  

两个模子如何“分工吵架”？

• 底子模子（Wan2.1-T2V）：像“创意画家”，擅长根据文字想象场景和动作，但容易让主体“走样”（好比把灰猫画成白猫）。
  
• 跨模态模子（Phantom-Wan）：像“严酷监工”，拿着参考图像不绝挑刺：“这里毛色不对！”“这里体型变了！”，强迫画家修正。
  
• 最闭幕果：一幅“创意”与“写实”均衡的作品，既有画家的想象力（草地、蒲公英），又符合监工的要求（猫必须和照片一样）。