MLLM（一）| 文/图生视频任务大升级，BigModel 开源了视频模子CogVideoX

CogVideoX的体验所在：https://bigmodel.cn/console/trialcenter?modelCode=cogvideox
      自2021年起，智谱 AI 技能团队便开始动手布局包罗 text-2-img、text-2-video、img-2-text、video-2-text 在内的多模态模子，并连续研发并开源了CogView、CogVideo、Relay Diffusion、CogVLM、CogVLM-Video等多个先辈模子。近期，智谱 AI 正式开源新一代视频大模子——CogVideoX。
一、CogVideoX的焦点技能特点如下：

        针对内容连贯性题目，智谱AI自主研发了一套高效的三维变分自编码器布局（3D VAE）。该布局可以大概将原始视频数据压缩至原始巨细的2%，显着低落了视频扩散天生模子的训练本钱和难度。联合3D RoPE位置编码模块，该技能有效提升了在时间维度上对帧间关系的捕获本事，从而创建了视频中的恒久依靠关系。
       在可控性方面，智谱AI打造了一款端到端的视频明确模子，该模子可以大概为大量视频数据天生准确且内容相干的形貌。这一创新加强了模子对文本的明确和对指令的依照本事，确保天生的视频更加符适用户的输入需求，并可以大概处置处罚超长且复杂的prompt指令。
       模子接纳了一种将文本、时间、空间三维一体融合的transformer架构。该架构摒弃了传统的cross attention模块，创新性地操持了Expert Block以实现文本与视频两种差别模态空间的对