【AIGC】1、爆火的 AIGC 到底是什么 | 全面先容

参考论文：A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT
发布时间：2023.03
AIGC：AI Generated Content，AI 天生内容，纵然用人工智能天生内容，可以天生笔墨、图像、音频、视频、代码等。
一、AIGC 的扼要先容

AIGC 是使用 Generative AI (GAI，天生式 AI) 的方式，可以大概模仿人类的方式，在很短的时间内创作大量的内容。比如现在很火的如下两个模子：

• ChatGPT：一个语言模子，可以大概很快的明确并复兴人类的题目
  
• DALL-E-2：可以大概在根据笔墨创作一幅对应的高质量图像，如图 1 所示
  

天生式 AI 必要做什么变乱：

• 从人类的形貌中提取信息
  
• 根据提取到的信息天生对应的内容
  

现在的 AIGC 和之前的工作相比有哪些上风：

• 之前的工作：没有大量的数据和硬件支持
  
• AIGC：有大量的数据、精良的底子模子、强有力的硬件盘算资源，
  
• 比如语言模子： GPT-3 的预练习数据为 570G，底子模子尺寸为 175B，而前一版的 GPT-2 预练习数据只有 38G，底子模子尺寸为 1.5B，故 GPT-3 比 GPT-2 有更强的本领。而且 GPT-3 引入了强化学习来学习人类的反馈
  
• 比如图像模子：stable diffusion，同样在 2022 年提出，且拥有很强的图像天生本领
  

二、AIGC 的发展历程

• 1950s，隐马尔科夫模子（HMMs）和高斯肴杂模子（GMMs），可以天生序列数据，如台词或时间序列
  
• 2017 年之前，NLP 和 CV 的发展也分了两条蹊径：
  
  
  
  • NLP：最初是使用 N-gram language modeling 通过学习单词的分布来天生句子，但又不能处理惩罚很长的句子，于是就引入了 RNN，反面又有了 LSTM 和 GRU。
    
  • CV：2014 年 GAN 被提出，反面又有 VAE 和 diffusion 模子，用于天生高质量图像
    
  
  
• 2017 年之后，NLP 和 CV 的一部门工作重心渐渐有了归并于 Transformer 的趋势：
  
  
  
  • 2017 年，Transformer 被提出并用于 NLP，如 BERT 和 GPT，都有了完胜之前 LSTM 和 GRU 的效果
    
  • 2020 年，ViT 初次将 Transformer 用于图像分类人并取得了很好的效果，之后又有很多如 DETR、Swin、PVT 等基于 Transformer 的方法在图像范畴的差别使命上同样取得了很好的效果
    
  
  
• 不但云云，Transformer 也可以大概通过整合差别范畴的信息来实现多模态使命
  
  
  
  • CLIP 就是一个连合使用 vision-languange 的模子，通过将 transformer 的结构和视觉组件的联合，允许其在大量的文本和图像数据上练习。也正是由于其在预练习的时间整合了图像和语言信息，故可以大概作为图像编码器举行天生。
    
  
  

三、AIGC 的基石

3.1 根本模子

1、Transformer
Transformer 可以作为 backbone 或网络结构来实现多种差别模子的 SOTA，如 GPT-3[9]、DALL-E-2[5]、Codex[2] 和 Gopher[39]。
Transformer 结构大多是基于自留意力机制的 Encoder-Decoder 结构，Encoder 结构用于提取输入内容的隐式表达，Decoder 用于从隐式表达中天生输出。
Transformer 中的自留意力机制用于提取输入序列中差别 word 或 patch 的之间的关系。
Transformer 的别的一个上风在于其弱偏置归纳性，即引入的归纳偏置少，模子不容易很容易的到达上限，故此使用大数据集举行预练习的 Transformer 可以大概到达很好的效果，并用于鄙俚使命。
2、预练习的语言模子
Transformer 的结构现在已经成为语言模子的首选结构，也可以将差别方法分为两类：

• autoregressive language modeling（decoder）：自回归式语言模子，BERT、RoBERTa、XL-Net
  
• Masked language modeling（encoder）：掩码式语言模子，GPT-3、OPT
  
• encoder-decoder 模子
  

3.2 基于人类反馈的强化学习

只管使用了大量的练习数据，AIGC 也大概并不能总是很好的明确人类的意图，比如实用性和真实性。
为了让 AIGC 的输出更靠近于人类的偏好，从人类的反馈中不停举行强化学习也很告急， reinforcement learning from human feedback
(RLHF)，比如 Sparrow、InstructGPT、ChatGPT 都使用了强化学习。
RLHF 的整个过程包罗三个步调：

• 其一，是一个基于大量数据预练习得到的语言模子
  
• 其二，练习一个夸奖模子来对人类多种复杂的偏好举行编码
  
• 其三，对第一步得到的语言模子                                    θ                              \theta                  θ 举行 fine-tuned，来最大化第二步学习到的鼓励函数
  

3.3 算力支持

现在发展成熟的硬件、分布式练习、云盘算等都为大模子的产生提供了很大的支持

四、天生式 AI（Generative AI）

4.1 单模态

单模态天生模子，就是模子只能吸收单一范例的输入，如文本或图像，然后产生对应范例的输出。

• 天生式语言模子：GPT-3、BART、T5 等
  
• 天生式视觉模子：GAN、VAE、normalizing flow 等
  

4.1.1 天生式语言模子（Generative Language Models，GLM）

天生式语言模子是 NLP 模子的一种，该模子所要实现的就是颠末练习后可以大概根据其之前所打仗过的模式和结构，天生可读的人类语言。
可以用于对话体系、翻译、问答体系等。
现有的 SOTA 预练习语言模子可以分为：

• masked language model（encoder）：一样平常用于分类使命
  
• autoregressive language model（decoder）：一样平常用于文本天生
  
• encoder-decoder language：可以使用上下文信息和自回归属性来进步各种使命的性能
  

1、Decoder models
现有表现较好的基于 decoder 的自回归语言模子是 GPT[61]，是使用 self-attention 的 Transformer 模子。尚有 BERT、T5、InstructGPT 等。
2、Encoder-Decoder models：
现有的表现较好的是 Text-to-Text Transfer Transformer（T5）[56]，同时使用了基于 Transformer 的 Encoder 和 Decoder 来举行预练习。
尚有比方 Switch Transformer、ExT5、HELM 等
4.1.2 天生式视觉模子（Generative Vision Models）

1、GAN，Generative Adversarial Networks（GANs）
GAN 是图像天生范畴很盛行的一个模子，包罗两个模块：

• 天生模子，学习怎样天生新的数据
  
• 鉴别模子，判断数据是真实的照旧天生的假数据
  

范例方法有：

• LAPGAN
  
• DCGANs
  
• Progressive GAN
  
• SAGAN
  
• BigGAN
  
• StyleGAN
  
• D2GAN
  
• GMAN
  
• MGAN
  
• MAD-GAN
  
• CoGAN
  

2、VAE，Variational AutoEncoders
VAE 是天生模子，其原理是实验学习数据的概率分布并学习怎样重修数据使得其更靠近原始输入数据。
3、Flow
Normalizing Flow 是一种基于分布变更的方式，使用一系列可逆和可微的映射将简朴分布变成复杂分布
4、Diffusion
Diffusion model 是由通过徐徐向输入图像中添加高斯噪声的前向扩散，和徐徐规复原图的逆向去噪构成的，是现在 SOTA 的方法。

• DDPM 使用两个马尔科夫链来徐徐举行高斯加噪和反向去噪
  
• SGM（Score-based generative model）
  
• NCSN
  
• Score SDE
  

4.2 多模态

多模态天生的目标是学习一个模子，通过学习从数据中得到的多模态毗连和交互来天生原始的模态。
差别模态的毗连和交互优劣常复杂的，这也使得多模态表现空间比单模态表现空间更难学习。
下面会涉及到各类 SOTA 多模态模子：

• 视觉语言天生
  
• 文本语音天生
  
• 文本图形天生
  
• 文本代码天生
  

4.2.1 视觉语言天生

Encoder-decoder 结构会经常被用于办理盘算机视觉和自然语言处理惩罚的多模态天生题目

• Encoder：学习输入数据的复杂特性表达
  
• Decoder：天生反应跨模态交互、结构、划一性的原始模态表达
  

视觉语言 Encoder，多模态的联合可以直观的想象通过将两个差别模态的预练习模子联合起来即可，重要有两种：

• concatenated encoder
  
• cross-aligned encoder
  

Concatenated Encoder：

• 将两个差别模态的模子 concat 起来，比如最早的 VisualBERT，使用 BERT 作为 text encoder，CNN 作为 image encoder，来自 image encoder 的编码被直接归并到 BERT 的输入编码中，让模子隐式地学习表达。
  
• VL-BERT，使用 Faster R-CNN 来抽取 RoI，将抽取到的 RoI 信息作为图像地区的编码
  
• UNITER
  

Cross-aligned Encoder：

• 该结构一样平常使用 tow-tower 结构，分别使用单个 tower 学习每个模态对应的特性，然后使用 cross-modality encoder 对两个模态的特性学习连合表达。
  
• LXMERT 使用 Transformer 来抽取图像特性和文本特性，然后使用了一个多模态 cross-attention 模块来举行协同砚习，输出编码是视觉编码、语言编码、多模态编码
  
• ViLBERT 使用 cross-transformer 模子来对齐两个差别的模态，每个模态输入的 key 和 value 会被输入别的一个模态的 attention module 来天生一个合成的 attention 编码
  
• CLIP 使用点乘的方式来融合 cross layer，比上面的使用 self-attention 盘算量更少
  

视觉语言模子 Decoder，可以大概通过给 encoder 得到的编码表达来天生特定模态的表达，重要包罗：

• to-text
  
• to-image
  

To-text decoders，通常从 encoder 中吸收文本上下文表达，并解码为一个句子，重要有如下两种模子，随着大型语言模子的出现，现在很多结构都使用冻结语言 decoder 的方式。

• jointly-trained models，连合练习解码器是指在解码表现时必要完备的交错模态练习的解码器
  
• frozen models，冻结大语言模子，值练习 image decoder
  

To-image decoders，表现给定一条指令，天生对应的图像。用的较多的同样是 encoder-decoder 结构，encoder 用于学习语言信息，decoder 用于合成图像。一样平常有 GAN-based 和 diffusion-based 方法。
4.2.2 文本音频天生

文本音频天生
文本音乐天生
4.2.3 文本图形天生

4.2.4 文本代码天生

Text Code Generation 可以根据输入的语言形貌来说主动的天生可用的代码

• CodeBERT
  
• CuBERT
  
• CodeT5
  
• AST
  

五、AIGC 的应用场景

5.1 ChatBot

可以和使用者举行基于文本的对话交互，一样平常使用语言模子来明确并根据题目举行语言的回复。
如微软小冰 Xiaoice，谷歌 Meena，微软 ChatGPT。
5.2 Art

AI 艺术天生是创作艺术品，一样平常都使用大型数据集在现有的艺术品上举行学习，学习到肯定的规则后，模仿相干创作规则来产生新的艺术品。
如 OpenAI 的 DALL-E 系列，Stability.ai 的 DreamStudio，谷歌的 Imagen 等。
5.3 Music

音乐天生是教唆用学习到的相干音乐创作规则，产生新的音乐创作。
如 OpenAI 的 Jukebox
5.4 Code

基于 AI 的编程体系包罗天生完备的代码、源码和伪代码等
OpenAI 的 CodeGPT 是一个开源的基于 Transformer 结构的模子，尚有 CodeParrot、Codex 等。
5.5 Education

还可以用于教诲方面，比如天生教学视频、学术论文等。