读论文条记-LLaVA：Visual Instruction Tuning

读论文条记-LLaVA：Visual Instruction Tuning

《Visual Instruction Tuning》
研究机构：Microsoft Research
发表于2023的NeurIPS
Problems

填补指令微调方法（包罗数据、模子、基准等）在多模态范畴的空白。
Motivations

• 人工智能的焦点目标就是构建一种通用的助手，可以大概识别多模态的指令，与人类意图保持划一，从而完成实际生存中的使命。
  
• 有指令跟随本领的视觉模子交互性、适应性差：在视觉模子中，语言指令一般隐含在模子中，或是作为图像的形貌，只在把视觉信号映射成文本语义上有很大作用。
  
• 指令跟随的语言模子已经小有所成，可以进一步扩展：大语言模子已经显现出来了作为通用助手的通用接口的本领，指令显示地表达且可以大概指导模子办理目标使命，对其扩展到视觉语言范畴可以为通用视觉助手的产生铺路。
  
• 现有多模态模子并没有直接在视觉语言指令数据上微调，且用在纯文本使命上效果会降落。
  

Methods

Key1：填补数据集的空白——GPT辅助的视觉语言指令数据天生

受利用GPT举行文本标注的影响，作者用ChatGPT/GPT4这种多模态语言模子来天生指令跟随数据。但由于GPT4在其时还没有开放多模态接口，以是用的是纯文本版本。

• 对于现有的图像数据集（COCO），把图像用captions和bbox这两种符号表现替换，作为输入的图片内容sample_content or sample context；
  
• 利用3种system_content or messages构造3类输入-输出范式：每类范式中都先有少量人工标注的样例(根据sample content/context和指定的范式，天生的response)，作为上下文学习的示例喂给模子；
  
• 让模子对所有queries(只有sample content/context)举行扩展，扩展出3种情势的指令-复兴范式: conversation(对图中的物体提问，只提有确定答案的问题)、detailed description(提问并产生详细的形貌)、complex reasoning(提出须要深度推理的问题，产生逻辑性强的答复)。
  
  
  
  以天生对话的跟随数据集为例，喂给GPT4的提示词是：system_content(指定用户和助手身份，以及天生数据的要求)+sample contents+sample responses(这里的response就是QA对)+query(新的content)。
  给GPT4的提示词+query示例：
  
  
  
  
  
  
  终极，作者构造了LLaVA-Instruct-158K的视觉语言指令跟随样本（58K对话+23K详细形貌+77K的复杂推理）
  

Key2：构造视觉指令微调模子LLaVA

• 用预练习好的Vicuna作为LLM：在开源的语言模子中具有最好的指令跟随本领。
  
• 用预练习的CLIP的视觉编码器ViT-L/14处置惩罚图像+线性投影(W)到词嵌入的空间：        Xv−>Zv=g(Xv)−>Hv=W∗ZvX_v->Z_v=g(X_v)->H_v=W*Z_vXv​−>Zv​=g(Xv​)−>Hv​=W∗Zv​
  
  
  
  

• 在第一阶段（特性对齐预练习阶段）：用CC595K数据，冻结图像编码器和LLM，只练习线性投影层W，使得条件概率最大。相当于为LLM学习一个兼容的视觉分词器，让图像特性HvH_vHv​与词嵌入对齐。练习1个epoch，bs=128。
  CC595K：是CC3M数据集过滤成595K之后，以文中最开始提到的一种低本钱方法构造的’Human: Q V stop Assistant: Captions stop’情势。这种方法天生的指令和回应样本缺乏多样性和深度推理本领。
  
• 第二阶段（端到端微调）：用LLaVA-Instruct-158K和Science QA基准，冻结视觉编码器，微调线性投影层和LLM。前者用于构造多模态 chatbot，后者就构造Science QA的模子。练习3个epoch，bs=32，对Science QA来说12epoch。
  Science QA：每一个问题都会提供一段文本或图像，每一个答复要么是天然语言的推理过程要么是多选题的答案。因此，把问题+文本/图像作为指令，推理过程+答案作为回应。
  

Key3：构造2个定性评估模子本领的基准

• LLaVA-Bench(COCO)：从COCO-Val-2014中选择30张图像，并天生3类的指令跟随数据。
  
• LLaVA-Bench(In-the-Wild)：24张图像包含室内、室外场景，绘画，素描等风格，每个图像由人工详细形貌，每个图像有一系列问题，共60个问题。须要模子有很广泛的知识面，而且可以大概处置惩罚高分辨率图像。
  

Experiments

• Training datasets：新构造的CC595K指令数据+本身构造的视觉语言指令跟随数据LLaVA-Instruct-158K+Science QA
  对于对话场景，设置的是多轮对话。在练习时，给模子运送的数据be like: Xsystemmessage+Xinstruct1+...+XinstructtX_{system message}+X_{instruct}^1+...+X_{instruct}^tXsystemmessage​+Xinstruct1​+...+Xinstructt​，第一个指令包含的是问题和图片[Xq,Xv]or[Xv,Xq][X_q,X_v]or[X_v,X_q][Xq​,Xv​]or[Xv​,Xq​]，后面所有指令就只是问题。这里的体系信息与Vicuna-v0一样，模子就负责推测句子之间的停顿和答案。其他两个范式都是单轮对话的。
  
• Training objectives：自回归练习。也就是推测第一个答案之后，该答案作为下一次推测的输入，以此类推。
  p(Xa∣Xv,Xinstruct)=∏i=1Lpθ(xi∣Xv,Xinstruct,<i,Xa,<i)  p(Xa|Xv, Xinstruct) = ∏_{i=1}^L p_θ(xi|X_v, X_{instruct},<i, X_a,<i)  p(Xa∣Xv,Xinstruct)=i=1∏L​pθ​(xi∣Xv​,Xinstruct​,<i,Xa​,<i)
  
• Evaluation tasks：紧张验证模子的指令跟随本领和视觉推理本领。增补质料的一些实验也证明白模子的涌现本领：可以大概识别出练习集中没有的图片。
  

---

1. - Task name:Multimodal chatbot的定性评估；
2. - Task data:GPT-4使用的样例、OCR识别样例；
3. - Comapred methods:LLaVA、GPT4、BLIP2、OpenFlamingo
4. - Results:1）相比于BLIP2\OpenFlamingo，LLaVA并不是描述图像内容而是跟着指令描述了异常之处。2）相比于GPT4，LLaVA描述的更全面。3）即使只让模型描述图片，也能关注到异常之处。图像是out-of-domain的，因此能证明模型的推理能力也很强。

复制代码

---

1. - Task name:Multimodal chatbot的定量评估：A.验证不同训练数据对模型高效性的影响；B.在更具挑战性和新域的数据上，评估模型的泛化能力和性能。
2. - Task data:LLaVA-Bench(COCO),LLaVA-Bench(In-the-Wild)
3. - Comapred methods:让GPT4接收图片的文字性描述+问题，输出理论上限的回应。再让他对理论上限回应与LLaVA模型的回应进行对比评分。A.不同训练数据的消融实验：使用不同形式的LLaVA-Instruct训练数据,在COCO标准上验证，用GPT4对生成结果进行有对比的评分并给出评分的解释。B.与BLIP2\OpenFlamingo比较。
4. - Results:A.用全部指令数据训练得到的模型的效果最好。B.显著好于其他两个模型，相对于拿到答案的GPT4，有81.7%的很好的推理能力。

复制代码

---

1. - Task name:ScienceQA对比实验
2. - Task data:ScienceQA
3. - Comapred methods:和Human\GPT3.5\GPT3.5 withoutCOT\LLaMA-Adapter\MM-CoTbase\MM-CoTlarge\GPT-4\LLaVA+GPT4。
4. - Results:1)LLaVA有媲美SOTA的表现；2)为了探究LLM的极限，先对GPT4进行2-shot上下文学习得到一个指标。再将问题数量提升后发现模型由于图像太少而失败了; 3)当GPT4不能回答时，就用LLaVA的答案。发现平均准确率与LLaVA单独差不多；4) 当GPT4和LLaVA产生不同答案时，让GPT4根据这两个答案产生新的答案，作为一种类似于从其他模型中获得知识进行COT的方法，达到了SOTA。这表明GPT4能够用在模型聚合上，并且能够帮助修正模型错误的知识，并且识别出一些答案不在图片上的任务。

复制代码

---

1. - Task name:ScienceQA消融实验
2. - Task data:ScienceQA
3. - Compared methods:比较使用CLIP的visual features的位置，推理和预测的顺序，检验特征对齐微调阶段的重要性，比较模型规模。
4. - Results：1)使用倒数第二层的视觉特征有更好的效果，可能是因为倒数第二层更关注局部的信息，而最后一层则关注全局和抽象的信息；2)推理和预测的顺序只和收敛速度有关，对最终表现只有微弱贡献；3)进行特征对齐能够保留大量的训练知识；4)模型规模对效果有决定作用。

复制代码