多模态大语言模子arxiv论文略读（十七）

Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs

➡️ 论文标题：Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs
➡️ 论文作者：Yunxin Li, Baotian Hu, Wei Wang, Xiaochun Cao, Min Zhang
➡️ 研究机构: 哈尔滨工业大学（深圳）、中山大学深圳校区
➡️ 题目配景：比年来，多模态大语言模子（MLLMs）在多模态生本钱领方面取得了显着希望，类似于GPT-4。这些模子重要将视觉信息映射到语言表现空间，使用大语言模子（LLMs）的丰富知识和强盛的文本生本钱领来天生多模态指令跟随响应。然而，这些MLLMs忽视了使用视觉知识来加强LLMs整体本领的潜力，即所谓的“视觉加强LLMs”。
➡️ 研究动机：现有的MLLMs和监视微调（SFT）LLMs都忽略了通过视觉知识来提升LLMs处置惩罚文本使命的本领。理想情况下，就像人类大脑保留和使用视觉信息一样，MLLMs或LLMs应该能够存储外部视觉信息，并在必要视觉知识的情况下，纵然没有直接的视觉输入，也能够访问这些存储的视觉-语言知识举行综合推理。因此，提出了“视觉加强LLMs”这一概念，旨在通过加强来使大型模子能够存储和有效使用多模态知识，从而提升其知识库和推理本领。
➡️ 方法简介：研究团队提出了MKS2，一种旨在加强LLMs中多模态知识存储和共享的创新方法，包罗两个焦点阶段：视觉信息存储和多模态知识协作。在视觉信息存储阶段，研究团队在LLMs的内部变压器块中引入了模块化视觉影象（MVM），并通过语言中心学习策略训练MVM以影象开放天下的视觉信息。在多模态知识协作阶段，研究团队引入了一种软混合多模态专家（MoMEs）架构，通过在天生过程中使用专门的视觉和文本专家来实现多模态知识的使用。
➡️ 实验设计：为了验证MKS2的有效性，研究团队在七个天然语言处置惩罚（NLP）基准数据集和六个图像-文本明确数据集上举行了广泛的实验。实验结果表明，MKS2在必要物理或视觉天下知识的NLP使命上表现出色，比方MKS2-Llama-2-13b在多个使命上的表现显着高出了Llama-2-chat。别的，MKS2在图像-文本明确场景中也表现出竞争力，与之前的MLLMs相比，其性能相称。
LLMGA: Multimodal Large Language Model based Generation Assistant

➡️ 论文标题：LLMGA: Multimodal Large Language Model based Generation Assistant
➡️ 论文作者：Bin Xia, Shiyin Wang, Yingfan Tao, Yitong Wang, Jiaya Jia
➡️ 研究机构: The Chinese University of Hong Kong, ByteDance Inc
➡️ 题目配景：当前，基于大型语言模子（LLMs）的多模态天生技能在图像天生和编辑范畴取得了显着希望。然而，现有的方法重要集中在使LLMs天生图像，而未能充实资助用户举行高质量的图像天生和编辑。别的，现有的多模态大型语言模子（MLLMs）在天生和编辑使命中存在明确不足的题目，导致天生的图像质量不高。
➡️ 研究动机：为了克服现有方法的范围性，研究团队开辟了一种基于多模态大型语言模子的天生助手（LLMGA），旨在通过提供详细的语言天生提示来加强用户在图像天生和编辑中的控制力，从而进步天生图像的质量和用户的交互体验。
➡️ 方法简介：研究团队提出了一个两阶段的训练方案。第一阶段，通过构建包罗提示优化、相似图像天生、图像修补与扩展、基于指令的编辑等四个种别的训练数据集，训练MLLM明确图像天生和编辑的特性，天生详细的天生提示。第二阶段，优化Stable Diffusion（SD）模子，使其顺应MLLM天生的详细提示。别的，研究团队还提出了一种基于扩散的参考规复网络（DiffRIR），以办理图像修补与扩展过程中新天生地区与保留地区之间的纹理、对比度和亮度差异题目。
➡️ 实验设计：研究团队在多个使命上举行了实验，包罗文本到图像天生、相似图像天生、图像修补与扩展、基于指令的编辑等。实验结果表明，LLMGA在进步图像天生和编辑质量方面具有显着结果，能够实现更灵活和广泛的交互式应用。
GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation

➡️ 论文标题：GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation
➡️ 论文作者：Zhanyu Wang, Longyue Wang, Zhen Zhao, Minghao Wu, Chenyang Lyu, Huayang Li, Deng Cai, Luping Zhou, Shuming Shi, Zhaopeng Tu
➡️ 研究机构: Tencent AI Lab、The University of Sydney
➡️ 题目配景：只管多模态大语言模子（MLLMs）在视频处置惩罚方面取得了显着希望，但它们在天生视频内容方面的本领仍然有限。当前的方法，如“天生性词汇”（generative vokens），存在表现本领有限、大概破坏LLMs原有功能以及缺乏灵活性等范围性。
➡️ 研究动机：为了克服现有方法的范围性，研究团队提出了GPT4Video，一个同一的框架，旨在通过轻量级集成预训练的LLMs、视觉特性提取器和稳固扩散天生模子，加强LLMs的视频明确和生本钱领。别的，研究还探索了仅使用文本举行微调的方法，以进步模子的指令跟随本领和安全性。
➡️ 方法简介：GPT4Video框架包罗视频明确模块、LLM和视频天生模块。视频明确模块使用预训练的CLIP视觉编码器和视频抽象器来提取和压缩视频特性。LLM部分接纳LoRA方法举行参数高效的微调。视频天生模块通过天生文本提示来驱动预训练的文本到视频模子天生视频。
➡️ 实验设计：研究团队在多个公开数据集上举行了实验，包罗开放性问答、视频字幕天生、文本到视频天生和安全性评估。实验结果表明，GPT4Video在多个基准测试中显着优于现有模子，特别是在视频明确和天生使命中表现出色。别的，GPT4Video在安全性方面也取得了显着希望，能够有效拒绝处置惩罚和天生有害内容。
MVBench: A Comprehensive Multi-modal Video Understanding Benchmark

➡️ 论文标题：MVBench: A Comprehensive Multi-modal Video Understanding Benchmark
➡️ 论文作者：Kunchang Li, Yali Wang, Yinan He, Yizhuo Li, Yi Wang, Yi Liu, Zun Wang, Jilan Xu, Guo Chen, Ping Luo, Limin Wang, Yu Qiao
➡️ 研究机构: 深圳先进技能研究院、中国科学院大学、上海人工智能实验室、香港大学、复旦大学、南京大学新型软件技能国家重点实验室
➡️ 题目配景：随着多模态大语言模子（MLLMs）的快速发展，出现了许多用于评估这些模子明确本领的诊断基准。然而，大多数基准重要评估静态图像使命中的空间明确，而忽视了动态视频使命中的时间明确。为了缓解这一题目，研究团队提出了一个全面的多模态视频明确基准（MVBench），涵盖了20个挑衅性的视频使命，这些使命无法通过单帧有效办理。
➡️ 研究动机：现有的基准测试重要集中在静态图像使命的空间明确上，而忽视了动态视频使命的时间明确，这对于明确现实天下中的程序运动至关告急。为了全面评估MLLMs的时间明确本领，研究团队提出了MVBench，旨在通过系统地界说时间干系使命和主动解释范式，淘汰昂贵的人工干预，同时包管评估的公平性和正确性。
➡️ 方法简介：研究团队引入了一种新奇的静态到动态方法，通过将静态图像使命与动态演变相团结，系统地界说了20个挑衅性的视频明确使命。这些使命涵盖了从感知到认知的广泛时间明确技能。别的，研究团队设计了一种主动解释范式，通过将11个公开视频基准转换为多项选择题，主动天生评估MLLMs的多选题。
➡️ 实验设计：在MVBench上对各种着名的MLLMs举行了全面评估，结果表明，这些开始进的图像和视频MLLMs在时间感知和认知方面远未到达令人满足的标准。为了进一步进步模子的时间明确本领，研究团队开辟了一个强盛的视频MLLM基线——VideoChat2，通过多模态指令调优数据的渐进训练，实现了视频与语言的有效对齐。评估结果表现，VideoChat2在MVBench上的表现显着优于顶级模子，正确率进步了15%以上。
SEED-Bench-2: Benchmarking Multimodal Large Language Models

➡️ 论文标题：SEED-Bench-2: Benchmarking Multimodal Large Language Models
➡️ 论文作者：Bohao Li, Yuying Ge, Yixiao Ge, Guangzhi Wang, Rui Wang, Ruimao Zhang, Ying Shan
➡️ 研究机构: Tencent AI Lab、ARC Lab, Tencent PCG、School of Data Science, The Chinese University of Hong Kong, Shenzhen
➡️ 题目配景：多模态大语言模子（Multimodal Large Language Models, MLLMs）在天生文本和图像方面显现了杰出的本领，但现有的MLLM基准测试重要集中在评估模子对单个图像-文本输入的明确本领，未能跟上MLLMs的快速发展。这限定了对模子本领的全面评估，阻碍了模子的进一步探索和进化。
➡️ 研究动机：为了全面评估MLLMs的本领，研究团队提出了SEED-Bench-2，这是一个全面的基准测试，旨在评估MLLMs的分层本领，包罗文本和图像的天生。通过显现现有MLLMs的范围性，SEED-Bench-2旨在为将来的研究提供有代价的见解，推动向通用人工智能（AGI）的目标迈进。
➡️ 方法简介：研究团队将MLLMs的本领分为从L0到L4的分层程度，此中L0涉及基于文本输入天生文本，L4则涉及处置惩罚和天生任意交错的图像-文本内容。SEED-Bench-2涵盖了从L1到L3的本领评估，包罗图像和文本的明确以及图像和文本的天生。该基准测试包罗24,000个多项选择题，涉及27个评估维度，每个题目都有正确的人工标注答案。
➡️ 实验设计：SEED-Bench-2通过三种方法天生多项选择题：（1）使用基础模子的主动管道天生题目；（2）调解现有数据集以顺应多项选择题的格式；（3）团结人类创作和GPT辅助。别的，研究团队还引入了主动过滤机制和人工验证过程，以确保题目的质量和答案的正确性。基于SEED-Bench-2，研究团队对23个开源MLLMs举行了全面评估，显现了模子在差异本领程度上的表现。