论文阅读：LLaVA-OneVision: Easy Visual Task Transfer

论文所在：https://arxiv.org/pdf/2408.03326
公开时间：2024年9月14日
项目所在：https://llava-vl.github.io/blog/llava-onevision

LLaVA-OneVision是一个开放的大型多模态模子（LMMs），它是通过整合在LLaVA-NeXT博客系列中的数据、模子和可视化表现的看法而开辟的。实验效果表明，LLaVA-OneVision是第一个可以或许在三个告急的盘算机视觉场景：单图像、多图像和视频场景的单一模子。告急的是，LLaVAOneVision的筹划答应跨差别的模式/场景举行强大的迁徙学习，从而产生新的新兴本领。特殊是，通过从图像到视频的任务转移，展示了强大的视频明确和跨场景本领。
论文的核心是分享了一个OneVision的架构筹划，以同一对单图、多图及视频任务的练习框架（token编码规则），将单图练习的本领迁徙到多图与视频中。同时分享了一种动态分辨率筹划规则，以提供更好的视觉表现（兼容图像视频）；末了先容了练习数据的网络步调与练习步调，此中重点表明高质量知识是lmm中最为告急的情况。 1 Introduction

利用大型多模态模子（LMM）[67]构建通用助手是人工智能的核心愿望。LLaVA-one视觉是一个开放的模子，继承推进构建大型视觉和语言助手（LLaVA）[83]的研究方向，等候可以依照差别的指令，在旷野完成各种盘算机视觉任务。作为一种资源效益高的设置，它通常是通过利用一个简单的毗连模块将视觉编码器与大型语言模子（LLM）毗连起来来开辟的。
第一个LLaVA模子[83]展示了令人印象深刻的多模态谈天本领，偶然会在从前未见过的图像和指令上体现出类似于GPT-4V的活动。LLaVA-1.5 [81]通过归并更多与学术干系的教学数据，明显地扩展和进步了本领，通过数据高效的设置在几十个基准上实现了SoTA性能。LLaVA-NeXT [82]继承了这个特性，通过三个关键技能进一步推动了性能界限：用于处置惩罚高分辨率图像的AnyRes，扩展高质量的指令数据，以及利用当时可用的最佳开放LLM。
LLaVA-NeXT提供了一个可扩展和可扩展的原型，这促进了几个并行的探索，在LLaVA-NeXT博客系列[82,169,65,64,68]中报道：

• Video blog[169]表现，仅继承图像练习的LLaVA-NeXT模子在具有zero-shot视频任务上惊人地强大，这是由于AnyRes的筹划可以将任何视觉信号转换为一个图像序列。
  
• Stronger blog[65]展示了LLM模子对这个资源效益计谋的LLM模子的扩展。通过简单地扩展LLM，它在选定的基准测试上实现了可与GPT-4V相媲美的性能。
  
• Ablation blog[64]总结了我们除了视觉教学数据本身外的履历探索，包罗架构的选择（LLM和视觉编码器的缩放），视觉表现（分辨率&token），以及寻求数据缩放乐成的练习计谋（可练习模块和高质量数据）。
  
• Interleave blog[68]形貌了在新场景中扩展和进步本领的计谋，包罗多图像、多帧（视频）和多视图（3D），同时保持单图像的性能。
  

这些探索是在固定的盘算预算内举行的，旨在在项目导航过程中提供有用的看法，而不是推动性能限定。在此过程中，我们还积累和管理了大量从1月到6月的高质量数据集。通过巩固这些看法并在新积累的更大数据集上实验“yolo run”实验，我们引入了LLaVA-OneVision。我们利用可用的盘算方法实现了新的模子。特殊是，我们的论文做出了以下贡献：

• Large multimodal models.。开辟了LLaVA-OneVision，，它进步了在三个告急的视觉场景中的性能界限，包罗单图像、多图像和视频场景。
  
• Emerging Capabilities with Task Transfer。我们在建模和数据表现方面的筹划答应在差别的场景之间转移任务，这提出了一种简单的方法来产生新的归并本领。特殊是，LLaVA-OneVision通过从图像中得到的任务转移，展示了很强的视频明确本领。
  
• Open-source。为了为构建一个通用的可视化助手铺平蹊径，我们向公众发布了以下资产：天生的多模态指令数据、代码库、模子查抄点和可视化谈天演示。
  

2 Related Work

SoTA专有的lmm，如GPT-4V [109]、GPT-4o [110]、Gemini [131]和Claude-3.5 [3]，在真实视觉场景中体现出出色的性能，包罗单图像、多图像和视频设置。在开放的研究社区中，现有的工作通常会分别开辟针对每个单独场景的模子。详细来说，大多数关注于单图像场景[26,83,173,73,164,35]的性能限定，迩来只有几篇论文开始探索多图像场景[70,47]。固然视频lmm在视频明确方面体现出色，但它们通常以断送图像性能[72,76]为代价。很少有一个开放模子可以或许在全部三种场景中陈诉出色的性能。LLaVA-OneVision旨在通过在广泛的任务中展示开始进的性能，并通过跨场景任务转移和组合展示风趣的新兴本领来补充这一空缺。
据我们所知，LLaVA-NeXT-Interleave[68]是初次实验陈诉在全部三种场景下的良好性能，LLaVA-OneVision继承了它的练习设置和数据，以进步性能。其他具有良好潜力的多功能开放lmm包罗VILA[77]，InternLM-XComposer2.5[162]。不幸的是，他们的效果并没有得到充实的评估和陈诉；我们在实验中与他们举行了比力。除了构建具有多用途功能的体系外，LLaVAOneVision还受益于大规模高质量的数据练习，包罗模子合成知识和差别指令调优数据的新网络。对于前者，我们继承了[64]中全部的知识学习数据。对于后者，我们的动机是由FLAN [136,88,145]驱动的。数据网络过程与Idefics2 [63]和Cambrian-1[133]同步，但我们专注于一个更小但更经心筹谋的数据集网络。我们还观察到类似的结论：大量的可视化指令调优数据可以明显进步性能。对于lmm的筹划选择的全面观察，我们参考了迩来的几项研究[51,63,64,104,133,10]。
3 Modeling

3.1 Network Architecture

该模子架构继承了LLaVA系列的极简主义筹划，其重要目标是(i)有用地利用LLM和视觉模子的预练习本领（ii）在数据和模子方面促进了强大的缩放活动。网络的原始结构如图1所示：

• LLM：我们选择Qwen-2 [148]作为我们由ϕ参数化的LLM fϕ（·），由于它提供了各种模子巨细，并在公开的查抄点中表现出强大的语言本领。
  
• Vision Encoder：我们以为SigLIP [158]是由ψ参数化的视觉编码器gψ（·），将输入图像Xv编码到其视觉特性                                             Z                            v                                  =                         g                         （                                   X                            v                                  ）                              Z_v = g（X_v）                  Zv​=g（Xv​）中。我们在实验中思量了末了一层变压器层前后的网格特性。
  
• Projector：我们思量一个由θ参数化的2层MLP[81] pθ（·），将图像特性投影到单词嵌入空间中，产生一系列视觉令牌                                             H                            v                                  =                         p                         （                                   Z                            v                                  ）                              H_v = p（Z_v）                  Hv​=p（Zv​）。
  
  
  
  模子的选择是基于我们在[65,64]中的履历看法，即更强的LLM通常会增强更强的多模态本领，而SigLIP在开放视觉编码器中产生更高的LMM性能。
  

对于一个长度为L的序列，我们盘算目标输出                                       X                         a                                  X_a               Xa​的概率为：

此中，                                       X                                   q                            ,                            <                            i                                           X_{q,<i}               Xq,<i​和                                       X                                   a                            ,                            <                            i                                           X_{a,<i}               Xa,<i​分别是当前猜测标志                                       x                         i                                  x_i               xi​之前全部回合的指令和应答标志。对于(1)中的条件句，我们明确地添加了                                       X                         v                                  X_v               Xv​来夸大视觉信号对全部答案都是基于这个毕竟的。如第3.2节所述，视觉信号的情势是通用的。输入视觉编码器的视觉输入依靠于相应的场景：单图像序列中的外部图像裁剪、多图像序列中的外部图像和视频序列中的外部帧。
3.2 Visual Representations

视觉信号的表现是视觉编码乐成的关键。它与两个因素有关，即原始像素空间中的分辨率和特性空间中的标志数目，这导致了视觉输入表现设置（分辨率，#标志）。这两个因素的缩放可以进步性能，特殊是在必要视觉细节的任务上。为了均衡性能和资源，我们观察到分辨率的缩放比令牌编号更有用，并保举了利用池化的AnyRes计谋。该比力效果如图2所示。

对于宽度为a、高度为b的AnyRes，它将图像分成一个a*b个切片，每个切片都具有类似的分辨率外形（a，b）。假设每种crop有T个标志，视觉标志的总数是L =（a×b + 1）×T，此中根本图像在被输入视觉编码器之前被调解巨细。我们思量一个阈值τ，并镌汰切片的token数，假如必要，利用双线性插值：

界说了一组空间设置（a，b）来指定裁剪图像的各种方法，从而容纳差别分辨率和长径比的图像。此中，选择了必要最少切片数目标设置4。请拜见我们在[64]中对视觉表现的详细形貌。
所提出的更高的恣意值计谋可以作为一个机动的视觉表现框架，实用于多图像和视频表现。性能和资源的最佳设置可以相应地举行调解。我们在图3中分析确设置，在C.1节中详细形貌，并提供了高级编码计谋如下：

• Single-image: 我们思量一个大的最大空间设置（a，b）的单图像表现，以保持原始图像的分辨率而不调解巨细。别的，我们有目标地为每幅图像分配大量的视觉标志，从而得到一个长序列来有用地表现视觉信号。这是基于观察到，与视频相比，有更多的高质量的练习样本具有差别的图像指令。通过用模仿视频表现的长序列表现图像，我们促进了更平滑的本领转移从图像到视频明确[169,64]。
  
• Multi-image: 只思量图像的原始分辨率，并将其输入视觉编码器以得到特性图，消除了对高分辨率图像的多次裁剪，从而节流了盘算资源[68]。
  
• Video: 视频的每一帧都被调解到根本图像的分辨率，并由视觉编码器处置惩罚以天生特性舆图。接纳双线性插值法来镌汰token的数目，答应通过镌汰每一帧的token来思量更多的帧数。履历证据表明，这在性能和盘算资源[169]之间提供了更好的衡量。
  
  
  
  在我们的实验中，这些表现设置是为具有固定盘算预算的本领转移而筹划的。随着盘算资源的增长，在练习和推理阶段都可以增长每个图像或帧的令牌数目，以进步性能。
  

4 Data

在LLM的多模态练习范畴中，“质量高于数目”的公理尤其准确。这一原则是至关告急的，由于在预先练习过的llm和视觉变压器（ViTs）中存储了广泛的知识。固然在LMM的练习生命周期竣事时积累均衡、多样化和高质量的引导数据至关告急，但一个常常被忽视的方面是，模子不停袒露于新的高质量的数据，以便进一步获取知识。在本节中，我们将讨论高质量知识学习和视觉教学调优的数据源和计谋
4.1 High-Quality Knowledge

网络规模的公共图像-文本数据每每质量较低，使得多模态预练习的数据缩放服从较低。相反，我们发起在有限的盘算预算下，关注高质量的知识学习。这种方法认可，预先练习过的llm和vit已经拥有了大量的知识库，其目标是通过经心管理的数据来美满和增强这些知识。通过对数据的质量举行优先级排序，我们可以最大限度地进步盘算服从。我们思量了来自高质量知识学习的三个重要种别的数据：

• Re-Captioned Detailed Description Data: LLaVA-NeXT-34B具有较强的详细caption本领而闻名。我们利用该模子为以下数据集的图像天生新的标题： COCO 118K、BLIP 558K和CC 3M。我们将它们组合起来，重新天生详细形貌数据，总计有350万个样本。这可以被看作是对自我改进的人工智能的一种简单的实验，此中的练习数据是由模子本身的早期版本天生的。
  
• Document / OCR Data: 利用了来自UReader数据集的文本阅读子集，总计100K，这很容易通过PDF渲染天生。我们利用此文本读取数据与SynDOG EN/CN一起利用，形成文档/ OCR数据，总计110万个样本。
  
• Chinese and Language Data: 我们利用原始的ShareGPT4V [20]图像，并利用Azure API提供的GPT-4V天生92K详细的中文标题数据，旨在进步模子的中文本领。由于我们利用了大量详细的caption数据，我们的目标也是均衡模子的语言明确本领。我们从evo-指令数据集[16]中网络了143K个样本。
  

值得注意的是，险些全部（占99.8%）都是合成的。这是由于与在互联网网络大规模、高质量的数据干系的高资源和版权限定。相比之下，合成数据可以很容易地举行缩放。我们信赖，随着人工智能模子继承强大，从大规模合成数据中学习正在成为一种趋势。
4.2 Visual Instruction Tuning Data

视觉指令调优[83]是指LMM明确和操纵视觉指令的本领。这些指令可以以语言的情势，与图像和视频等视觉媒体相团结，LMM处置惩罚和依照来实验任务或提供相应。这包罗将视觉明确与天然语言处置惩罚相团结，以表明指令和实验所需的反应。
Data Collection and Curation 正如在之前的工作[81,133,63]中所形貌的那样，可视化的指令调优数据对于LMM的本领是至关告急的。因此，维护一个高质量的数据集网络对社区是至关告急的和有益的。我们开始从各种原始泉源中网络大量的指令调优数据集，而差别种别之间的数据比例却不均衡。别的，我们还利用了来自负锅[63]和寒武纪[133]数据集的一些新子集。我们根据三个条理的条理结构对数据举行分类：视觉、指令和反应。

• Vision Input. 思量了三种视觉场景，在多模态序列中思量了视觉输入，包罗单图像、多图像、视频。
  
• Language Instruction 这些指令通常以标题标情势出现，它界说了处置惩罚视觉输入所要实验的任务。我们将数据重要分为五类：一样平常QA、一样平常OCR、文档/图表/屏幕、数学推理和语言。这些指令界说了一个颠末练习的LMM可以涵盖的技能集。我们利用任务分类来资助维持和均衡技能的分配。
  
• Language Response. 这个答案不光相应了用户的哀求，而且还指定了模子的活动。它可以大抵分为自由情势和固定情势。
  

自由情势的数据通常由GPT-4V/o和Gemini等高级模子举行解释，而固定情势的数据则来自学术数据集，如VQAv2、GQA、Visual Genome。对于自由情势的数据，我们生存了原始的答案。然而，对于固定表单的数据，我们会手动检察内容，并对问答格式举行须要的修改。我们对多项选择数据、短答复数据和特定任务数据（如OCR）依照LLaVA-1.5提示计谋。这一步对于引导模子的活动，以在更复杂的任务中准确地均衡QA性能、对话本领和推理技能，以及防止来自差别数据源的潜伏辩论至关告急。我们在附录E.3中列出了我们集会合每个数据集的完备细节，以及它们的分类和格式化提示。
我们将指令数据单独分为两组：一组用于单图像场景，另一组用于全部视觉场景。这一分别是基于我们早期研究[68,169]的看法，该研究夸大了图像和视频模子之间的关系：一个更强的图像模子可以更好地转移到多图像和视频任务中。别的，单个图像的练习数据集的数目和质量显着高于视频和多图像任务。
Single-Image Data. 由于单图像数据对于多模态功能至关告急，我们明确地编译了一个大型的单图像数据网络，用于模子学习。我们从网络的数据源中举行选择，形成一个均衡的网络，统共得到320万个样本。单幅图像数据的总体分布如图4所示，详细信息和数据网络蹊径图见附录E.1。

OneVision Data. 除了单图像阶段的练习外，我们还利用视频、图像和多图像数据的混淆物来进一步微调模子。我们统共引入了160万个混淆数据样本，包罗来自[68]的560K多图像数据，本项目网络的350K视频，和800K单图像样本。值得注意的是，在这一阶段，我们没有引入新的单图像数据，而是从之前的单图像数据中采样高质量和均衡的部分，数据分布和细节如图5所示，其他信息见附录E.2。

5 Training Strategies

为了使LLM可以或许实现多模态本领，我们确定了三个关键功能，并体系地将它们分别为三个差别的学习阶段，以便举行溶解研究。与现有的大多数研究一样，先前的LLaVA模子重要探索单图像指令调优。然而，对其他部分的观察较少，因此构成了本节的重要重点。
我们通过课程学习原则来练习模子，此中练习目标和难度增长的例子以阶段的方式观察。在固定的盘算预算下，这种计谋有助于分解练习过程，并产生即时的查抄点，可以在更多的实验试验中重用:

• 阶段1：语言图像对齐。目标是将视觉特性对齐到llm的单词嵌入空间中。
  
• 阶段-1.5：高质量的知识学习。为了在盘算服从和向LMM注入新知识之间取得均衡，我们发起思量LMM学习的高质量知识。练习设置反映了阶段2中利用的设置，确保了划一性，并答应模子无缝地集成新信息。
  
• 阶段2：视觉指令调解。为了教LMM办理一组具有偏好反应的差别视觉任务，我们将指令数据构造成差别的组，如第4.2节所述。该模子筹划依次对这些组举行练习。
  

详细来说，视觉指令调优过程包罗两个阶段： (i)单图像练习：模子起首在320万条单图像指令上举行练习，导致模子在依照差别指令集以利用单一图像完成视觉任务方面具有良好的性能。（ii）单视觉练习：然后在视频、单图像和多图像数据的混淆物上对模子举行练习。在这个阶段，该模子将其功能从单个图像场景扩展到差别的场景。它学会了在每个新的场景中按照指令来完成任务，并在差别的场景中转移所学到的知识，从而产生新的突发本领。请注意，在培训后阶段提出的OneVision培训大概是使lmm具有多图像和视频明确本领的最简单和最经济有用的方法。
练习计谋总结见表1。我们渐渐练习该模子来处置惩罚长序列练习。随着练习的举行，最大的图像分辨率和视觉标志的数目渐渐增长。在阶段1中，根本图像表现包罗729个令牌。在第1.5阶段和第2阶段中，AnyRes分别被以为具有5倍和10倍以上的视觉标志。对于可练习的模块，第一阶段只更新投影层，而后续阶段则更新完备的模子。视觉编码器的学习率比LLM小5倍。

6 Experimental Results

我们利用LMMs-Eval [161]对全部基准上的LLaVA-OneVision模子举行了尺度化和可重复性的评估。为了与其他领先的lmm举行公平的比力，我们重要陈诉来自原始论文的效果。当效果不可用时，我们将利用lmm-eval中的模子，并利用划一的设置来评估它们。除非尚有分析，我们全部的效果都是用贪心解码和zero-shot设置来陈诉的。
为了显现筹划范式的通用性和有用性，我们在表2中全面评估了差别模式下的LLaVA-OneVision模子，包罗单图像、多图像和视频基准。各模态的详细效果分别见表3、表4和表5。我们将在单图像阶段和单视觉阶段之后练习的模子查抄点分别表现为LLaVA-OV（SI）或LLaVA-OV。

提供了三种模子尺寸（0.5B、7B和72B），以顺应具有差别性能-吞吐量衡量的应用步伐，从边沿装备到云服务。GPT-4V和GPT-4o的效果作为参考。我们最大的模子LLaVA-OneVision-72B在大多数基准测试上，在GPT-4V和GPT-4o之间产生了良好的性能。这表明，所提出的设置是有用的，显现了一个有前程的途径，以进一步扩展。然而，在视觉谈天场景等复杂任务中，仍然存在相对较大的差距，我们将其留给了更强的llm、更大的练习数据和更好的偏好学习的未来研究。
6.1 Single-Image Benchmarks

为了验证真实场景中单个图像任务的性能，我们在表3中思量了一组全面的图像基准测试。它可以分为三类：

• (1)图表、图表和文档明确。作为结构化OCR数据的重要可视化格式，我们评估了AI2D [54]、ChartQA [101]、DocVQA [103]和InfoVQA [102]基准测试的效果。只管现在的开源模子如InirVL[22]和寒武纪[133]到达了与贸易模子相称的性能，LLaVA-OneVision更进一步，高出了GPT-4V [109]，靠近GPT-4o [110]的性能程度。
  
• (2)感知和多学科的推理。包罗视觉感知场景，我们显现了我们的模子在更复杂和更具有挑衅性的推理任务中的潜力。详细来说，我们接纳了感知基准，包罗MME [151]、MMBench [86]和MMVet [154]，以及推理基准，如数学语言[165]、MathVista [90]和MMMU [157]。LLaVA-OneVision的效果在差别的基准测试上明显优于GPT-4V，并可与MatsVista上的GPT-4o相媲美。这进一步证实了我们的框架在视觉感知和推理任务中的良好性。
  
• (3)实际天下的明确和视觉谈天。我们以为，在实验室情况之外，对lmm的评估是最告急的指标。为了在实际场景中验证这些功能，我们利用了几个广泛接纳的基准测试，包罗实际天下QA[141]、Vibe-Eval [111]、MM-LiveBench [161]和LLaVA-Bench-Wilder [65]。固然与GPT-4V和GPT-4o相比，我们的模子仍有改进的空间，但它与参数巨细相似的开源模子实现了竞争性能。值得注意的是，我们的模子在MM-LiveBench [161]上体现良好，这是一个用于不停更新内容的真实互联网内容的基准，展示了模子广泛的天下知识和强大的泛化本领。
  
  
  
  

6.2 Multi-Image Benchmarks

我们进一步评估LLaVA-OneVision在多图像交织设置中，用户可以在多个图像之间提问。特殊是，我们对LLaVA交织工作台[68]的差别子任务举行了全面评估，如 找出差别[45]、图像编辑指令（IEI）[68]、视觉讲故事（VST）[40]、富文本VQA（TR-VQA）[85]、多图像VQA（MI-VQA）[117]、Raven Puzzle[24]、Q-Bench（QB）[139]和NLVR2[125]）。我们还利用了几个多视图基准举行评估，它们形貌了具有多个视点的3D情况，包罗3D-LLM [38]的任务分解（3D-TD）、ScanQA [5]、ALFRED [122]和nuScenes VQA [9]。我们将这些数据集称为域内评估，由于我们的练习数据包罗了它们的练习分割。
别的，我们对差别的域外任务举行了评估，这显现了我们的方法的泛化本领。它们包罗数学QA基准、数学语言[165]和科学QA基准科学语言[34]，多图像感知基准blink[31]，MMMU-（多图像）[157]，以及超过12个差别的多图像任务的MuirBench [135]。
如表4所示，LLaVA-OneVision（SI）在全部基准测试中的性能始终优于现有的多图像lmm。在对多图像和视频数据举行额外调解后，LLaVA-OneVision在特定地域比GPT-4V有明显改善，并有明显的边际。这突出了它在复杂任务中的强大性能，如多图像推理、辨认差别和明确3D情况。别的，我们观察到在单视觉练习阶段后的连续性能增强，这在缺失的多视图基准测试中在单图像数据更为显着。这表明确我们的单视觉范式对赋予lmm全面视觉本领的意义。

6.3 Video Benchmarks

视频也是创建天下模子的一种常见方式，捕捉实际天下随着时间厘革的动态本质。我们在几个开放式和多种选择的视频基准测试上举行了实验。这些包罗活动网络QA[155]包罗人类解释的办法质量对来自ActivityNet数据集，EgoSchema[98]和MLVU [170]专注于长视频明确，PerceptionTest[115]旨在评估感知技能，VideoMME[29]和NeXTQA [142]包罗差别的视频域和连续时间（从分钟到小时），VideoDetailCaption[87]和VideoChatGPT[96]分别为视频详细形貌和视频谈天。
如表5所示，LLaVA-OneVision比从前利用更大的llm的开源模子得到了可比性或更好的效果。lava-OneVision的上风在复杂的模式和视频基准测试中尤为显着。纵然与先辈的贸易型号GPT-4V相比，LLaVA-OneVision在ActivityNet-QA、MLVU和VideoMME基准上也具有竞争力。

在LLaVA-OV中，最小的性能差别出现在感知测试中，当将LLM从0.5B缩放到7B时，最小的进步为0.5分。这与其他数据集上至少5点的改进形成对比。感知测试的适度增长表明，LLaVA-OV的感知本领大概重要取决于其视觉模块，这支持了迩来的研究效果，如Qiao等人[116]的研究，这些研究将图像编码器和LLM在感知和推理任务中的作用分开。值得注意的是，对于像EgoSchema如许必要大量推理的数据集，一个更大的LLM可以大大进步性能。
别的，在比力LLaVA-OV-7B（SI）和LLaVA-OV-7B时，ActivityNet-QA的改善最小。这表明LLaVA-OV-7B（SI 只练习图像），已经在这个数据集上体现良好了。深入研究活动ActivityNet-QA，很显着，很多标题都可以通过观察视频中的一帧来答复。比方，问“球的颜色是什么？”可以在整个视频中答复，由于球从开始到竣事都可见。这种情况不必要模子来明确视频序列，从而答应LLaVA-OV-7B（SI）体现良好。
ActivityNet-QA不实用作为视频问答，很多标题基于单帧就可以答复
7 Emerging Capabilities with Task Transfer

除了陈诉LLaVA-OneVision在各种基准中的本领外，我们还观察了所提出的模子在任务转移和组合方面的新兴活动，为推广处置惩罚实际天下的旷野盘算机视觉任务铺平了一条有前程的方法。我们将利用下面的示例来分析几个新出现的功能。
S1：图表的联公道解（从单图像转换到多图像）明确图表的本领是从单图像图表和单图像图表明确数据中分离学习的，表格和图表的联公道解任务不出现在多图像数据中。如表6所示，LLaVA-OneVision可以或许明确和推理图表和图表的团结。

S2：多模态署理的GUI（从单图像迁徙到多图像）。明确gui和将多模态模子应用于署理任务黑白常有代价的。在表7中，LLaVAOneVision可以辨认iPhone的图形用户界面（GUI）截图，并提供搜索和打开抖音应用步伐的操纵分析。这个任务必要从单图像场景中学习到强大的OCR本领，以及从多图像场景中开辟出来的关系推理技能。该示例夸大了LLaVA-OneVision在GUI明确和任务实验方面的熟练程度。

S3：标志集提示（从单个图像任务组合传送）。与现有的开放llm差别，LLaVA-OneVision展示了良好的标志集（SoM）推理[149]，这是表8所示的一种新兴本领。据我们所知，这是第一次开放LMM陈诉良好的SoM本领，由于我们观察到LLaVA-OneVision可以或许为[149]中的很多例子产生SoM推理。这个任务并没有明确地包罗在我们的练习数据中，它是假设的，即本领是由视觉参考和OCR构成的。

S4：图像到视频的编辑指令（从单个图像和视频传输）。LLaVAOneVision可以根据表9中的静态图像天生详细的视频创建提示。给定一个图像和一个目标视频，该模子为视频构建了一个连贯和生动的叙述，详细形貌了一些元素，如脚色、动作、配景设置和场景细节。这个任务同时利用了单图像分析和视频明确。假设这种本领是由单图像编辑指令任务和视频详细形貌任务推广而来的。

S5：视频与视频之间的差别（从多图像和视频传输）。明确图像中的差别在迩来的大型多模态模子（lmm）中是一种常见的本领，但我们的模子将这种本领扩展到了视频中。表10表现了LLaVA-OneVision分析两个具有类似起始帧但差别末了的视频序列之间的差别的本领。该模子提供了一个详细的比力，形貌了脚色、动作和场景的厘革。

在表11中，LLaVA-OneVision逐个形貌了配景相似但远景中重要对象差别的视频之间的差别。这个任务利用发现多图像分析中的差别来推广到视频场景。

S6：自动驾驶中的多摄像机视频明确（从单图像和多图像转换到视频）。明确正常宽高比的视频很简单，那么多视角的视频呢？在表12中，我们观察到LLaVA-OneVision可以分析息争释来自自动驾驶汽车的多摄像头视频片断。给定表现四个摄像头视图的视频，该模子详细形貌了每个视图，并筹划自我汽车的下一步办法。该任务团结了多面板明确、视频详细形貌和时空推理。

S7：合成子视频明确（从多图像转换到视频）。除了多视点视频外，我们还可以看到我们的模子推广到带有两个子场景的垂直视频。表13展示了LLaVA-OneVision明确和形貌一个构成的子视频的内容和结构的本领。给定一个垂直视频，包罗一系列具有划一配景和远景人物的框架，该模子提供了对视觉元素、它们的安排和叙述配景的详细分析。该任务必要单图像分析、多图像序列明确和语境推理。

S8：视频中的视觉提示（任务从单个图像迁徙到视频）。在表14中，LLaVAOneVision可以或许明确视频中利用半透明圆圈的高光地域，并能清晰地看到玩家反面的数字“10”。明确视觉提示和OCR的本领是单图像lmm的本领。我们的模子表现了明确视频中的视觉提示的本领，而不必要对具有视觉提示的视频数据举行练习。

S9：视频明确中的视觉参考。在答复有关视频的标题时，可以或许参考图像查询，如表15所示。这种本领在LLaVA-NeXT或LLaVA-Interleave中没有发现，这大概是由于必要强大的根本单图像练习才华出现这种本领。

8 Conclusions

LLaVA-OneVision是一种新的、开放的LMM，它在单图像、多图像和视频场景中转移到广泛的任务时闪闪发光。该模子是通过整合LLaVA-NeXT博客系列中的看法而开辟的，并通过利用更大的数据集和更强的llm来缩放配方来举行练习。我们的筹划答应新的本领出现，通过一起练习多个场景和任务转移，比方，从图像到视频的强大的视觉明确本领。我们的效果表明，利用这种开放配方和资源练习的lmm在各种基准测试中实现了开始进的性能。我们还渴望LLaVA-OneVision可以或许作为社区构建特定应用步伐的一个有代价的出发点，并通过进一步的扩展为差别的视觉场景开辟更强大的lmm。