多模态推理模子相干开源工作

当前的多模态模子通常缺乏推理本事（reasoning），为了提拔其推理本事，研究紧张会集在以下三个方向：

• 练习计谋：保持模子架构稳定，在后练习阶段采取 强化学习（如 GRPO/PPO） 举行优化，仅需平凡的问答对数据，推理过程由模子自发天生。
  
• 数据天生：构建高质量的推理数据集，并通过 监督微调（SFT） 练习模子。数据可借助 DeepSeek-R1 等推理模子举行蒸馏（仅蒸馏文本数据）。
  
• 模子架构：优化多模态模子布局，比方将此中的 LLM 更换为具备推理本事的模子（如 DeepSeek-R1 蒸馏版）。
  

如今，这些方向正在不停探索和优化，以提拔多模态模子在数学推理、视觉问答等使掷中的体现。 🚀

---

1. 练习计谋

1.1 R1-V

• 开源地点：GitHub - Deep-Agent/R1-V
  
  
  
  

① 先容

R1-V 是多模态推理模子的早期代表之一。

• 练习情况：8 个 A100 GPU，时长 30 分钟，练习本钱 2.62 USD（200步）。
  

② 练习流程

• 练习启动：使用 torchrun 运行 GRPO 脚本，并联合 deepspeed、flash_attn、wandb 等工具（代码布局简朴）。
  
• 焦点流程：
  
  
  
  • 初始化模子：加载主模子和参考模子（用于 KL 处罚盘算，确保主模子活动不偏离原始分布）。
    
  • 嘉奖函数：
    
    
    
    • 精确率嘉奖：基于符号验证和字符串匹配盘算答案精确性。
      
    • 格式嘉奖：确保输特别式符合 <think>...</think><answer>...</answer> 布局。
      
    
    
  • 丧失盘算：
    
    
    
    • 先用主模子天生 N 个差异的候选答复。
      
    • 分别盘算主模子与参考模子的 per-token 对数概率
      
    • 盘算 KL 散度
      
    • 盘算 Reward 与 Advantage
      
    • 根据嘉奖函数得到每个样本的嘉奖，并对同一个 prompt 的多条天生做匀称，用于上风函数的归一化
      
    • 组合计谋梯度与 KL 处罚，得到终极的 loss
      
    
    
  
  
• System Prompt：
  
  1. A conversation between User and Assistant. The user asks a question, and the Assistant solves it.
  2. The assistant first thinks about the reasoning process in the mind and then provides the user with the answer.
  3. The reasoning process and answer are enclosed within <think> </think> and <answer> </answer> tags, respectively.

  复制代码

③ 关键注意点

• 练习时可使用 7 颗 GPU 举行练习，1 颗 GPU 运行 VLLM 盘算 KL 丧失。
  
• GRPO 练习仅需平凡 QA 对，不必要 think 过程（如果有 think 数据，可先 SFT 再 GRPO）。
  

---

④ 紧张题目

• 嘉奖函数难以设置（当前代码中使用的是最简朴的实现方案）。
  
• 显存 OOM：详见 Issue #107。
  
• 丧失值常常为 0：详见 Huggingface Open-R1 Issue #239。
  如今GRPO实现中计谋都是单步更新，导致新旧计谋是一样的，以是紧张性采样系数是1，然后上风函数A是一个组当中每个reward的标准化，那么对上风函数A求盼望自然也就是0了。以是GRPO的loss现实上就是新旧计谋的KL散度项再乘一个系数beta，这也就是为什么练习过程中loss曲线和KL散度曲线分布云云相似，由于只差了一个系数beta。
  

---

⑤ 是否可以去掉 KL 束缚？

去除 KL 束缚的影响：

• 不必要 ref-model，淘汰显存占用和前向盘算本钱。
  
• 大概淘汰练习不稳固性（雷同于梯度裁剪）。
  
• 优化参数更加自由，大概探索到更佳的答复方案。
  

参考链接

• 
  

---

1.2 open-r1-multimodal

• 开源地点：GitHub - EvolvingLMMs-Lab/open-r1-multimodal
  

① 先容

• 开源了第一批专注于数学推理的 8K 多模态 RL 练习示例。
  
• 数据泉源：GPT-4o 天生（基于 Math360K 和 Geo170K），包罗推理路径和可验证答案。
  
• 采取 GRPO 练习计谋，提拔模子的数学推理本事。
  

② 代码改进

• format_reward 正则匹配更加宽松。
  
• reward_processing_class 盘算嘉奖。
  
• 天生方式优化：
  
  
  
  • R1-V：批量天生多个 completions。
    
  • open-r1-multimodal：逐个天生再拼接（更机动，但本钱更高）。
    
  
  

---

1.3 VisualThinker-R1-Zero

• 开源地点：GitHub - turningpoint-ai/VisualThinker-R1-Zero
  

① 研究意义

• 首个在非 SFT 2B 模子上乐成实现“顿悟时候”（emergence）并加强多模态推理本事的开源代码。
  
• 通过强化学习（RL），模子在推理过程中出现了自我反思本事，雷同于 DeepSeek-R1 论文中形貌的征象。
  

② 练习方法

• 根本模子：Qwen2-VL
  
• 评测基准：CV-Bench
  
• 练习数据：SAT 练习样本
  
• 练习过程：
  
  
  
  • 初始阶段，模子倾向于天生 HTML 代码，导致推理长度降落。
    
  • 颠末强化学习优化后，模子渐渐采取更公道的输特别式，而且相应长度不停增长。
    
  • 练习过程中，观察到一个多模态“顿悟时候” —— 模子开始自动举行自我反思，而且相应长度与基准精确率呈正相干。
    
  
  

③ 结论

• 更长的推理链可以极大提拔基于视觉的使命体现。
  
• 在 无 SFT 的情况下，模子在 CV-Bench 上取得 59.47% 的精确率：
  
  
  
  • 比根本模子高出约 30%。
    
  • 比 SFT 练习的模子高出约 2%。
    
  • 乃至逾越了练习数据更多的指令微调模子。
    
  
  

④ 代码改进

• 引入 freeze_llm 和 freeze_vision，控制练习过程中的参数更新。
  
• 改进 accuracy_reward，适配差异答案格式（如选择题）。
  
• 增长 length_reward，鼓励天生更长的答复，进步推理深度。
  
• 兼容 completions 大概是字符串列表的情况，使代码更通用。
  

⑤ 其他发现

• 最大输入像素默以为 2,359,296，是 R1-V 默认值的 5.8 倍。
  
• 最大相应长度默以为 8,192，是 R1-V 默认值的 16 倍。
  

---

1.4 Efficient-R1-VLLM

• 开源地点：GitHub - baibizhe/Efficient-R1-VLLM
  

① 先容

• 首个使用基于嘉奖的强化学习（GRPO）来微调 MoE（专家混淆）视觉语言模子（DeepSeek2-VL）的项目。
  
• 重点关注练习服从优化，采取 SGLang 加快推理，同时保持模子的推理本事。
  

② 练习流程（Pipeline）

Vision-Language Input → DeepSeek2-VL MoE → GRPO Reward Optimization → Reasoning Output

• 如今 等候开源，具体练习细节尚未公开。
  

---

1.5 VLM-R1

• 开源地点：GitHub - om-ai-lab/VLM-R1
  

① 先容

• 实用于目标检测使命的多模态推理模子。
  
• 在 R1-V 代码根本上举行改进，优化嘉奖函数以顺应目标检测使命。
  

② 代码改动

• 团体代码布局与 R1-V 雷同，但紧张的嘉奖函数差异：
  
  
  
  • R1-V 嘉奖函数：精确率嘉奖 + 格式嘉奖。
    
  • VLM-R1 嘉奖函数：IOU（Intersection over Union）嘉奖 + 格式嘉奖。
    
  • IOU 盘算方式：
    
    
    
    • 大于 0.5 的 IOU 盘算为 1（乐成匹配）。
      
    • 小于 0.5 的 IOU 盘算为 0（失败）。
      
    
    
  • 作者发起大概使用“软嘉奖”更符合，但仍需实行验证。
    
  
  

---

1.6 Visual-RFT

• 开源地点：GitHub - Liuziyu77/Visual-RFT
  
• 论文地点：arXiv - Visual-RFT
  

① 先容

• 基于强化学习优化的视觉推理模子，专注于提拔多模态使命的推理本事。
  
• 采取类 R1-V 练习架构，acc嘉奖改为iou+cls嘉奖（对比VLM-R1为iou嘉奖）。
  

② 示例

• 论文提供了多个示例，展示模子在差异视觉使掷中的推理体现。
  

---

2. 数据天生

2.1 R1-Onevision

• 开源地点：GitHub - Fancy-MLLM/R1-Onevision
  
• 团队：浙江大学
  
• 特点：
  
  
  
  • 长 COT（Chain of Thought）视觉数据集，联合 LLaVA-OneVision 高质量数据和特定范畴数据（自然场景、数学、OCR、科学等）。
    
  • 数据处置惩罚流程：
    
    
    
    • 数据洗濯 → 图像标注 → 推理链天生 → 质量控制 → 规则强化学习。
      
    
    
  
  

数据处置惩罚流程

1. 数据预备与筛选

• 数据泉源：整合多个数据集，包罗 自然场景图像、OCR、图表、文本-图像对、数学、科学和逻辑推理数据，部分来自 LLaVA-OneVision 数据集。
  
• 数据筛选：去除与推理使命无关的数据，仅生存 高质量、实用于推理的视觉数据。
  

2. 图像标注

焦点目标：将图像转换为正式语言形貌，以便模子举行逻辑推理。

• 自然场景：使用 GPT-4o 天生具体形貌，同时 Grounding DINO 提供目标检测信息。
  
• 图表（Charts & Diagrams）：
  
  
  
  • GPT-4o 将图表转换为代码（如 SPICE 处置惩罚电路图、PlantUML/Mermaid.js 天生流程图、HTML/CSV/JSON 处置惩罚表格、Matplotlib 天生数据图）。
    
  
  
• 文本图像：
  
  
  
  • 使用 EasyOCR 提取文本，GPT-4o 复原原始文档格式。
    
  
  
• 带文本内容的图像：
  
  
  
  • 联合 GPT-4o 天生具体形貌、Grounding DINO 获取文本地域 bounding box、EasyOCR 提取文本，确保视觉与文本信息对齐。
    
  
  
• 数学图像：
  
  
  
  • GPT-4o 天生数学公式、推理步调和终极答案的布局化形貌。
    
  
  

3. 推理链天生

• 步调：
  
  
  • 联合 图像的正式语言标注 和 相干题目，使用 DeepSeek-R1 天生初始推理链。
    
  • 脚色饰演方法：
    
    
    
    • 让模子模仿视觉明确，反复查察图像，提取额外信息，反思并优化推理过程。
      
    • 目标是让模子“像人一样”观察图像并思索，进步推理的精确性和上下文明确本事。
      
    
    
  
  

4. 质量控制

• 使用 GPT-4o 举行过滤，确保推理链：
  
  
  
  • 精确（符合究竟和逻辑）。
    
  • 相干（与题目匹配）。
    
  • 同等（推理过程连贯）。
    
  
  
• 数据格式示例：
  1. {
  2.   "id": "<unique_identifier>",
  3.   "image": "<image_path>",
  4.   "gt": "<ground_truth>",
  5.   "data_source": "<dataset_source>",
  6.   "conversations": [
  7.     {"from": "human", "value": "<question>"},
  8.     {"from": "assistant", "value": "<cot>"}
  9.   ],
  10.   "filter": "valid or invalid",
  11.   "judge_response": "<gpt4o_filter_reason>"
  12. }

  复制代码

5. 基于规则的强化学习

• 目标：在 SFT 后进一步优化推理的 布局化和精确性。
  

规则筹划

• 精确性规则：
  
  
  
  • 通过 正则表达式 提取模子的终极答案，并与 ground truth 举行数学验证。
    
  • 匹配则嘉奖，错误则处罚。
    
  
  
• 格式规则：
  
  
  
  • 欺压模子在推理过程中使用 <think> 和 <answer> 标签，并确保序次精确。
    
  1. <think> Step 1: Analyze the diagram... </think>
  2. <think> Step 2: Identify the key variables... </think>
  3. <answer> Final result: 42 </answer>
  4. - 使用 **正则表达式** 验证格式，并给予奖励或惩罚。  

  复制代码
  
  

6. 练习流程

• 监督微调（SFT）：基于 R1-Onevision Dataset 举行开端练习。
  
• 强化学习（RL）：
  
  
  
  • 联合 Accuracy Rule 和 Formatting Rule，举行 嘉奖-处罚机制练习。
    
  • 目标是让模子在天生推理链和答案时 更精准、更布局化。
    
  
  
• 一连优化：
  
  
  
  • 模子在练习过程中渐渐改进推理本事，淘汰错误，进步同等性。
    
  
  

---

2.2 deepseek-r1-vision

• 开源地点：GitHub - sungatetop/deepseek-r1-vision
  

① 方法

• 将 SFT 数据转化为包罗“思索”过程的内容，形成 COT（Chain of Thought）数据布局。
  
• 使用 SFT 方法练习视觉模子，引导模子学习怎样思索。
  
• 开源了将原始问答对转换为头脑链问答对的脚本（prompt）。
  

② 数据转换

原始的问答对

1. [
2.   {
3.     "messages": [
4.       {
5.         "content": "<image>尝试为这只猫拍照时可能会遇到哪些挑战？",
6.         "role": "user"
7.       },
8.       {
9.         "content": " 当想要拍摄这只猫坐在木桌上直视前方时，可能会遇到几个挑战。首先，吸引猫的注意力并确保它专注于相机可能会很困难。猫通常很好奇，很容易被周围的环境分散注意力，因此保持猫的视线和兴趣可能会很具挑战性。其次，背景中的模糊图像可能会削弱主体或造成分散注意力的背景。关键是平衡良好的景深、照明和定位，从而创造出猫作为中心主题的视觉吸引力的照片。此外，调整相机设置，例如快门速度，以避免任何运动模糊，特别是如果猫准备扑击，有助于捕捉更清晰、更清晰的猫图像。",
10.         "role": "assistant"
11.       }
12.     ]
13.   }
14. ]

复制代码

处置惩罚后的问答对

1.   {
2.     "messages": [
3.       {
4.         "role": "user",
5.         "content": "<image>尝试为这只猫拍照时可能会遇到哪些挑战？"
6.       },
7.       {
8.         "role": "assistant",
9.         "content": "<think>\n嗯，我现在要帮用户分析拍摄这只猫时可能遇到的挑战。首先，我得仔细看看参考内容，里面提到了几个主要问题：吸引猫的注意力、背景干扰、快门速度设置。\n\n好，先从吸引猫的注意力开始思考。猫通常很好奇，但也很容易被周围环境分散注意力。所以，拍摄的时候可能会很难让猫一直盯着相机。也许可以尝试用一些玩具或者零食来吸引它的注意力，但这样可能会影响构图，比如零食在旁边会让猫看向那里而不是镜头。\n\n接下来是背景的问题。参考里提到背景中的模糊图像可能会削弱主体或者造成干扰。这让我想到，在拍摄时需要考虑背景是否简洁，是否有分散注意力的元素。如果背景太杂乱，即使主体拍得很好，整体效果也会受影响。可能需要用浅景深来虚化背景，但这样又得确保猫的眼睛是清晰的，否则整个照片就没意义了。\n\n然后是快门速度的问题。猫的动作很快，尤其是当它们准备扑击的时候。如果快门速度不够高，可能会导致运动模糊，拍出来的照片就会不清晰。这时候需要调整相机设置，比如提高ISO或者使用更大的光圈来增加进光量，从而允许更快的快门速度。不过，这样可能会带来噪点问题，特别是在光线不足的情况下。\n\n还有其他可能的问题吗？比如猫的好动性，它们不容易保持一个姿势太久，所以拍摄时间可能很短，需要快速捕捉。另外，光线也是一个因素，如果在自然光下拍摄，光线的变化可能会影响照片效果，尤其是在室内拍摄时，可能会有反光或者阴影问题。\n\n总结一下，主要的挑战包括：吸引并保持猫的注意力、处理背景干扰、避免运动模糊、调整合适的快门速度和光圈设置，以及应对光线变化。这些都需要在实际拍摄中灵活应对，可能需要多次尝试才能拍到满意的照片。\n</think>\n\n当尝试为这只猫拍照时，可能会遇到以下挑战：\n\n1. **吸引并保持猫的注意力**：猫通常好奇心强，但容易被周围环境分散注意力。要让猫专注于相机或某个方向，可能需要使用玩具、零食或其他引诱物来引导其视线。\n\n2. **背景干扰**：背景中的模糊图像或杂乱元素可能会削弱主体（即猫）的表现力，导致照片显得不够专业或吸引人。因此，选择一个简洁或有吸引力的背景，并通过调整景深来虚化不必要的部分，是拍摄时需要注意的关键点。\n\n3. **避免运动模糊**：猫的动作通常很快，尤其是在准备扑击时。使用较慢的快门速度可能会导致图像模糊。为了捕捉清晰的画面，可能需要提高快门速度，同时确保足够的光线进入相机以保持图像质量。\n\n4. **光线条件**：在拍摄过程中，光线的变化可能会影响照片的效果。例如，在自然光下拍摄时，光线的方向和强度可能会改变猫的面部表情或整体氛围。使用反光板或闪光灯来补光，可以帮助平衡光线并突出猫的特征。\n\n5. **猫的好动性**：猫不容易保持静止状态，尤其是在拍摄过程中。这可能需要摄影师具备快速反应的能力，以便在最佳时刻按下快门。\n\n通过克服这些挑战，可以拍出一张既清晰又吸引人的猫的照片。"
10.       }
11.     ]
12.   }

复制代码

---

3. 模子架构

3.1 Align-DS-V

• 开源地点：Huggingface - PKU-Alignment/Align-DS-V
  
• 团队：北京大学、香港科技大学
  

① 先容

Align-DS-V 基于自研全模态对齐框架 Align-Anything，将 DeepSeek-R1 系列模子拓展至多模态推理本事，推出多模态推理模子 Align-DS-V。
② 方法

• Align-DS-V 通过对 视觉编码器 举行优化，使其可以大概更好地明确和处置惩罚图文混淆的信息。
  
• 鉴戒 LLaVA 练习思绪，将 视觉信息投射到语言体现空间，实现图像与文本的深度联合。
  

③ 性能

• 多模态性能齐平 GPT-4o，而且推理本事不降反增。
  
• 通过 Align-Anything 框架，提拔多模态使命的明确和推理本事。
  

④ Align-Anything 框架架构

Align-Anything 是一个通用的多模态对齐框架，可以用于优化差异模态（文本、图像、语音等）之间的融合本事。

⑤ 不测发现

• 将 DeepSeek-R1-Distill-Llama-8B 扩展到视觉模态后，Align-DS-R1 在原始文本模态推理本事上也取得了显着进步。
  

⑥ 开源贡献

• 开源了模子：PKU-Alignment/Align-DS-V
  
• 开源了多个数据集：
  
  
  
  • PKU-Alignment/align-anything
    
  • PKU-Alignment/Align-Anything-Instruction-100K
    
  • PKU-Alignment/Align-Anything-TI2T-Instruction-100K
    
  
  

   注意：练习代码暂未开源。
  总结

当前，多模态推理模子正朝着 强化学习优化推理本事、数据加强提拔泛化本事、模子架构改进 三个关键方向发展：
1. 强化学习（RLHF/GRPO）优化推理本事

• 采取 GRPO 等强化学习方法，对多模态推理本事举行优化。
  
• 关键改进：通过嘉奖机制加强模子的推理链天生本事，进步逻辑推理的精确性和稳固性。
  
• 代表性工作：
  
  
  
  • R1-V
    
  • open-r1-multimodal
    
  • VisualThinker-R1-Zero
    
  
  

2. 数据加强与高质量 COT 数据构造

• 通过 GPT-4o、DeepSeek-R1 蒸馏 等方式构造 长 COT（Chain of Thought）数据，提拔模子的推理深度和精确性。
  
• 关键改进：采取布局化数据天生、多步推理链优化计谋，进步模子的泛化本事。
  
• 代表性工作：
  
  
  
  • R1-Onevision
    
  • deepseek-r1-vision
    
  
  

3. 多模态模子架构优化

• 采取 Align-Anything 框架 对视觉编码器举行优化，使语言模子可以大概更好地处置惩罚图文混淆数据。
  
• 关键改进：鉴戒 LLaVA 练习思绪，优化视觉信息与语言体现的融合本事。
  
• 代表性工作：
  
  
  
  • Align-DS-V