【技术报告】谷歌开源多模态大模型 Gemma-3

1. Gemma-3 简介

2025年 3月12日，谷歌推出最新多模态大模型 Gemma-3。这是一组轻量级、最先进的开源模型，是迄今为止最先进、便携且负责任开发的开源模型，可以直接在手机、PC、工作站上快速运行。
Gemma 3 的核心改进在于：

• 图像理解：Gemma 3 新增了对图像的处置惩罚本事，使其能够支持多模态使命（如文本与图像的联合）。
  
• 长上下文支持：通过优化架构和训练计谋，Gemma 3 能够处置惩罚更长的上下文，适用于需要大量上下文信息的使命。
  
• 多语言性：Gemma 3 在多语言支持方面进行了改进，能够更好地处置惩罚多种语言的文本。
  
• STEM 本事：在科学、技术、工程和数学（STEM）相关使命上，Gemma 3 的性能得到了明显提拔。
  

Google Bolg： https://blog.google/technology/developers/gemma-3/
Hugging Face： https://huggingface.co/blog/gemma3
Kaggle： https://www.kaggle.com/models/google/gemma-3
论文下载： https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

Gemma 系列大模型是谷歌开源的一系列轻量级的大模型。Gemma 系列大模型与谷歌 Gemini 系列模型技术同源，但是以免费商用授权的方式开源。2024年2月，谷歌开源 Gemma 2B、7B 模型，参数规模分别为 20亿、70亿，上下文长度 8K。2024年5月，谷歌开源了 Gemma2 系列 2B、9B 和 27B 模型。

1.1 Gemma-3 的新功能

开发者可以使用 Gemma 3 的新功能：

• **构建天下最佳的单加速器模型： **
  Gemma 3 在其尺寸上提供了最先进的性能，在 LMArena 排行榜的初步人类偏好评估中优于 Llama3-405B、DeepSeek-V3 和 o3-mini。这资助您创建得当单个 GPU 或 TPU 主机的引人入胜的用户体验。
  
• 支持 140 种语言的举世化应用：
  构建能够说客户语言的应用步调。Gemma 3 提供了凌驾 35 种语言的开箱即用支持，并对凌驾 140 种语言进行了预训练支持。
  
• 创建具有高级文本和视觉推理本事的 AI：
  轻松构建能够分析图像、文本和短视频的应用步调，为交互式和智能应用步调开辟新的大概性。
  
• 通过扩展的上下文窗口处置惩罚复杂使命：
  Gemma 3 提供了 128k 令牌的上下文窗口，让您的应用步调能够处置惩罚和理解大量信息。
  
• 使用函数调用创建 AI 驱动的工作流程：
  Gemma 3 支持函数调用和布局化输出，资助您主动化使命并构建代理体验。
  
• 通过量化模型更快地提供高性能：
  Gemma 3 引入了官方量化版本，淘汰了模型巨细和计算需求，同时保持高精度。
  

1.2 与现有工作流的集成

谷歌还推出了基于 Gemma3 的图像安全分类器 ShieldGemma2，可用于过滤图像输入和输出，以查找归类为色情、伤害或暴力的内容。
Gemma 3 和 ShieldGemma 2 可以无缝集成到您现有的工作流程中：

• 使用您喜欢的工具进行开发：
  支持 Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和 Gemma.cpp，您可以机动选择最得当项目标工具。
  
• 几秒钟内开始实行：
  立刻访问 Gemma 3 并开始构建。在 Google AI Studio 中探索其全部潜力，或通过 Kaggle 或 Hugging Face 下载模型。
  
• 根据您的特定需求定制 Gemma 3：
  Gemma 3 附带了一个改进的代码库，此中包括高效微调和推理的配方。使用您喜欢的平台（如 Google Colab、Vertex AI 乃至您的游戏 GPU）训练和调解模型。
  
• 按您的方式部署：
  Gemma 3 提供多种部署选项，包括 Vertex AI、Cloud Run、Google GenAI API、本地环境和其他平台，让您机动选择最得当应用和底子设施的方式。
  
• 在 NVIDIA GPU 上体验优化性能：
  NVIDIA 直接优化了 Gemma 3 模型，确保您在任何尺寸的 GPU 上（从 Jetson Nano 到最新的 Blackwell 芯片）都能获得最大性能。Gemma 3 现已参加 NVIDIA API Catalog，只需一个 API 调用即可快速原型设计。
  
• 在多种硬件平台上加速 AI 开发：
  Gemma 3 还针对 Google Cloud TPU 进行了优化，并通过开源的 ROCm™ 堆栈与 AMD GPU 集成。对于 CPU 实行，Gemma.cpp 提供了直接解决方案。
  

1.3 开始使用 Gemma-3

• 即时探索：
  

• 1.1 直接在欣赏器中以全精度试用 Gemma 3，无需进行设置，就可以使用 Google AI Studio。
  注意： Google 和 Gemma3 目前在部分国家和地区尚未提供相关服务。
  

• 1.2 直接从 Google AI Studio 获取 API 密钥，并使用 Google GenAI SDK 使用 Gemma 3。
  

• 定制和构建：
  

• 2.1 从 Hugging Face、Ollama 或 Kaggle 下载 Gemma 3 模型。
  

• 2.2 使用 Hugging Face 的 Transformers 库或您喜欢的开发环境轻松微调和调解模型以满意您的独特需求。
  

• 部署和扩展：
  

• 3.1 使用 Vertex AI 将您的自界说 Gemma 3 创作大规模推向市场。
  

• 3.2 使用 Ollama 在 Cloud Run 上运行推理。
  
• 3.3 在 NVIDIA API Catalog 中开始使用 NVIDIA NIMs。
  

API 调用例程如下：

2. import requests, base64
4. invoke_url = "https://integrate.api.nvidia.com/v1/chat/completions"
5. stream = True
7. with open("image.png", "rb") as f:
8.   image_b64 = base64.b64encode(f.read()).decode()
10. assert len(image_b64) < 180_000, \
11.   "To upload larger images, use the assets API (see docs)"
12.   
14. headers = {
15.   "Authorization": "Bearer $API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC",
16.   "Accept": "text/event-stream" if stream else "application/json"
17. }
19. payload = {
20.   "model": 'google/gemma-3-27b-it',
21.   "messages": [
22.     {
23.       "role": "user",
24.       "content": f'What is in this image? <img src="data:image/png;base64,{image_b64}" />'
25.     }
26.   ],
27.   "max_tokens": 512,
28.   "temperature": 0.20,
29.   "top_p": 0.70,
30.   "stream": stream
31. }
33. response = requests.post(invoke_url, headers=headers, json=payload)
35. if stream:
36.     for line in response.iter_lines():
37.         if line:
38.             print(line.decode("utf-8"))
39. else:
40.     print(response.json())

复制代码

要深入了解这些功能背后的技术细节，以及我们负责任开发方法的全面概述，请参阅 Gemma 3 技术报告。

Gemma-3 技术报告：摘要

我们推出 Gemma 3，作为 Gemma 系列轻量级开源模型的多模态扩展版本，其参数量范围从 1 亿到 270 亿不等。
该版本引入了视觉理解本事、更广泛的语言覆盖范围以及更长的上下文处置惩罚本事——至少支持 128K tokens。
我们还调解了模型的架构，以淘汰在长上下文场景下轻易爆炸的 KV-cache 内存占用。这是通过增加局部注意力层与全局注意力层的比例，并保持局部注意力的跨度较短来实现的。
Gemma 3 模型通过蒸馏训练，在预训练和指令微调版本中均明显优于 Gemma 2。特殊是，我们新颖的后训练方法明显提拔了数学、对话、指令跟随以及多语言本事，使得 Gemma3-4B-IT 在基准测试中与 Gemma2-27B-IT 竞争，而 Gemma3-27B-IT 则与 Gemini-1.5-Pro 具有可比性。
我们将所有模型向社区开放。

Gemma-3 技术报告：1. 引言

我们推出了Gemma开放语言模型的最新版本（Gemma Team, 2024a），该版本与Gemini前沿模型系列（Gemini Team, 2023）共同设计。这一新版本的模型规模与Gemma 2（Gemma Team, 2024b）相当，并新增了10亿参数模型。这些模型旨在运行于标准消费级硬件，如手机、条记本电脑和高性能GPU。此版本为Gemma系列引入了多项新本事，包括多模态、长上下文处置惩罚和多语言支持，同时保持或超越了先前版本的性能。
**在多模态方面，大多数Gemma 3模型与定制的SigLIP视觉编码器（Zhai et al., 2023）兼容。**语言模型将图像视为由SigLIP编码的软标志序列。我们通过将视觉嵌入压缩为256个固定巨细的向量来降低图像处置惩罚的推理成本。编码器以固定分辨率工作，并借鉴了LLaVA（Liu et al., 2024）的思绪，接纳“平移与扫描”（P&S）方法实现机动分辨率处置惩罚。
**另一项重要架构改进是将上下文巨细提拔至128K tokens，且不降低性能。**长上下文处置惩罚的一个挑战是推理过程中KV缓存的内存爆炸问题。为缓解这一问题，我们在每个全局层之间交错多个局部层，并为局部层分配仅1024 tokens的较小跨度。因此，只有全局层关注长上下文，每5个局部层对应1个全局层。
**预训练优化方法与 Gemma 2类似，但在架构设计上有所调解。**我们使用了与Gemini 2.0相同的分词器，并重新审视了数据混合方式，以增强模型的多语言本事，同时引入图像理解。所有Gemma 3模型均接纳知识蒸馏（Hinton et al., 2015）训练。
在后训练阶段，我们专注于提拔数学、推理和对话本事，并整合Gemma 3的新功能，如长上下文和图像输入。我们接纳了一种新颖的后训练方法，在数学、编程、对话、指令跟随和多语言等方面均取得了明显提拔。最终的Gemma 3指令微调模型性能强盛且功能多样，远超其前代模型。
在接下来的章节中，我们将扼要概述模型架构及预训练和后训练方法，并提供多种定量和定性基准的详细评估。我们还将讨论安全负责的部署计谋，并阐述Gemma 3的广泛影响、局限性及优势。

Gemma-3 技术报告：2. 模型架构

Gemma 3 模型遵循与先前版本相同的纯解码器 Transformer架构（Vaswani等，2017），此中大多数架构元素与前两代Gemma模型相似。我们接纳了分组查询注意力机制（Grouped-Query Attention, GQA）（Ainslie等，2023），并联合后归一化（post-norm）和前归一化（pre-norm）技术，使用 RMSNorm（Zhang和Sennrich，2019）实现。受 Dehghani等（2023）、Wortsman等（2023）以及 Chameleon团队（2024）的开导，我们用 QK 归一化代替了 Gemma 2中的软上限（soft-capping）。
在本节中，我们将重点先容与前代版本的一些关键差异。
局部层与全局层按 5:1 交错。 我们在局部滑动窗口自注意力机制（Beltagy等，2020）和全局自注意力机制（Luong等，2015）之间进行瓜代，接纳每5个局部层对应1个全局层的模式，并以局部层作为模型的第一层。
长上下文处置惩罚。 Gemma 3 模型支持128K tokens的上下文长度，但1B模型例外，其仅支持32K。我们将全局自注意力层的RoPE基频从10k提高到1M，同时保持局部层的频率为10k。我们接纳了与Chen等（2023）所提出的位置插值类似的方法，以扩展全局自注意力层的跨度。

2.1 视觉模态

视觉编码器。 我们使用SigLIP编码器（Zhai等，2023）的一个400M变体，这是一种基于视觉Transformer（Dosovitskiy，2020）的架构，接纳CLIP损失（Radford等，2021）的变体进行训练。Gemma视觉编码器接收调解为896×896巨细的方形图像，并在视觉助手使命的数据上进行微调。为简化起见，我们在4B、12B和27B模型之间共享视觉编码器，并在训练期间保持其冻结状态。
平移与扫描（Pan & Scan, P&S）。 Gemma视觉编码器以896×896的固定分辨率运行。这导致在处置惩罚非方形宽高比和高分辨率图像时出现伪影，比方无法辨认的文本或消散的小物体。我们通过推理期间的自适应窗口算法来解决这一问题。该算法将图像分割为巨细相称的非重叠地区，覆盖整个图像，并将其调解为896×896像素以传递给编码器。此窗口化操作仅在必要时应用，并控制最大地区数量。这是一种仅用于推理阶段的优化，可以禁用以实现更快的推理速率。
参数数量。 表1展示了Gemma 3模型的参数数量。我们的词汇表包含256K条目。

2.2 预训练

我们遵循与Gemma 2相似的知识蒸馏预训练方法。
训练数据。 我们预训练的模型使用了略高于Gemma 2的token预算，即Gemma 3 27B模型训练了14T tokens，12B版本训练了12T tokens，4B版本训练了4T tokens，1B版本训练了2T tokens。token数量的增加是为了适应预训练期间图像和文本的混合使用。我们还提高了多语言数据的比例，以增强语言覆盖范围。我们添加了单语和并行数据，并接纳了Chung等人（2023）开导的计谋来处置惩罚语言表示的不平衡问题。
分词器。 我们使用了与Gemini 2.0相同的分词器：一种基于SentencePiece的分词器，支持数字分割、保存空格和字节级编码（Kudo和Richardson，2018）。最终天生的词汇表包含262k个条目。该分词器对非英语语言更为均衡。
过滤。 我们接纳了过滤技术，以淘汰不良或不安全语句的风险，并删除某些个人信息和其他敏感数据。我们从预训练数据中剔除评估集，并通过最小化敏感输出的传播来降低复述风险。我们还借鉴了Sachdeva等人（2024）的质量重加权步骤，以淘汰低质量数据的出现。
蒸馏。 我们为每个token采样256个logits，并根据西席模型的概率进行加权。学生模型通过交叉熵损失在这些样本中学习西席模型的分布。对于未采样的logits，西席模型的目标分布设为零概率，并进行重新归一化。

2.3 量化感知训练

除了原始的检查点，我们还提供了不同标准格式下的量化版本模型。这些版本是通过使用量化感知训练（QAT）（Jacob等，2018）对每个模型进行少量步数（通常为5000步）微调得到的。
我们使用非量化检查点的概率作为目标，并调解数据以匹配预训练和后训练分布。基于最流行的开源量化推理引擎（比方llama.cpp），我们专注于三种权重表示：每通道int4、每块int4和切换fp8。
在表3中，我们报告了在32k序列tokens环境下，原始和量化模型在有无KV缓存时每种权重表示所占用的内存量。

2.4 计算架构

我们使用 TPUv4、TPUv5e 和 TPUv5p 训练模型，如表 2 所述。
每个模型配置都颠末优化，以最小化训练步骤时间。对于视觉编码器，我们预先计算每张图像的嵌入，并直接使用嵌入进行训练，从而不会增加语言模型的训练成本。
优化器状态使用 ZeRO-3（Ren 等，2021）的实现进行分片。对于多 pod 训练，我们通过数据中心网络实行数据副本缩减，接纳 Barham 等（2022）的 Pathways 方法。我们使用 Jax（Roberts 等，2023）和 Pathways（Barham 等，2022）的“单控制器”编程范式，以及 GSPMD 分区器（Xu 等，2021）和 MegaScale XLA 编译器（XLA，2019）。

Gemma-3 技术报告：3. 指令微调

预训练模型通过一种与我们先前方法相比更为先进的后训练方法，转化为指令微调模型（见表6）。
技术：
我们的后训练方法依赖于改进版本的知识蒸馏（Agarwal等，2024；Anil等，2018；Hinton等，2015），从大规模的指令微调西席模型中提取知识，并基于改进版本的BOND（Sessa等，2024）、WARM（Ramé等，2024b）和WARP（Ramé等，2024a）进行强化学习（RL）微调阶段。
强化学习目标：
我们使用多种嘉奖函数来提拔模型的实用性、数学本事、编程本事、推理本事、指令跟随本事以及多语言本事，同时最小化模型的潜在危害性。这包括通过人类反馈数据训练的权重平均嘉奖模型（Ramé等，2024b）、代码实行反馈（Gehring等，2024）以及解决数学问题的真实嘉奖数据（DeepSeek-AI，2025；Lambert等，2024）进行学习。
数据过滤：
我们精心优化后训练中使用的数据，以最大化模型性能。过滤偷换含某些个人信息、不安全或有毒模型输出、错误自我辨认数据以及重复示例的数据。同时，包括鼓励更好上下文归属、谨慎表达和拒绝反应的数据子集，以淘汰幻觉现象，从而在保持其他指标性能的同时提拔事实性指标的表现。
[BOS]标志：
对于预训练和指令微调模型，文本以[BOS]标志开始，由于文本 “[BOS]” 并未映射到 [BOS] 标志，因此需显式添加。比方，Flax库提供了一个选项 add_bos=True，可在分词时主动添加该标志。指令微调模型的格式化示比方表4 所示。
预训练与指令微调 格式的对比：
所有模型共享相同的分词器，但指令微调模型使用了一些专用的控制标志。一个关键区别在于，预训练模型在天生结束时输出<eos>标志，而指令微调模型则输出<end_of_turn>标志，如表4 所示。因此，微调任一模型类型时，也需添加其相应的结束标志。

Gemma-3 技术报告：4. 最终模型的评估

在本节中，我们通过一系列主动化基准测试和人类评估，以及静态基准测试（如 MMLU），对 IT 模型进行了跨多个领域的评估。

4.1 LMSYS Chatbot Arena

在本节中，我们报告了 IT 27B 模型在 LMSys Chatbot Arena（Chiang 等，2024）上的表现。
该评估通过人类评分员对其他最先进模型进行盲测对比。我们在表 5 中报告了 Elo 分数。Gemma 3 27B IT（1338）位列前十名，其分数高于其他非思维型开源模型，比方 DeepSeek-V3（1318）、LLaMA 3 405B（1257）和 Qwen2.5-70B（1257），这些模型的规模要大得多。末了，Gemma 3 的 Elo 分数明显高于 Gemma 2（1220）。需要注意的是，Elo 分数并未思量视觉本事，而上述模型均不具备视觉本事。

4.2 标准基准测试

在表 6 中，我们展示了最终模型在各种基准测试中的表现，并与我们之前的模型迭代以及 Gemini 1.5 进行了比力。
我们没有直接与外部模型进行比力，由于这些模型通常使用本身的评估设置，而在我们的设置中运行它们无法包管公平比力。我们鼓励读者参考第三方静态排行榜，以进行更公平的模型间比力。我们在附录中提供了模型在其他基准测试上的额外评估结果。

Gemma-3 技术报告：5. 消融

消融实行旨在分析模型架构变革和新增功能（如视觉本事）对性能的影响，从而更好地理解模型的改进点。

5.1 预训练本事探测

我们在预训练期间使用多个标准基准测试作为探测工具，以确保模型能够捕捉通用本事。
在图 2 中，我们比力了 Gemma 2 和 Gemma 3 在这些通用本事（即科学、代码、事实性、多语言性、推理和视觉）上的预训练模型质量。这些图表中使用的不同公共基准测试的性能细节总结在附录中。
总体而言，尽管增加了视觉本事，新版本在大多数类别中都有所提拔。
我们特殊关注了该版本中的多语言性，这直接影响了模型的质量。然而，尽管使用了去污染技术，这些探测工具仍存在污染风险（Mirzadeh 等，2024），这使得更明确的结论难以评估。

5.2 局部:全局注意力层

我们测量了局部和全局自注意力层的变革对推理性能和内存消耗的影响。

• 局部与全局 注意力层的比例：
  在图 3 中，我们比力了不同比例的局部与全局注意力层。Gemma 2 模型使用 1:1 的比例，而 Gemma 3 使用 5:1 的比例。我们观察到改变这一比例对困惑度的影响很小。
  
• 滑动窗口巨细：
  在图 4 中，我们比力了不同全局:局部比例配置下局部注意力层的滑动窗口巨细。滑动窗口可以明显减小，而不会影响困惑度。
  

• 对 KV 缓存内存的影响：
  在图 5 中，我们展示了在 32k 令牌上下文推理期间，模型使用的内存与 KV 缓存之间的平衡。“仅全局”配置是大多数密集模型使用的标准配置。“1:1, sw=4096”是 Gemma 2 使用的配置。我们观察到，“仅全局”配置会导致 60% 的内存开销，而在 1:3 比例和滑动窗口为 1024（“sw=1024”）的环境下，这一开销淘汰到不到 15%。
  

在图 6 中，我们计算了 KV 缓存使用的内存与上下文长度的函数关系，比力了我们的 2B 架构（L:G=5:1, sw=1024）与“仅全局”2B 模型的表现。

5.3 支持长上下文

我们没有重新开始训练 128K 序列，而是先用 32K 序列进行预训练，然后在预训练结束时将 4B、12B 和 27B 模型扩展到 128K 令牌，同时重新缩放 RoPE（Chen 等，2023）。我们发现缩放因子为 8 在实践中效果精良。
需要注意的是，与 Gemma 2 相比，我们还将全局自注意力层的 RoPE 底子频率从 10k 增加到 1M，而局部自注意力层保持 10k。在
图 7 中，我们展示了不同上下文长度对困惑度的影响。我们的模型能够泛化到 128K，但随着进一步扩展，性能迅速降落。

5.4 小西席模型与大西席模型

一个常见的发现是，训练小模型时，从小西席模型蒸馏效果更好。我们推测这是由于这些研究通常在以下设置中进行：使用较差西席的正则化效果凌驾了使用更好西席的收益。
我们使用两个不同巨细的西席模型（一个大西席和一个小西席）训练学生模型，并观察不同训练周期的影响。
在图 8 中，我们观察到，在短训练周期内，小西席模型效果更好，但在较长训练周期内，趋势相反。

5.5 视觉编码器

• 图像分辨率的影响：
  我们使用基于 SigLIP（Zhai 等，2023）的视觉编码器。视觉编码器被冻结，仅训练语言模型。多模态数据中的每张图像由视觉编码器天生的 256 个图像令牌表示。因此，更高分辨率的编码器使用平均池化将其输出淘汰到 256 个令牌。比方，896 分辨率编码器在其输出上使用 4x4 平均池化。
  如表 7 所示，更高分辨率的编码器表现优于较低分辨率的编码器。
  
• Pan & Scan（P&S）：
  P&S 能够以接近原始宽高比和分辨率捕捉图像。
  在表 8 中，我们比力了使用和不使用 P&S 的 27B IT 模型。正如预期的那样，能够以接近原始分辨率处置惩罚图像的本事极大地资助了需要读取图像上文本的使命，这对视觉语言模型尤为重要。
  

Gemma-3 技术报告：6. 记忆与隐私

大型语言模型大概会天生与训练数据中某些文本近乎相同的副本（Biderman 等，2023；Carlini 等，2021，2022；Ippolito 等，2022；Nasr 等，2023）。之前的几份报告通过量化记忆率来评估这种风险（Anil 等，2023；Chowdhery 等，2022；Gemini 团队，2023，2024；Gemma 团队，2024a,b；LLaMa 团队，2024）。
这里的“记忆率”界说为模型天生与训练数据匹配的文本占所有天生文本的比例，详细测试方法如下。我们遵循 Gemma 团队（2024b）描述的方法进行测量。详细来说，我们从训练数据中均匀抽取大量样本，并使用长度为 50 的前缀和长度为 50 的后缀测试这些内容是否可被发现提取（Nasr 等，2023）。如果天生文本的所有标志与源后缀完全匹配，则将其标志为“完全记忆”；如果匹配的编辑距离在 10% 以内，则标志为“近似记忆”。
我们在此并不声明或暗示模型”包含“其训练数据，由于模型中有该数据的副本。相反，模型记忆其训练数据的属性，以便在某些环境下，当遵循规则并使用其包含的训练数据的特征信息时，它在统计上能够天生此类训练数据。
图 9 比力了 Gemma 和 Gemini 模型的记忆率；这些模型按时间倒序排列，最新的 Gemma 3 模型位于左侧。我们发现，Gemma 3 模型对长文本的记忆率远低于之前的模型（注意 y 轴为对数刻度）。我们观察到 4B、12B 和 27B 模型的记忆率差异很小，而 1B 模型的记忆率低于这些更大的模型。此外，我们发现“近似记忆”的文本比例更高，与“完全记忆”相比，“近似记忆”的比例平均增加了约 24 倍。
我们还研究了天生文本中大概包含个人信息的比例。为了辨认潜在的个人信息，我们使用了 Google Cloud 敏感数据掩护（SDP）服务。SDP 使用广泛的检测规则来辨认大概包含个人信息的文本。SDP 的设计目标是高召回率，并且不思量信息出现的上下文，这会导致许多误报。因此，我们大概高估了被分类为记忆的输出中包含的潜在个人信息的真实数量。SDP 还提供了广泛的严重级别：低、中、高。如果 SDP 将文本分类为任何严重级别的个人信息，我们将其标志为个人文本。我们观察到，在所有 Gemma 3 模型的记忆输出中，没有发现个人信息。这表明在分类为记忆的输出中，个人数据的比例很低，低于我们的检测阈值。

Gemma-3 技术报告：7. 责任、安全与保障

在 Gemma 模型的开发中，责任、安全和保障至关重要。为了降低 Gemma 3 用户的风险，我们继续在整个开发流程中整合增强的内部安全流程，与最近的 Google AI 模型（Gemini 团队，2024）保持一致。这包括在训练时进行安全缓解，以及对我们引入的新图像到文本功能进行稳健且透明的模型评估。

7.1 管理与评估

我们评估 Gemma 的收益和风险的方法与 Gemma 1（Gemma 团队，2024a）中概述的方法一致，同时思量了支持模态的变革。我们仍然信任，AI 的开放性可以将这些技术的长处传播到整个社会，但必须评估其与恶意使用风险之间的平衡，这些风险大概对个人和机构造成伤害（Weidinger 等，2021）。自 Gemma 初次发布以来，我们已经看到这些模型推动了多项社会有益的应用，比方我们本身的 ShieldGemma 2，这是一个基于 Gemma 3 构建的 4B 图像安全分类器，为图像安全提供了现成的解决方案，输出伤害内容、色情内容和暴力类别的安全标签。
发布 Gemma 3 模型需要特殊关注模型本事的变革，并密切监控现有多模态 LLM 的演变风险（Lin 等，2024），同时了解模型在现实天下中的使用方式。尽管我们尚未收到任何关于 Gemma 恶意使用的报告，但我们仍然致力于观察任何此类报告，并与学术界和开发者社区合作，同时进行我们本身的监控，以标志此类环境。
尽管本事有所提拔，但我们以为，鉴于目前已有许多更强盛的开源模型，此次发布对团体风险格局的影响微乎其微。

7.2 安全政策与训练时缓解措施

Gemma 安全方法的一个关键支柱是将微调模型与 Google 的安全政策对齐，与 Gemini 模型（Gemini 团队，2023）保持一致。这些政策旨在资助防止我们的模型天生有害内容，比方：
- 儿童性虐待和剥削
- 走漏大概导致伤害的个人身份信息（比方，社会安全号码）
- 愤恨言论和骚扰
- 伤害或恶意内容（包括促进自残或指导有害活动）
- 色情内容
- 与科学或医学共知趣悖的医疗建议
我们对预训练数据进行了大量的安全过滤，以淘汰预训练和微调检查点天生有害内容的大概性。对于微调模型，我们还使用监督微调（SFT）和基于人类反馈的强化学习（RLHF）来引导模型远离不良行为。

7.3 保障评估

我们还对 IT 模型进行了一系列基线保障评估，以了解模型大概造成的潜在危害。尽管我们提倡开源模型，但我们也认识到权重发布的不可逆性需要进行严格的风险评估。我们的内部安全流程据此设计，并且对于之前的 Gemma 模型，我们还进行了与极端风险相关的本事评估（Phuong 等，2024；Shevlane 等，2023）。
随着我们继续开发和分享开源模型，我们将遵循这样的开导式方法：对更强盛的模型进行彻底评估通常可以为本事较弱的模型提供足够的保障。因此，我们为 Gemma 3 优先思量了一套简化的评估，仅在特定模型大概带来潜在高风险时进行深入的伤害本事评估（如下所述的 CBRN 评估）。我们在开发速率与针对性安全测试之间取得平衡，确保评估重点明确且高效，同时遵守我们在前沿安全框架中做出的允许。
基线评估
基线保障评估使用大量合成的对抗性用户查询，并由人类评分员标志答案是否违反安全政策。总体而言，Gemma 3 在这些安全政策上的违规率明显较低。
化学、生物、放射性和核（CBRN）知识
由于在 STEM 相关使命上的性能增强，我们使用内部数据集评估了与生物、放射性和核风险相关的知识，该数据集包含封闭式、基于知识的多项选择题。对于化学知识的评估，我们接纳了 Macknight 等开发的关于化学危害的封闭式知识测试方法。我们的评估表明，Gemma 3 模型在这些领域的知识水平较低。

7.4 我们对负责任开源模型的方法

设计安全、可靠和负责任的应用需要系统级的方法，努力减轻与每个特定用例和环境相关的风险。我们将继续根据模型潜在风险的比例采取评估和安全缓解措施，并仅在确信收益明显凌驾可预见风险时与社区分享这些模型。

Gemma-3 技术报告：8. 讨论与结论

在这项工作中，我们先容了 Gemma 3，这是 Gemma 开源语言模型家族的最新成员，支持文本、图像和代码处置惩罚。在这个版本中，我们专注于增加图像理解和长上下文支持，同时提拔多语言性和 STEM 相关本事。我们的模型规模和架构设计旨在与标准硬件兼容，并且大多数架构改进都是为了在保持性能的同时适应这些硬件。


版权声明：
   youcans@xidian 作品，转载必须标注原文链接：
【技术报告】谷歌开源多模态大模型 Gemma-3
Copyright 2025 youcans, XIDIAN
Crated：2025-03