大模子法律知识评估——Qwen3-0.6B到8B vs LawLLM-7B

如今无论是数码产物手机、电脑、CPU、GPU等或是大模子跑分是一个永恒稳固的流程，固然如今不少厂商针对跑分举行了专门的“优化”，但跑分现在照旧相对客观评价一个硬件产物或是软件产物的本领。
不平？ 来跑个分。
跑分的专业术语是评测、评估。大模子评估对通用大模子很紧张，对垂直模子一样很紧张，一个垂直模子在其垂直范畴内的本事要比通用模子好才有其存在的意义。如一个7B微调的法律模子如其在法律范畴本事还比不上7B的通用模子就没有存在的意义。
评估微调模子的本事同样必要举行跑分从一个相对客观的角度评估模子是否到达预先设定的目标。
文章下面先简单先容大模子评估的一些配景知识，后通过评估Qwen3-0.6B、1.7B、4B、8B以及LawLLM-7B，五个模子中三个为通用模子，一个为基于Qwen2.5-7B颠末微调的垂直范畴模子。看看差异规模比力新的通用模子能否降服一个比力老的垂直法律模子。
大模子评估

在大模子范畴也比力盛行跑分，每次各家厂商发布新模子同时也会公布其在某某榜单的分数，在N个范畴基准评估排名是多少。
现在行业公认基准评估评测集如下：
  MMLU Pro        通用知识推理        多学科专业级明确（数学、物理、汗青等）        MMLU升级版，标题更复杂，选项从4个增至10个
  GPQA Diamond        高级科学推理        物理/化学/生物等研究生级题目        "Google-proof"筹划，防止搜刮直接得答案，极难
  SWE-bench Verified        软件工程        办理真实GitHub代码题目        人工验证版本，评估工程实践本事而非简单代码补全
  MATH-500        数学推理        500道高难度数学比赛题        需复杂推导和盘算，测试数学头脑
  AIME 2024        数学比赛        美国数学约请赛真题        顶级高中数学比赛，难度极高
  LiveCodeBench 代码天生        动态更新的算法题与编程使命        防数据污染，测试及时编程与算法办理本事
这六个范畴是每个头部大模子厂商新模子必跑的分。尚有一些其他数据集如MT-Bench、P2L等。尚有针对Agent的评估如：AgentBench。
模子竞技场

比力着名的平台有：LMArena、CompassArena等
相对于学术范畴基准评测比力容易被针对性“优化”，尚有一个业内比力权势巨子的模子评测榜单LMArena。模子竞技场排名与针对范畴基准数据集的跑分模式完全不一样，基准数据集是公开的假如模子在练习阶段加入了部门数据就大概会影响到他的跑分结果。
LMArena这类模子竞技场核心是依赖用于举行打分，用于规模越大生动度越高其越权势巨子。也是范围性就是收到用户群体偏好的影响。
LMArena评测机制：
1、双盲对战： 用户提问，平台随机展示两个匿名模子的回复，用户投票选择更优答案，投票竣过后才展现模子身份
2、Bradley-Terry统计模子： 将投票率转换为力气得分，控制样本量和匹配次数的毛病
3、动态更新： 根据用户投票连续更新

法律范畴

现在针对法律范畴的模子评估数据集MMLU/MMLU Pro固然有覆盖法律学科，但这跟国内的法律还不一样。CMMLU、C-Eval 倒是覆盖了国内法律范畴知识，但这类综合性的评估数据集覆盖了几十个学科法律只是其小部门数据集，对法律垂直范畴内的知识覆盖面不敷。现在国内法律范畴的专门评测数据集有：LawBench、LAiW，下面将利用LawBench数据集用于模子的评估。
LawBench数据集包罗20种差异使命，覆盖三个认知水平：
1、法律知识影象： 包罗法律概念、术语、法条和究竟。
2、法律知识明确： 法律文本中的实体、变乱和关系，从而明确法律文本的意义和内涵。
3、法律知识应用： 能否准确利用其法律知识、对其举行推理从而办理卑鄙应用中的现实法律使命。
LawBench每类使命包罗500个题目，试题范例包罗：天生、单选、多选、抽取、回归。五种差异范例的题目。数据集总规模为1W。提供了Zero-Shot(零样本)、One-Shot(单样本)两种范例的数据集。
评估的分数盘算通常有两种模式。基于规则的评估（Rule-based）：利用确定性规则或脚本主动判断模子输出是否准确。基于LLM Judge的评估（LLM-as-Judge）：利用另一个大语言模子作为"裁判"来评估答案质量。
下面分别利用Qwen3-0.6B、1.7B、4B、8B以及LawLLM-7B评估本数据集，本次利用的是基于规则的评估。LawLLM-7B为基于Qwen2.5微调的法律垂直范畴模子。
参数同一为top_k=20,temperature=0.6,top_p=0.95,do_sample=True
认知使命法律知识影象法条背诵、知识问答法律知识明确文件校对、纠纷核心辨认、婚姻纠纷判断、题目主题辨认、阅读明确定名实体辨认、舆情择要、论点发掘、变乱检测、触发词提取法律知识应用法条猜测(基于究竟)、法条猜测(基于场景)、罪名猜测、刑期猜测(无法条内容)刑期猜测(给定法条内容)、案例分析、犯罪金额盘算、咨询

评测结果分析

本数据集在19项使命中，13项使命（68%）非思考模式体现更优 ，思考模式仅在6项使命（32%）中结果更好。
思考模式增益公式：Δ = 8B得分 - 8B-no_think得分
思考模式真正有效的使命（Δ > 2）
使命Δ值使命范例乐成缘故因由刑事侵害补偿盘算+25.2数值推理复杂多步盘算需逻辑链支持触发词提取+12.7变乱明确深度语义明确提升变乱界限辨认基于究竟的法条猜测+4.5知识推理究竟-法条映射需中心推理步调变乱检测+4.4内容明确全局上下文分析镌汰误检非思考模式碾压性上风的使命（Δ < -5）

使命Δ值使命范例失败缘故因由案例分析-16.4天生使命过分思考导致天生内容冗余发散论点发掘-16.0信息抽取深度思考引入噪声而非精准定位定名实体辨认-14.9抽取使命思考模式粉碎实体界限快速匹配知识问答-14.4信息检索过分推理偏离直接答案争议核心辨认-9.6准确判断思考引发发散，侵害判断锐度刑期猜测（有法条）-7.5数值盘算思考增长复杂度，数值盘算需"直给"刑期猜测（无法条）-5.7数值盘算同上规模效应真实体现

强正规模效应使命（0.6B→8B提升>50%）

• 基于究竟的法条猜测：+383%（16.24→78.46）——究竟-法律映射本事随参数目爆炸式增长
  
• 罪名猜测：+95%（28.00→54.50）——罪名认定依赖复杂特性学习
  
• 知识问答：+75%（29.00→50.80）——知识密度与参数规模强相干
  
• 刑事侵害补偿盘算：+53%（61.40→94.00）——数学本事与规模正相干
  

<strong>规模效应饱和使命（4B→8B提升