法律AI评测不再只看总分，单任务稳定性更关键

7月6日更新的法律模型榜单把法律知识、合同分析和判例推理等指标纳入比较，Legal Benchmarks的月度榜单则显示：同一个模型，在信息抽取、合同起草和长文本回答上的表现可能天差地别。对律所和企业法务而言，评测的重心正从“哪个模型总分最高”，转向具体任务的稳定性、使用成本和人工复核效率。这个转向比榜单排名本身更说明问题。

LegalBench类数据集进一步把法律任务拆分为争点识别、规则记忆、规则适用和文本解释等能力。细分结果有助于判断模型适合哪些工作环节，但仍不能直接等同于实际业务中的交付质量。

总分难以反映实务表现

法律工作由多个环节组成，各环节对模型的要求并不相同：合同审查不仅要识别异常条款，还要结合业务立场提出修改意见；诉讼检索既要找到依据，也要解释依据与案件事实的关系；企业合规问答则更看重答复口径、资料时效和更新机制。

模型在事实抽取任务中拿高分，不代表它能稳定完成合同红线审查，更不能据此让它直接向业务部门提供法律答复。榜单使用的数据、评分方式和任务范围，都可能左右最终排名。

Legal Benchmarks还提到一个容易被忽视的现象：部分高分模型生成的回答明显更长。更多文本未必降低律师工作量，反而可能增加核阅和修改成本。采购方除关注正确率外，还应考察答案长度、引用透明度、可编辑性以及律师完成二次复核所需的时间。

自有材料才是最好的测试集

对准备引入合同审查工具的法务部门，更有参考价值的做法是用常见合同模板、第三方合同和内部谈判红线搭建小型测试集。材料脱敏后，可以检验系统能否识别责任上限缺失、自动续约等条款风险，能否按公司立场提供替代文本，以及会不会在依据不足时编造判断。

测试过程应分环节记录检索、抽取、分析、起草和复核的表现，避免仅凭一次完整问答评价系统。失败样本与成功样本同样要保留——模型在哪类条款、事实关系或法律概念上出偏差，往往比它做对了什么更能说明问题。

• 记录单项任务的处理时间、调用成本和输出长度；
• 统计律师修改比例及完成复核所需时间；
• 检查答案是否提供可核验的来源和依据；
• 测试系统能否标示不确定内容并保留审计记录。

人机协作也要算进评估

Business Insider今年6月报道的AI原生律所案例显示，工具主要承担初稿制作、材料整理和重复性工作，律师仍负责专业判断、客户沟通和案件策略。评估对象因此不应局限于模型单次生成的答案，而应包括律师复核后的交付质量和整个流程的效率变化。

AI for Law Workshop在ICML 2026议程中也将法律推理质量、事实一致性和跨法域验证列为关注方向。通用榜单可用于初步筛选，但替代不了基于本机构材料和流程的验证。

榜单成绩换一套合同库未必复现

法律AI测试结果受样本范围、法域、资料时效和评分标准影响。供应商演示或公开榜单中的成绩，未必能在特定机构的合同体系、知识库和权限设置下复现；涉及法律结论的输出还需核对法规、判例和内部制度来源，不能因语言流畅就放松复核。

试点阶段可用真实但脱敏的材料反复测试，并明确哪些任务可由系统辅助、哪些结论必须由律师确认。此类评测本身不构成法律意见——它的作用是帮助采购团队判断工具的适用范围，以及进入正式工作流所需的审核和责任机制。

相关报道

• LLM Stats：Best AI for Legal 2026
• Legal Benchmarks：Leaderboard
• Vals AI：LegalBench
• Business Insider：AI-native law firm workflow