智谱拿下法律双榜第一,全通过率只有19%

24小时AI快讯1个月前发布 changgong
2.6K 00
智谱拿下法律双榜第一,全通过率只有19%

同一份测评里,GLM-Legal 的准确率是 86.23%,任务全通过率是 19.2%。两个数字差了三倍多,而它们量的是完全不同的两件事。

一、双榜第一的成绩单上,还有一行小字

10 月 17 日,智谱发布法律专用开源模型 GLM-Legal,底座是 GLM-5.3-Flash。在 Vals AI 公布的法律测评中,它拿下 Harvey LAB 和 LegalBench 两个开放权重模型榜的第一。

成绩单上还有第二个数字。任务全通过率 19.2%,准确率 86.23%。

Harvey LAB 的评分机制叫「全条件通过」。一项任务设若干条评分条件,全部满足才算通过,少一条整项判失败。首版包含超过 1200 项模拟律所任务,覆盖并购、知识产权、银行金融等24 个业务领域。出题方式也贴近真实派活:给一个需求、一组客户材料,要求直接产出能拿来审阅的文件。

86.23% 说的是单点判断准不准,19.2% 说的是整份东西能不能直接签字。法律工作的验收从来不看大部分正确,少一条交接条款造成的损失,可以盖过十条写对的条款。

二、全条件通过,卡在交付那一步

智谱公布了三组演示,对照组是同门的 GLM-5.3-Flash。三组里两个模型都能发现核心问题,差距全部出现在发现问题之后。

换供应商的合同。要审终止与交接条款:代码、数据、文档能不能拿回来,新供应商能不能接上。通用模型给的是泛化建议。GLM-Legal 把终止通知期从 60 天压到 30 天,加了最长 90 天的过渡支持,要求交回全部工作成果,含未完成与未付款的部分。它还把修改方案和合同已有的成果归属约定对上了号。

纠纷里的证据。对外报告写项目完成 60%,内部记录只有约 41%。两个模型都发现了这个矛盾。区别在下一步:通用模型停在建议,GLM-Legal 把这份进度报告和更早的风险提示、内部沟通串成一条线,再落成具体的核对动作。

出海合规。准备在新加坡、马来西亚、印尼上线网站,涉及用户追踪、邮件营销、海外云存储。GLM-Legal 把合规事项拆成团队能直接执行的步骤,包括发布具体的隐私声明、把退订请求纳入抑制列表。

三组演示的共同点在这里:真正的卡点是把「条款、时间、范围、交付物、责任人」补齐。这种能力很难从语料里学到,它来自被反复扣分、反复纠正。

三、把模型送进律所实习,练的是环境

智谱给 GLM-Legal 安排了两步。先在 GLM-5.3-Flash 底座上做法律语料中期训练,学概念、法条、分析方法。再进数万个法律任务环境做强化学习,练读材料、做分析、推进任务、交付成果。

同步迭代的还有 Agent 运行框架。材料怎么组织、工具怎么接、反馈怎么回,都要跟着任务一起磨。

这套流程和法学生的成长重合度很高。先在学校啃书,再进律所实习,被带教律师改上几轮,才知道一份文件到底缺什么。GLM-Legal 现在的状态接近实习阶段,还到不了合伙人水平。19.2% 的全通过率本身就是一句实话:严格评分下,多数任务没有全部达标。

成本那一栏还有一组反差。成绩相近的情况下,GLM-Legal 每项任务比 Gemini 4 Argon 慢近 30 分钟,而 Gemini 的每项测试成本约为它的 70 倍。

法律任务的材料体量决定了单次调用成本远高于闲聊。一份尽调材料几十万字,批量试跑、批量复核这类工程做法,只有在单价差出两个数量级时才成立。开源权重换来的是成本可控和部署可控,代价是推理时间和自建投入。

这笔交换在法律行业往往划算。保密要求天然排斥公有接口,很多材料根本不允许出内网。

四、选型时该看三个数,分数只占其一

法律 AI 的采购变量已经从两个变成三个:全通过率、单任务成本、时延。只看榜单名次会踩两个坑,一是把 86.23% 当成全量交付能力,二是忽略保密要求带来的部署约束。

智谱这次开放 Beta 申请,对象是律所、法律科技公司、企业法务团队和独立执业人士,同时计划把能力接入 AutoClaw。先让最懂行的用户上手挑毛病,再把反馈变成训练环境的一部分。

这条路智谱走过一次。2023 年,它和专注智能合同的法律科技公司幂律智能合作,基于 ChatGLM-130B 联合研发千亿参数法律模型 PowerLawGLM,覆盖法律咨询、合同起草与审查。此后它又以老股东身份参与幂律智能的战略融资和近 8000 万元 Pre-B 轮。

海外在验证同一件事。今年 8 月,Harvey 联手 Fireworks,以 Kimi K3 为底座后训练出法律模型 Tenet,据其介绍留出任务完成量接近底座的两倍,成本保持稳定。

两边指向同一个结论:选好通用底座之后,用专业任务、行业数据和工作环境继续训练,能力还能再往前推一步。

19.2% 这个数字,应该被当成一份可校验的起点。法律 AI 能不能进你的流程,取决于手里的任务是否落在它已经通过的那部分,以及剩下的部分由谁来兜。

© 版权声明

相关文章

暂无笔记

您必须登录才能记录笔记!
立即登录
none
暂无笔记...