
模型评测表通常只看总分那一列。中国电信这次公开的对照表里,最后一列是负例得分。
一、58分和49分之间,差在哪儿
星辰通用人工智能实验室这次放出的 Xing4.0-29B-Intent,参评方式是跟 18 款通用大模型同台。第一组评测从 48 个中英文公开数据集里按比例抽了 6000 道题,覆盖意图分类、实体检测、关系检测、事件抽取四类任务,四类分别算分之后再等权平均。
总分 58。参评通用模型里最高的是 Gemini-3.6-Flash 的 49,往后是 Qwen3.8-Max 的 46,Kimi-K3 和 GPT-5.6-Sol 都是 45,GPT-5.5 和 GLM-5.2 是 44,DeepSeek-V4-Pro 41。
分项拆开看,差距的位置很清楚。意图分类 81 对 64,实体检测 72 对 71,关系检测 38 对 29,事件抽取 40 对 30。实体检测这一项几乎打平,真正拉开距离的是意图分类。
反过来读这组数也一样有用。关系检测 38 分是四个分项里最低的,事件抽取 40 分。这批模型里最强的一个,在关系的深层结构上也只能做到这个水平。
二、选择题加填空题,一行输出里塞两件事
「帮我把卧室的灯调成暖黄。」这句话要交给设备执行,需要的远不止一个类别标签。房间是卧室,设备是灯,状态是暖黄,三个槽位都得填上。
Jev 那一类轻量决策模型的定位是做选择题,从给定的候选类别里挑一个。参数抽取是填空题,把完成任务要用的具体信息挖出来。Xing4.0-29B-Intent 两类都做,一句话里有多个意图、多个参数、多个实体也能一起给。
它用的框架叫 USP,统一模式驱动语义解析,把结果组织成「类别加参数」的层级结构,按预先定义的字段规则输出 JSON。意图理解、实体识别、关系抽取、事件抽取四个任务被要求共用同一套输入输出约束。
这条设计对下游的价值在工程量上:接一条解析管道就够了,不必为四个任务各写一套适配代码。代价也在同一处。关系抽取的天然结构是实体连实体,被塞进树状的 schema 就会掉分,38 分大概就是这个损耗的量化结果。
三、839道没有答案的题,才是真正的分水岭
第二组评测不看抽得对不对,只看类别判断。5606 道题里,3940 道单选题,1666 道多选题,剩下 839 道是负例题。负例题的题面里没有可抽取的内容,专门用来检验模型会不会硬报一个类别。
总决策分 70。Jev 用「N 选 1」的答法是 56,换成逐个判是非是 53,GPT-6-Luna 作为通用模型参照是 65。三个子项上,星辰是单选 65、多选 68、负例 70。
Jev 换成逐个判是非的答法之后,单选得分掉到 24,多选反而升到 64,负例得分是 5。它在多选上不算笨,对每个候选类别都说「是」,命中率自然好看。负例 5 分暴露的正是这件事:一个对什么都说「是」的分类器,在多选题上得分漂亮,落到工单路由里会把不存在的信息硬塞给下游。
错派一张工单,要退回来、重新分、跟客户解释一遍。多问一句「你指的是哪个业务」,只多一轮对话。这两件事的成本不在一个量级。
四、延迟从100毫秒到200毫秒,这笔账怎么算
能力表上,Jev 那类模型不支持 Function Call 参数抽取,也不支持信息抽取、NER、事件抽取,只有意图分类和固定格式结构化输出。星辰这几项都支持,延迟从 Jev 的 100 毫秒以内抬到 200 毫秒以内。
多出来的能力换掉了一半的响应速度。语音助手抢话、车载指令这类交互里,100 毫秒是能听出来的。客服工单、短信回复、后台批处理这些场景里,200 毫秒没人在意。选型按交互类型分档,比按模型榜单排序靠谱。
通用大模型在这类任务上吃亏的地方有三处。第一处是速度,它习惯想清楚再回答,输出动辄几百上千 token,问它工单转给谁,答完客户已经挂电话。第二处是成本,一天百万次调用,按 token 计费,倍数会被调用次数放大。第三处是可靠性,自由文本输出让下游写不出稳定解析,同一个问题有十种说法。
第三条最要紧。前两条可以拿钱和机器换,第三条换不掉。
成本账还要看模型规格。Xing4.0-29B-Intent 总参数 29B,基座是 A4B 的稀疏结构,每次推理激活的参数远小于参数总量。百万次调用的钱是照着激活部分算的,不是照着 290 亿算的。
五、275万条语料开源之后,谁能直接用
这次放出来的不只有权重。275.3 万条监督微调训练语料,从 61 个公开数据集重构而来,覆盖 19 个领域、52 种语言;一套面向手机端智能交互的中文口语理解基准 CMPA-SLU,相关成果被 EMNLP 2026 收录;模型权重和官方推理镜像。代码许可 Apache 2.0,权重与数据在 Hugging Face、魔搭、魔乐同步开放。
语料这一项的分量比权重更重。61 个公开数据集的标注格式各不相同,统一洗成「类别加参数」的 schema,是把散落的标注变成可训练资产的全部工作量。
三类人可以直接拿去用。头一类做终端交互,手机语音助手、智能座舱、IoT 中控,既要判意图又要抽参数;第二类做 ToB 客服和企业 IM 机器人,冷启动阶段标注数据不够,不想为每个新意图标几千条样本;第三类做 Agent 和 Function Calling,需要一层稳定、低幻觉的语义入口。
六、这门生意的边界在哪里
这些数字有一个必须带上的前提。两组评测都由厂商技术团队自建,发布时附了免责声明,结果只反映参评模型在本次数据与测试设置下的表现。58 对 49 成立,不等于换一套业务数据还成立。
能力边界同样清楚。关系检测 38 分、事件抽取 40 分,说明它在需要多层结构推理的任务上还只是能用,谈不上好用。开放域闲聊、长文本写作、复杂推理这些事,通用大模型仍然是对的选择。
一个 29B 的专用模型把听懂一句话的价格打了下来。剩下的问题留给做产品的人:你的业务里,有多少次调用只是在听懂一句话?