讯飞把AI任务分给端和云,96%只是及格线

24小时AI快讯1个月前发布 changgong
2.8K 00
讯飞把AI任务分给端和云,96%只是及格线

科大讯飞这场发布会的价格表可以抄下来。输入0.9元每百万tokens,缓存命中0.08元,输出3.6元。

比DeepSeek-V4.1-Flash-1017更低这个说法站得住。发布会里还有另一个数字,端云路由准确率96.1%,从81.2%提上来的,比价格难做到。

一、发布会最贵的数字不是0.9元

星火X2.6由两个模型组成。云侧是293-A30B,端侧是X2.6-4B,端侧那个已经开源。前者跑服务器,后者跑机器人、汽车座舱和AI PC,刘庆峰说4B这个尺寸装这些设备正合适。

两个模型放进同一个体系,成本结构就变了。每来一个请求,系统先得判断这活给谁干,纯端办、纯云办,还是端云一起办。科大讯飞的做法是让端侧模型做判断,再用评语模型给分派结果打分,把分数当作路由模型的训练信号,准确率从81.2%推到96.1%。

模型能力的比较看上限,端云一体的比较看分派。

一次分派失误不会让模型答错题,却能让成本账和合规前提一起走样。0.9元能不能兑现,取决于96.1%在真实业务里守不守得住。

二、六成任务留在本地,靠什么撑住

刘庆峰给出的比例是,未来60%的任务在本地跑,30%通过云端协同处理,10%在云端独立完成。这三个数字读下来更像一张成本与合规的预演表。

本地任务的边际成本趋近于零,云端任务按token计价。数据不出设备,费用就不出账。比例往本地挪一点,云端账单薄一点,合规审批也少一道。

撑住六成这个比例的,是端侧那个4B模型。

上一代星火X2.5-4B从9月1日开源,到发布会时下载量256万次,位列全球端侧模型前四。参数4B,装在机器人、汽车平台和AI PC上都不算奢侈。下载量说明端侧已有真实分发渠道,开发者愿意装,设备装得下。六十这个比例要落地,靠的就是这层地基。

端侧的能力是被云端带出来的。星火用的是端侧模型能力感知的自适应迭代后训练算法,按端侧的实际水平挑教师模型、调整训练比重。教师模型在云上,学生在端上,调参的依据是端侧能接住多少。

三、分派错一次,代价分两种

路由出错有两个方向。一个方向是把该在本地做的任务送上了云,另一个方向是把该上云的任务留在了端侧。

前一种带来的是数据出境、token费用和网络时延,后一种带来的是能力不够、任务做砸。两种都算错,代价的性质差很远,前者是合规事故,后者是体验事故。

所以路由不能只看总体准确率。96.1%是平均值,在医疗、法律、教育这些行业,它只是及格线,往云端的错误要压到接近零,往端侧的保守错误反而可以容忍。宁可让4B模型硬着头皮答一个不太完美的结果,也不该把一份病历送出去。

现场演示的场景是一个创业公司总经理,断网状态下让星火AStudio翻各大区的周报和邮件,生成可视化表格、三项待办和风险提示,还带上了对应邮件的链接。

需要云端帮忙时,本地先把数据脱敏,云端处理完再回到本地还原。这条链路里脱敏排在路由之后,分派判断准不准,直接决定什么东西会被送出去。

四、0.08元的缓存价在挑客户

三个价格放一起看。输入0.9元,缓存命中0.08元,输出3.6元,比例是1比0.089比4。

缓存命中价接近输入价的十一分之一,等于承认同一段前缀被反复读进去时,边际成本几乎为零。输出是输入的四倍,新生成的内容最贵。

这套价格在挑用法。上下文前缀稳定、一天复用上千次的应用,能拿到接近十倍的成本差;每个请求都换一份新资料的应用,拿不到这个价。

百万上下文配上0.08元,长期驻留的长文档才从需要精打细算的配置,变成默认选项。

对做Agent的团队来说,前缀复用率会从工程细节变成架构指标。同一份产品手册、同一套代码库、同一批规章制度,能不能稳定摆在上下文最前面,会直接写进成本模型。

五、国产芯片的账要按迭代周期算

训练侧的数字是这样的。飞星二号万卡训练2000B、256K长度的数据,时间从4.5个月压到1.2个月,超长上下文训练效率提到原来的4倍。刘庆峰说这一代模型是过去两三个月训出来的。

推理侧,全国产硬件的四层KV Cache架构把命中率从63%提到95.7%,国产芯片推理效率达到优化前的4.5倍。命中率63%意味着长上下文请求里有近四成要重算一遍,那部分算力是净损耗。

国产算力眼下的差距落在迭代周期上。跑一轮要多久,比能不能跑更要紧。

4.5个月一轮,一年最多试两次;1.2个月一轮,一年能试八次以上。同一个能力起点,试错次数多的一方会先到终点。

讨论国产芯片时常拿单卡算力和互联带宽做对比,那是静态指标。模型是迭代出来的产品,迭代频率决定版本之间的差距能不能收窄。基准上的位置也印证了节奏,SWE Pro和SWE Multilingual两项第一,SWE Verified仅次于DeepSeek-V4.1-Flash-1017。

六、能私有化交付的场景先落地

落地最实的三个行业是教育、医疗、法律。共同点是数据出境敏感,采购流程里合规意见的权重高过体验评测。

医疗侧,讯飞影像云覆盖全国超过2.6亿人口的区域,讯飞晓医累计完成AI咨询超过2.2亿次,下载量突破4400万。法律侧,讯飞晓法覆盖案情梳理、证据审查、诉讼策略到文书起草。教育侧,讯飞星光把备课、教研、家校沟通和事务助理放进同一个工作台。

硬件是配套的。星火办公一体机提供2240 TOPS算力,支持大模型私有化部署;灵机N9000 AIPC笔记本最高160 TOPS本地算力。一体机真正卖出去的东西是部署位置,算力写在配置单上。

这套打法的前提是能力够用、位置可控。前沿能力的差距一旦继续拉大,私有化交付的溢价会被云端API的价格战一点点吃掉。96.1%这个数字的分量,跟模型能力与前沿的距离绑在一起。

刘庆峰说,全栈自主可控大模型是AI安全性和极致性价比的必然选择。把这句话和价格表放在一起看,性价比那一半靠训练成本和缓存复用,安全性那一半靠96.1%背后那条分派链路。两样东西都不写在模型参数里。

© 版权声明

相关文章

暂无笔记

您必须登录才能记录笔记!
立即登录
none
暂无笔记...