
398亿参数的模型,在一台配M4 Pro的MacBook Pro上跑出131 Token/秒。这个数字改的是部署侧的算法:过去先问算力够不够,现在要先问内存够不够,以及同一台机器上还挂得住几个Agent。
一、398亿参数,每次只叫醒25亿
Flint由田渊栋参与创办的Recursive Superintelligence发布,采用仅解码器的MoE架构。总参数398亿,每Token激活约25亿,激活比例6%左右。
这个比例来自一次架构搜索。团队最初测的基准方案是350亿总参数、30亿激活,自动化研究系统Eureka Machine在专家配置和网络宽度上试了一轮,最终选了参数更多、激活更少的配置:398亿总参数配25亿激活。
官方结论是:编程能力可媲美250亿到400亿的稠密模型,速度快5倍。稠密模型每跑一次都要过一遍全部权重,MoE只走被选中的专家,单次计算的路窄了一整条。
二、131 Token/秒,得在同一台机器上比
速度数据单独看没有信息量,要看同一台机器上的对照组。配置是48GiB内存的M4 Pro、MLX推理框架、短上下文:Flint拿到131.22 Token/秒,Qwen3.6 35B A3B是65.55,Nemotron 3.5 Lightning 30B A3B是58.00,Muse Glimmer 30B是14.54。差距分别是2倍、2.3倍和9倍左右。
换到英伟达RTX Spark,NVFP4版本跑到155.82 Token/秒。Recursive为不同硬件写了专用计算内核,在不改模型权重的条件下带来55%的提速。
自家推理引擎rec的对照更能说明问题:4bit量化下,M4 Pro上的生成速度是llama.cpp的1.4到2.6倍。测试覆盖1K到252K输入长度,每次生成1024 Token,不计预填充耗时。
模型、推理栈、计算内核被打包成一个整体交付,本地部署的门槛有相当一部分在模型之外。
三、跑得动不等于跑得久,墙在内存
一位在48GB内存的M5 Pro上跑约50个Agent的开发者反馈:系统先因内存压力杀掉部分进程,算力反倒还没成为瓶颈。他看到Flint每Token只激活25亿参数,第一反应是希望它常驻本地内存,接手一部分原本交给Qwen的日常任务。
同一台设备上并行的Agent一多,常驻内存就被挤满,留给其他进程的空间还取决于模型单次激活多少参数。算力可以排队等,内存不能。
上下文也得按建议值算。Flint最高支持约51.2万Token,官方建议实际控制在25.6万Token以内。标称能力打对折再用,通常是长上下文下质量或速度衰减的信号。
量化版本的账更好算:NVFP4在六项测试的平均分是80.0,BF16是80.6,差0.6分;LiveCodeBench v6上量化版还高了0.5个百分点。这0.6分换来的显存下降,对本地部署很值。
也有不顺手的地方。有体验者说任务完成得不错,执行时间却比预期长;关掉思考模式之后,回答依然偏冗长。指令遵循的分数高,跟输出够不够短,是两件事。
四、四个月做完,靠一套自己写代码的研究系统
Flint从零构建,分词器开发、预训练、中期训练、SFT、强化学习全走了一遍,前后不到4个月。
背后是Eureka Machine:自己提研究方案、自己写实现代码、自己跑实验,按结果决定下一步,还能并行探索多条技术路线,把不同方案里的有效改进拼起来。训练数据处理、优化器选择、训练方案设计,以及基础设施与推理性能优化,它都参与。
三处产出可以用数字核对。架构从350亿总参数、30亿激活搜到398亿总参数、25亿激活。训练耗时优化做了6轮,从141.5秒压到77.5秒,缩短约45%;最后一轮用递归优化,又省下2.2秒。量化把输出层压到4bit再加离线蒸馏,与16位版本的差距不到0.7分。
田渊栋把递归自我改进定为公司的核心方向,希望AI系统自主实验、持续改进自己。Flint是这个方向第一次能拿实验记录核对的答卷。Recursive的打算是把这套研发方式接到后续模型上,让每一代的成果反过来提升Eureka Machine的能力。
五、开源之后,比的是一套新指标
六项基准的平均分,Flint的BF16版本是80.6,排在Qwen3.8的84.7之后,高于Muse Glimmer的74.8、Qwen3.6的71.7和Qwen3.5的68.9。
拆开看差距落在哪:Qwen3.8在Terminal-Bench 2.1上领先18.1个百分点,LiveCodeBench v6上领先10个百分点。Flint领先的地方在IFBench和IFEval两项指令遵循测试。总分落后约4分,输在长链路任务和竞赛型代码题,赢在听指令。
这个分布决定了用法。复杂任务拆成更小的子任务交给它,边拆边验;要一口气跑完几百步的活,交给参数更大的闭源模型更稳。
Flint采用Apache 2.0许可开源,权重可以在Hugging Face上取,GitHub仓库是recursive-oss/rec,本地能用SGLang、Ollama、LM Studio跑,也支持离线。
还有一件事值得留意:一家旧金山初创发模型,第一组对照基线全是Qwen系列,从3.5、3.6排到3.8,再加上Nemotron和Muse Glimmer。中国开源模型成了这个赛道的默认标尺。Recursive今年5月亮相时拿到6.5亿美元融资,估值46.5亿美元。这个估值对应一款40B开源模型,商业化的路还长。
本地编程模型这一轮的竞争点,已经从榜单分数挪到别处:同样一台机器上,谁能挂更多Agent、扛更长的会话、更少依赖云端。Flint的答案是把单次激活压到25亿,把推理栈和计算内核一起交出去。
下一个问题留给设备:当模型单次只吃25亿激活参数,48GB内存的笔记本能挂50个Agent,真正卡住本地AI的那条线,会不会从显存容量挪到内存带宽上?
