GPT-6 Astra在ARC-AGI 3上刷出接近满分的成绩之后,一个手机能跑的4B小模型也在这个基准上交出了惊人答卷。准确地说,这是4B Qwen-3.5与753B GLM-5.2的组合:GLM-5.2待在云端,手机端运行4B的Qwen-3.5,大模型全程不输出一个字,小模型负责把最终答案写出来。背后团队Mostik成立仅4个月,共15人,其中12名博士,首席科学家是2010年菲尔兹奖得主、日内瓦大学教授Stanislav Smirnov。 这项实验的起点,是一个关于效率的观察。大模型生成一个token的过程中,内部会构建超过一百个隐藏向量、约一百万个数值,相当于约两兆字节的内部状态信息,最终却只从约15万词的词表里挑出一个token输出。17个比特离开模型,两兆字节被丢弃。而现在所有让多模型协作的系统——编程子智能体、模型委员会、路由调度——都建立在这17个比特的文本之上。 Mostik的思路,是给模型之间架一座“桥”:让一个模型把自己的隐藏状态,通过一个经过训练的小型桥,直接传递给另一个模型,接收方拿到内部状态后直接使用,整个过程不产生任何文本,两个模型的权重完全冻结,桥是唯一被训练的部分。公开演示里,发送方是智谱的GLM-5.2(753B参数),接收方是阿里的Qwen-3.5(4B参数)。
文章图片 2
关键的算力设计藏在成本结构里。逐个生成token的“解码”环节最贵,一次性读取整个输入的“预填充”环节便宜得多。Mostik的做法恰好让大模型只做预填充、不做解码,把最贵的活全交给小模型。结果是4B小模型在桥的加持下,弥补了它与753B大模型之间约50%的性能差距,自身准确率提升25%;在大小模型差距更明显的难题子集上,提升达到2倍。换算成算力,要跑出同样成绩的等效中等规模部署,桥方案的成本约为其五分之二,大模型侧的推理成本被压到原本约二十分之一。 团队也回应了桥为何能成立的问题。模型越大,内部状态中携带的“未说出口”的信息越多,近年可解释性研究已在多个模型上观察到这种提前规划的表征。Mostik刻意冻结两个模型做严格测试,如果有用信息能在这种条件下通过,说明桥利用的是模型训练中自然产生的结构。当然,桥能否跨越更多模型、更多任务与真实业务负载,能否成为可靠的可观测性工具,团队自己也承认仍需验证。
文章图片 4
这件事的商业意义在于:当模型越来越多、能力越来越分层,让“对的模型干对的活”会从工程技巧变成一门生意。大模型做最重的理解与规划,小模型承担高频的生成与执行,中间的编排与计量交给平台,这比把所有请求都怼给旗舰模型要划算得多。它也在提醒行业,多模型协作的优化空间,远不止路由到哪个供应商那么简单。 把视角放到国产AI基础设施上,这样的路线恰恰指向“按能力分工、按成本供给”的算力使用方式。一条任务请求可能同时牵动云端大模型与端侧小模型,谁来分配、如何计量、怎样在不损失效果的前提下压低成本,会成为企业选型时绕不开的问题。让多模型以统一接口被调度、让每次调用的成本与效果透明可见,正是星战科技在大模型API广场与OPC智能体协作平台上不断沉淀的方向——把“用哪个模型、花多少Token”变成可编排、可优化的系统问题。