7月28日,月之暗面Moonshot正式宣布Kimi K3全面开源,开放完整模型权重、技术细节和47页技术报告。K3总参数量高达2.88万亿,每个Token激活参数量为1040亿,原生支持100万Token超长上下文窗口,视觉与文本从预训练第一天起就交织在一起,没有任何后期的缝合对齐阶段。 这一发布的时间点颇具意味。就在K3开放权重几小时前,近200家硅谷创始人联合表态反对美国政府切断美国企业获取开源大模型的渠道,英伟达、微软、Meta、a16z、YC等25家企业联合署名表示开源为什么重要。在全球开源与闭源路线博弈的关键时刻,中国团队选择以全面开源回应。 从技术架构看,K3相比上一代K2在整体扩展效率上实现了约2.5倍的飞跃。这归功于三大架构革新:KDA混合线性注意力机制专为超长序列设计,打破上下文长度的内存诅咒;Attention Residuals允许当前层跨级直接读取之前所有层的特征表示,解决深层网络信息损耗问题;896个专家的路由MoE架构配合Stable LatentMoE框架,在极度稀疏情况下保持训练稳定。
文章图片 2
强化学习环节完全为100万Token超长视距的智能体量身定制。月之暗面开发了基于微型虚拟机的沙盒AgentENV,K3在其中历经成百上千个步骤:写代码、截图、查Bug、自我修正,甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工处理跨越虚拟数天的超长待机任务。研发团队还构建了自我进化的知识图谱,让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务。 企业需要的不是盲目押注某一个模型,而是一套能根据任务复杂度自动路由到最优性价比模型的调度机制。星战通过算力调度引擎支持多代际、多品牌芯片统一纳管和动态分配,帮助企业建立多模型混合调度机制,确保在开源与闭源模型快速迭代时具备灵活切换和应急响应能力。
文章图片 4
K3的横空出世打破了只有闭源巨头才能玩转百万级Agent和慢思考的偏见。当代码、权重和技术细节毫无保留地开放,大量社区优化版本、本地部署方案和垂直应用将蓬勃而出。国产开源路线正在成为面对闭源巨头的一次弯道超车机会,以K3为代表的中国开源AI崛起,或将彻底改变全球大模型的游戏规则。