8月24日,小米在玄戒芯片技术沟通会上正式发布大模型专用AI加速芯片玄戒O100。这颗芯片采用6nm 3D晶圆级堆叠方案,带宽达到1.22TB/s,并采用近存AI计算架构,配合玄戒高带宽矩阵总线支持多核并行计算,运行Xiaomi MiMo 3B模型可实现330Tokens/s的推理速度,官方将其定位为面向端侧与云端大模型推理的专用加速方案。 大模型应用大规模进入生产环境后,推理侧算力正在成为比训练侧更拥挤的战场。端侧要解决功耗与成本的平衡,云端要面对推理吞吐与延迟的双重要求,芯片设计思路也随之分化——专用AI加速芯片、近存计算与异构堆叠成为各厂商争夺的焦点。 玄戒O100的推出,延续了近存计算与3D堆叠在AI推理芯片上的技术主线。把计算单元与存储单元更紧密地绑定,可以显著缓解大模型推理中的带宽瓶颈,这与业内头部方案殊途同归。对国产AI芯片而言,这标志着继云端训练芯片之后,端云协同的推理芯片矩阵正在成型。
文章图片 2
但芯片硬件只是算力供给的一环。国产AI芯片普遍面临软件栈成熟度、开发者生态与多框架适配的考验,企业即便拿到芯片,也未必能立刻把训练与推理任务顺畅地跑起来。硬件降价、算力供给增加,与最终落地之间,还隔着工程化适配这一层。 这正是多元算力选型平台的价值所在。星战科技聚焦GPU算力平台与算力调度能力,帮助企业把训练与推理任务统一管理、弹性调度,让包括国产芯片在内的多元算力底座都能被按需接入,为智能体业务提供更灵活、更低成本的算力选型空间。 从产业节奏看,端侧芯片的成熟会推动AI应用从云端下沉,也让智能体在手机、终端设备上获得本地推理能力;而云端一侧,多元芯片并存将缓解单一供应链的依赖,增强算力供给的韧性。对企业而言,算力采购不再是非此即彼的选择,而是组合与调度的艺术。
文章图片 4
小米入局大模型AI加速芯片,说明推理算力已成为各终端厂商必须自建的能力。国产芯片的持续补位,正在把算力成本从供给侧的稀缺,逐步推向工程化的日常问题——谁的平台能把多元算力调度好,谁就更接近大模型与智能体的规模化落地。