苹果今日在新款Mac Studio中推出了M5 Ultra芯片,这是苹果有史以来性能最强的芯片。M5 Ultra采用UltraFusion技术将两颗双芯片M5 Max连接为四芯片架构,拥有最多36核CPU、80核GPU与32核神经引擎,统一内存带宽高达1.2TB/s,比M3 Ultra高出50%,最高可配置512GB统一内存。 这颗芯片最受关注的能力,是在设备端运行大型AI模型。凭借1.2TB/s的统一内存带宽与512GB的本地内存池,M5 Ultra可以把数千亿参数的大语言模型完全放进本地内存运行,配合每个GPU核心内置的神经网络加速器,AI峰值计算性能相比M3 Ultra最高提升4.5倍,本地推理与模型微调成为可落地的现实场景。 这背后是端侧算力路线的一次集中释放。过去大模型推理几乎绑定数据中心与云端,本地设备受限于内存容量与带宽,只能运行中小规模模型。M5 Ultra把统一内存带宽和容量抬到新量级,意味着相当一部分AI工作负载可以回到桌面端执行,在隐私、时延与成本上给出另一种选择。
文章图片 2
不过,端侧算力的意义也要放在合理边界里看。数千亿参数模型在桌面端可运行,不等于所有任务都适合在本地做;训练与大规模并发的推理仍依赖云端集群,本地与云端是互补而非替代的关系。对企业而言,关键不是二选一,而是知道什么样的负载放本地、什么样的负载上云端。 端侧与云端的协同,正在成为AI基础设施的常态结构。星战科技聚焦GPU算力平台与算力调度能力,帮助企业按任务特性把推理与训练负载在云端算力与本地设备之间统一编排、按需调度,让每一次计算都落在最合适的算力位置上,兼顾性能、成本与数据安全。
文章图片 4
端侧算力的抬升还会改变AI应用的开发方式。开发者可以借助本地高性能环境快速迭代模型与智能体,验证通过后再部署到规模化算力上,研发与生产的衔接因此更顺畅。算力能力的分层,让不同规模的企业都能找到适合自己的AI落地路径。 从云端到桌面的算力接力,说明AI算力的分布正在变得更加立体。终端设备承担越来越多本地推理,云端负责重负载与规模化训练,两者之间的调度与协同将成为新的技术纵深。对企业和开发者来说,掌握跨端云两端的算力编排能力,就是握住下一代AI应用的门票。