微软承诺将 Maia 扩展至多吉瓦级推理部署,其效率指标引发质疑
微软宣布从 2027 年起,把自研的 Maia 加速器系列扩大到多吉瓦级别(吉瓦是很大的用电规模单位),并用它作为自家产品的主要推理系统。新一代 Maia 300 把芯片之间的两种网络连接合并到一张以太网里,还能在预填充和解码两类工作节点之间传递 KV 状态,不用把数据搬出网络。不过有从业者质疑,这次公告重点宣传的“每瓦 token 数”效率指标是否站得住脚。对读者来说,这反映了大厂自研 AI 芯片的推进方向,也提醒大家看厂商效率数字时要多留个心眼;目前只是宣布计划,2027 年才落地,具体细节原文没有说明。
文中可用工具
- Maia微软自研的 AI 加速器系列,计划从 2027 年起用于自家产品的推理
- Maia 300该系列的新型号,把两种网络连接合并到一张以太网,并在预填充和解码工作节点之间传递 KV 状态
- Ethernet用于承载合并后芯片间网络连接的以太网技术
评论 · 分享第一个看法