← 返回列表

Intel 不改动任何权重,将 1.58 位 LLM 压缩至 1.485 位

The New Stack原文发布 2026-09-18 04:51首次收录 2026-09-18上架 2026-09-18 07:17

☆ 收藏查看原文 ↗

这件事讲了什么

Intel 的研究人员开发了一种叫 BITCOS 的新格式,专门用来存储三值模型的权重。三值模型的权重只有 -1、0、+1 三种,理论上最少要 1.58 位来存一个权重,传统打包方式实际要 1.625 位。BITCOS 把权重分成两个流:先用一个 bit 记录每个权重是不是零,再给非零权重单独记正负号。因为真实模型里有大量零(29.7% 到 51.5%),零就省下了符号位,存储成本能降到平均 1.485 位。这种方法只改存储、不改模型本身,解包后恢复原来的权重,精度不受影响。在 CPU 和 GPU 上,解码速度最多快了 18% 和 27%。不过这套方案还没经过同行评审,只在 Intel 自家硬件上测试过。

可以使用的工具

文中可用工具

  • BITCOS一种新的权重存储格式,把位置和符号分开存,让三值模型占更少空间且不损失精度
这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。