硬件加速

Intel 不改动任何权重，将 1.58 位 LLM 压缩至 1.485 位

Intel 的研究人员开发了一种叫 BITCOS 的新格式，专门用来存储三值模型的权重。三值模型的权重只有 -1、0、+1 三种，理论上最少要 1.58 位来存一个权重，传统打包方式实际要 1.625 位。BITCOS 把权重分成两个流：先用一个 bit 记录每个权重是不是零，再给非零权重单独记正负号。因为真实模型里有大量零（29.7% 到 51.5%），零就省下了符号位，存储成本能降到平均 1.485 位。这种方法只改存储、不改模型本身，解包后恢复原来的权重，精度不受影响。在 CPU 和 GPU 上，解码速度最多快了 18% 和 27%。不过这套方案还没经过同行评审，只在 Intel 自家硬件上测试过。