base9-quantization：九分之格（base-9）模型量化格式与 llama.cpp 运行时的研究与实现

核心能力与快速开始

★ 0 · Python

能做什么

提供九分之格（base-9 / ninths，简称 K9）权重量化格式及配套实现：真实的 .k9 熵编码（rANS）容器、可原生加载该格式的 llama.cpp 分支（加载器 KV 为 ninths.directory）、C 语言 rANS 编解码器（278/210M symbols/s，编码支持并行且输出逐字节一致）、张量级流式解码。在 Qwen2.5-Coder 1.5B/7B/14B 上测量后训练量化效果，声称近无损档在 ppl 上与 fp16/q8_0 相当而文件更小；并给出小文件档位对 GGUF q2_k、q4_0 与 bitsandbytes NF4 的对比。还包含第二阶段的内容：构建经 Godot 4 解析器验证的 SFT 语料并训练 QLoRA 编码器，以及将微调模型重新量化进 K9 容器的流程。所有数值来自 experiments/ 目录中的脚本，预测在实验前预注册于 docs/01-hypothesis.md，零结果同样记录为结论。

适用场景

1) 在消费级 GPU 上以近无损精度本地、离线、私有地服务 7B–14B 模型（README 称该分支的 llama-server 已在 CUDA 与 HIP 上运行）。2) 将微调模型以同一容器格式下发。3) 作为非 2 的幂字母表量化研究的参考，复用其评测规范（配对窗口、噪声底、侧信息核算）与 EC-SQ 率失真推理。4) 从可重建的源码、文档与文本结果出发复现多 GB 产物。

项目形态

研究实现

部署方式

README 提到 llama.cpp 分支可原生解码 .k9，并在 CUDA（RTX 5060 Ti，sm_120）与 HIP（AMD 7900 XT，gfx1100）上测得推理速度；未给出完整的部署步骤与安装说明。

主要依赖

README 提到需要消费级 GPU（CUDA 或 HIP），以及在 Qwen2.5-Coder 1.5B/7B/14B 上运行；未说明显存、内存、磁盘或其他具体硬件门槛。

使用限制

作者自述缩放结论仅覆盖 Qwen2.5-Coder 1.5B/7B/14B 的后训练量化，基于两块消费级 GPU，是带误差条的首次测量而非模型家族普查。后验三元化（post-hoc ternary）不可用（困惑度崩溃至 992），三元权重需要 QAT。GPTQ 与 Lloyd 拟合码本不叠加，且补偿会损害拟合码本。重复小数记法本身不带来额外压缩。多 GB 产物不在仓库中（仅约 1 MB 源码、文档与文本结果），需按表格重建。README 提及曾因 CUDA error 719 导致设备故障，部分 QAT 实验暂停。

许可证

MIT

最近推送

2026-10-12 02:19

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可将该仓库作为模型量化与本地推理的参考实现：仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器，以及在 Godot 4 解析器语料上训练的编码器微调模型（QLoRA），可用于在消费级硬件上以更小文件部署近无损的本地模型，并参考其量化评测方法（配对窗口、噪声下限、侧信息核算）。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证