AI 资源库 · 已整理 5 项
查看与quantization相关的 AI 资讯、工具、Skill、工作流和开源项目。
auRose94/base9-quantization · Base-9 (ninths-grid) model quantization: the K9 codec, measured frontiers vs GGUF/NF4, and a parser-verified Godot 4 coder fine-tune
该项目提出并实现了一种基于九进位数（ninths / base-9）重复基权重量化网格的模型压缩格式，允许熵编码在 2 的幂量化档位之间滑动。仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器，以及在被验证的 Godot 4 解析器语料上训练的编码器微调模型（QLoRA）。README 记录了在 Qwen2.5-Coder 1.5B/7B/14B 上的后训练量化测量结果，包含与 GGUF / NF4 的对比，同时也记录了失败与零结果。
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
yzfly/edgejev · 离线可用的本地类型化决策：4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev
EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
liveryalpineanemone2431/DeepSeek-v4-Flash-One-DGX-Spark · Run DeepSeek V4 Flash 0731 with EXL3 and DSpark speculative decoding on a single NVIDIA DGX Spark (GB10, 128GB).
该项目面向单台 NVIDIA DGX Spark（GB10，128GB）平台，提供运行 DeepSeek V4 Flash 0731 的打包方案，结合 EXL3 量化与 DSpark 投机解码以提升本地推理性能。仓库 README 主要以 Windows 下 exe 安装向导形式介绍下载、安装、首次配置与聊天使用流程，并声明安装后全部本地运行、无需联网。需要说明的是，README 中的硬件要求（Windows 10/11、16GB 内存、50GB 磁盘）与仓库元数据描述的 DGX Spark（GB10）定位存在不一致，实际部署条件、依赖与限制以官方仓库为准。