AI 资源库 · 已整理 8 项
查看与量化相关的 AI 资讯、工具、Skill、工作流和开源项目。
ggml-org/llama.cpp · LLM inference in C/C++
llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
blairq/genesis-vllm-patches · Runtime patches for vLLM 0.29.0: a 27B hybrid-GDN model at 256K context on 2x RTX 3090 — integer attention kernels, W4A8 Marlin, DFlash2 speculative decoding.
该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
Intel 的研究人员开发了一种叫 BITCOS 的新格式，专门用来存储三值模型的权重。三值模型的权重只有 -1、0、+1 三种，理论上最少要 1.58 位来存一个权重，传统打包方式实际要 1.625 位。BITCOS 把权重分成两个流：先用一个 bit 记录每个权重是不是零，再给非零权重单独记正负号。因为真实模型里有大量零（29.7% 到 51.5%），零就省下了符号位，存储成本能降到平均 1.485 位。这种方法只改存储、不改模型本身，解包后恢复原来的权重，精度不受影响。在 CPU 和 GPU 上，解码速度最多快了 18% 和 27%。不过这套方案还没经过同行评审，只在 Intel 自家硬件上测试过。
Pinterest Engineering 对其 Manas 搜索平台进行升级，以管理海量数据并提升搜索与发现效率。通过应用标量量化和乘积量化，内存占用显著降低，同时保持高召回率。该平台利用 SSD 优化性能，并正转向多向量模型以实现更精细的相关性匹配。作者：Olimpiu Pop
JustVugg/colibri · Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。它支持 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等模型家族，提供 chat / serve / web 前端，并包含专家多级驻留、双 SSD 条带、批合并读取、路由预取与本地集群模式等系统级优化，同时定位为可修改、可测量的开源推理研究平台。
Chip Huyen 在 P99 大会上分享降低 LLM 推理成本的思路，将优化分为模型优化与服务优化两大类：前者通过量化和蒸馏改变模型权重，后者通过批处理、调度与请求复用提升推理服务效率，并提醒蒸馏需注意模型许可限制。