AI 资源库 · 已整理 2 项

model-compression

查看与model-compression相关的 AI 资讯、工具、Skill、工作流和开源项目。

推理与部署

Transformer Tricks：简化并加速 Transformer 模型的技巧与工具集

OpenMachine-ai/transformer-tricks · A collection of tricks and tools to speed up transformer models

Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。

# Transformer# llm-inference# model-compression# 计算效率# model-optimization
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
模型与多模态

base9-quantization：九分之格（base-9）模型量化格式与 llama.cpp 运行时的研究与实现

auRose94/base9-quantization · Base-9 (ninths-grid) model quantization: the K9 codec, measured frontiers vs GGUF/NF4, and a parser-verified Godot 4 coder fine-tune

该项目提出并实现了一种基于九进位数（ninths / base-9）重复基权重量化网格的模型压缩格式，允许熵编码在 2 的幂量化档位之间滑动。仓库提供真实的 .k9 容器、可原生加载该格式的 llama.cpp 分支、C 语言 rANS 编解码器，以及在被验证的 Godot 4 解析器语料上训练的编码器微调模型（QLoRA）。README 记录了在 Qwen2.5-Coder 1.5B/7B/14B 上的后训练量化测量结果，包含与 GGUF / NF4 的对比，同时也记录了失败与零结果。

# llama.cpp# quantization# model-compression# rans-entropy-coding# qlora
☆ 收藏查看来源 ↗
评论 · 分享第一个看法