计算效率

Transformer Tricks：简化并加速 Transformer 模型的技巧与工具集

OpenMachine-ai/transformer-tricks · A collection of tricks and tools to speed up transformer models

Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。

上下文语言模型：自我管理上下文以提升性能并降低计算成本

Meta、MIT 和华盛顿大学的研究人员提出了一种叫“上下文语言模型”（CLM）的新方法。过去，语言模型的长上下文通常靠事先定好的规则来总结、压缩和检索信息，不够灵活。这次让模型自己决定怎么管理和修改上下文内容。研究人员表示，这种做法在性能和计算效率上都有明显提升。对读者来说，这意味着未来 AI 处理长对话、长文档时可能更聪明，同时更省算力，不过目前还只是研究阶段。