AI 资源库 · 已整理 2 项
查看与attention-mechanism相关的 AI 资讯、工具、Skill、工作流和开源项目。
deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels
FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。
tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)
Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。