Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法

tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)

GitHub原文发布未知首次收录 2026-10-19上架 2026-10-19 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。

# llm-inference # mechanistic-interpretability # long-context # multi-hop-reasoning # attention-mechanism

核心能力与快速开始

★ 1 · Python

能做什么: 提供在推理阶段对预训练混合注意力 Transformer 的注意力分布进行再分配的干预方案（双态 Boltzmann 外推与重整化群式中继），覆盖 1 至 5 跳指针追踪；包含 cubic plateau、query-slice、SWA decoy shield 与深度渐进 RG 等配置；附带逐层注意力遥测与 Logit Lens 分析，用于观察全局层与滑动窗口层之间的信息传递。
适用场景: 适用于研究长上下文多跳检索失效机理、在无需微调的前提下改良既有 Gemma-4 混合注意力模型的推理表现，以及在 RULER VT、BABILong qa3、Lost in the Middle 等长上下文基准上做对比实验。
项目形态: 研究实现
部署方式: 未说明；README 提供 Google Colab 演示笔记本，但未给出正式部署方式或服务化方案。
主要依赖: 未说明；README 的基准测试基于 google/gemma-4-E2B-it 与 google/gemma-4-E4B-it，以 bfloat16 精度运行，并列出评测脚本路径，但未给出硬件配置或依赖版本。
使用限制: 未说明；README 显示部分二维垂直 highway 配置会导致准确率大幅下降，方法效果依赖超参数（Q、c、β、sw 等）和所针对的模型结构，许可证状态为 NOASSERTION，实际使用限制需自行核实。
许可证: NOASSERTION
最近推送: 2026-10-19 03:01

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

用于长上下文推理与机制可解释性研究：在混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）上以免训练、权重不变的运行时注意力干预方式，改善多跳指针追踪与长上下文检索准确率，并可用仓库提供的评测脚本和结果文件复现 RULER VT、BABILong qa3、Lost in the Middle 等基准评测。

查看内容依据

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎

FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。

Senbonzakura：对开源权重语言模型进行去审查编辑并量化其代价

Senbonzakura 是一套 Python 工具，用于对开源权重 Transformer 语言模型执行 abliteration（项目称为 uncensoring）：移除模型原有的拒绝回答行为，并用带区间与对照的测量工具评估该编辑造成的代价，包括拒绝是否真正消失、模型是否仍能识别有害内容、推理能力是否下降以及首 token 分布漂移。仓库提供 compass、score、drift、capability、validate、check、report 等命令，并附带约 6200 条有害提示的评测轨道以便离线运行。README 明确说明该编辑会永久写入权重，且生成模型仍受基础模型许可证约束。

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。