跨栏目检索

搜索归档

搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。

推理与部署

最近成功采集
更多筛选 标签、来源与日期
重置筛选
2 条结果 / 第 1 页
每日归档
27 条34 条40 条34 条47 条25 条28 条43 条51 条51 条39 条33 条28 条20 条更早内容可通过日期筛选或翻页查找。
当前筛选：2026-10-19 ×
推理与部署

Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法

tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。

展开详情收起详情：Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法
# llm-inference# mechanistic-interpretability# long-context# multi-hop-reasoning# attention-mechanism

★ 1 · 研究实现

GitHub
原文发布：未知收录：2026-10-19
☆ 收藏0 条评论查看项目
评论 · 分享第一个看法
推理与部署

Chimeraforge：LLM 部署容量规划命令行工具

Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.

Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。

展开详情收起详情：Chimeraforge：LLM 部署容量规划命令行工具
# MCP# vLLM# 推理部署# GPU 资源规划# 容量规划

★ 2 · 可直接使用的工具

GitHub
原文发布：未知收录：2026-10-19
☆ 收藏0 条评论查看项目
评论 · 分享第一个看法