推理与部署工具
safespec-raise：长上下文推测解码的收益判据与 RAISE 增量回退调度参考实现
Tristan156/safespec-raise · 长上下文推测解码的收益判据与增量回退调度（RAISE）参考实现 — Reference implementation of a break-even criterion and RAISE scheduling for long-context speculative decoding
ELI5：它是什么，解决什么问题
safespec-raise 是论文《长上下文推测解码的收益判据与增量回退调度》的配套参考实现，提供常规贪心解码、块验证推测解码与动态 k 基线，以及 RAISE 调度内核（增量回退 M1、置信度门控自适应深度 M2、严格 EOS 终止 M3）。项目给出可证伪的收益判据：在每轮恰好一次目标前向的不变式下，草稿深度 k 并非独立收益杠杆，长上下文下出现负加速主因是执行路径的每轮固定开销；材料报告三机制中仅 M1 呈正效应，并提供冒烟测试、成本标定、多方法对照、机制消融与剖面扫描等实验脚本，以及离线结果聚合与一致性核查脚本。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供推测解码的常规贪心解码、块验证推测解码与动态 k 基线；实现 RAISE 调度内核，包含 M1 增量回退（每轮目标前向恒为 1）、M2 基于 draft logit margin 与滑动窗口接受率的自适应深度、M3 严格 EOS 终止；提供可证伪的收益判据公式与 RAISE 判据；附带冒烟测试（确定性 MockLM，无需 GPU/模型/网络）、成本标定、端到端对照、机制消融、k 消融、跨框架对照、剖面扫描及离线聚合与一致性核查脚本。
- 适用场景
- 用于研究长上下文场景下推测解码何时能翻正为加速；复现论文中的成本分解与机制消融实验；在同一批次内比较常规自回归、固定 k 推测解码与 RAISE 调度的相对表现；基于 LongBench 派生请求剖面进行离线结果分析与标注一致性核查。
- 项目形态
- 研究实现
- 部署方式
- 未说明（仓库为本地运行的参考实现与实验脚本，安装使用 Python 虚拟环境）
- 主要依赖
- Python；PyTorch（需按 CUDA 版本单独安装）；transformers 需 5.x（依赖 DynamicCache.layers[i].crop(n) 与 past_key_values 原地更新）；默认 target 模型 Qwen/Qwen2.5-7B-Instruct、draft 模型 Qwen/Qwen2.5-0.5B-Instruct；需自行下载 LongBench 官方数据到 data/longbench/data；冒烟测试无需 GPU、模型或网络；GPU 建议 ≥24GB（7B target + 0.5B draft，fp16），CPU 可跑冒烟测试但很慢；API 成本未说明
- 使用限制
- 材料明确比值型指标 γ 在共享容器上不可复现（同配置两次标定可差 50%+），不建议跨环境引用绝对值；实验计时不含 prefill；三机制中 M2a 为噪声级、M2b+M3 为负效应，仅 M1 达正效应；k 消融中 k=4 最优（0.7185×），即整体仍为负加速；负加速成因与执行路径固定开销相关，跨框架对照仅为材料报告结果；论文发表信息尚未补入。
- 许可证
- MIT
- 最近推送
- 2026-11-05 17:29
资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为长上下文推测解码的参考实现与实验工具，程序员可运行冒烟测试验证无损性与每轮一次目标前向不变量，使用标定、多方法对照、机制消融、k 扫描与剖面扫描脚本评估推测解码在长上下文下的收益与负加速成因。
查看内容依据
提供常规贪心解码、块验证推测解码与动态 k 基线，以及 RAISE 调度内核（增量回退 M1、置信度门控自适应深度 M2、严格 EOS 终止 M3）。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。