GPT-2

spec-decode：从零实现 GPT-2 投机解码与 KV 缓存的性能实测项目

AryenP/spec-decode · Speculative decoding and a KV cache written from scratch on GPT-2, measured on an M2 Pro and an RTX 4090: up to 2.69x over a KV cache, fp32 output byte-identical

该项目在 GPT-2 上从零实现前向计算、逐行回滚的 KV 缓存以及投机解码生成器，仅使用 HuggingFace 加载权重和分词器。项目在 M2 Pro 和 RTX 4090 上对比了全量重算、KV 缓存、带草稿模型的投机解码与无草稿模型的 prompt lookup 方法，记录吞吐数据、批处理表现、采样与 bf16 精度下的差异，并保留测试与完整实验配置。