prompt-caching

OpenAI 将 GPT-6 token 价格减半，更大的杠杆或许是缓存

OpenAI 周二发布了 GPT-6 Sol 和 Luna，可以理解为 GPT-6 Astra 的降价版本，对齐程度上比之前的 GPT-5.6 Sol 更接近 Astra，但仍不如旗舰模型。这次最直接的改变是 API 价格砍半：输入每百万 token 分别只要 2 美元和 0.1 美元，输出为 10 美元和 0.5 美元，Luna 的输出 token 更是比上一代便宜 58%。不过 OpenAI 强调，缓存改进才是真正的省钱杠杆：默认缓存命中率更高，缓存读取打九折（即 90% 折扣），而且调整推理强度或工具可用性时不会破坏已有缓存。此外还上线了 Prompt Caching Dashboard，让开发者能看到哪些上下文被复用、哪些机会被浪费。对开发者来说，同一个任务不必每次从头处理上下文，速度和成本都会下降。

提升长时间智能体运行的 token 效率 · Cursor

Cursor 团队说，他们优化了智能体（也就是能自己连续干活的 AI）跑长任务时的“上下文”组织方式：过去每轮请求都要重复带上大量系统提示和工具说明，费用高。现在他们精简了约 66% 的系统提示，把低频工具改成按需加载，并在 GPT-5.6 之后利用 OpenAI API 显式标记缓存断点，还改为每十行才标一次行号、更谨慎地使用子智能体。结果是整体 token 成本降低 7%，冷缓存未命中率降低 20%，缓存读取 token 减少 1.6%，智能体质量没有下降。这些经验也被用到了 Grok Bot 上。

OpenPipe：将前沿大模型工作负载蒸馏为更小更便宜专用模型的微调与推理平台

api-evangelist/openpipe · OpenPipe — independent third-party profile of a public API surface, by API Evangelist. OpenPipe is a fine-tuning and inference platform for distilling expensive frontier-LLM workloads into smaller, cheaper specialized models. Captures production traces (OpenAI and Anthropic), fine-tunes, evaluates with judges, caches results, and serves the result

OpenPipe 是一个面向大语言模型的微调与推理平台，核心能力是把昂贵的前沿 LLM 工作负载蒸馏为更小、更便宜的专用模型。平台可采集生产环境中的调用轨迹（支持 OpenAI 与 Anthropic），在此基础上进行微调、使用 judges 做评估、缓存结果，并通过 OpenAI 兼容 API 提供服务，同时支持代理转发到外部模型。本仓库是 API Evangelist 维护的第三方公开 API 概况资料，本身不包含软件，也不是该公司的官方仓库。

OpenAI 发布 GPT-6 Sol 与 Luna，token 价格腰斩

OpenAI 周二发布了两款新模型 GPT-6 Sol 和 GPT-6 Luna，与旗舰 GPT-6 Astra 组成产品线。比以前 GPT-5.6 系列，这两款模型每百万 token 的输入/输出价格降了一半以上，比如 Sol 从 4/20 美元降到 2/10 美元，Luna 从 0.20/1.20 美元降到 0.10/0.50 美元，而且这次是默认价格，不再只是促销。OpenAI 说缓存和推理效率提升让他们能便宜地提供服务，还把改进的提示缓存折扣最高 90% 给开发者，并允许改推理强度和工具可用性而不让缓存失效。不过 AI 模型迭代很快，Anthropic 当天也发了 Opus 5.5 并降价，所以两家谁更划算还没人做直接对比测试，用户实际做预算仍有难度。

GPT-6 更出色的提示词缓存

GPT-6 在提示词缓存上做了改进：缓存命中率更高，新增诊断信息、显式断点以及一些控制选项。所谓提示词缓存，就是把重复使用的提示词内容先存起来，之后不用每次重新处理，从而降低延迟和成本。过去命中率不高、也不好排查问题，这次靠新工具和可手动指定的断点来改善。对经常调用模型的人来说，响应会更快、花费也可能更少。目前材料只说明是改进，没有提到具体怎么开放或何时能用。