GPT-6 更出色的提示词缓存
GPT-6 在提示词缓存上做了改进:缓存命中率更高,新增诊断信息、显式断点以及一些控制选项。所谓提示词缓存,就是把重复使用的提示词内容先存起来,之后不用每次重新处理,从而降低延迟和成本。过去命中率不高、也不好排查问题,这次靠新工具和可手动指定的断点来改善。对经常调用模型的人来说,响应会更快、花费也可能更少。目前材料只说明是改进,没有提到具体怎么开放或何时能用。
文中可用工具
- GPT-6OpenAI 的模型,本次改进其提示词缓存能力
评论 · 分享第一个看法
AI 资源库 · 已整理 2 项
查看与latency相关的 AI 资讯、工具、Skill、工作流和开源项目。
GPT-6 在提示词缓存上做了改进:缓存命中率更高,新增诊断信息、显式断点以及一些控制选项。所谓提示词缓存,就是把重复使用的提示词内容先存起来,之后不用每次重新处理,从而降低延迟和成本。过去命中率不高、也不好排查问题,这次靠新工具和可手动指定的断点来改善。对经常调用模型的人来说,响应会更快、花费也可能更少。目前材料只说明是改进,没有提到具体怎么开放或何时能用。
Cloudflare 过去在连接网站服务器时,总是先猜对方偏好某种加密握手方式(X25519),猜错就得重试一次,导致约 52% 的连接要多花一轮。现在它改为逐源站实测,先搞清楚每个服务器的真实偏好再连接,重试率降到 3.7%,p90 延迟减少超过 150 毫秒。抗量子加密握手一次成功的比例从 0% 升到 99.2%,但支持该能力的源站仅 12.8%。读者能感受到网站连接更快、更少卡顿。
提供的材料未提及具体可用工具。