GPT-6 更出色的提示词缓存
这件事讲了什么
GPT-6 在提示词缓存上做了改进:缓存命中率更高,新增诊断信息、显式断点以及一些控制选项。所谓提示词缓存,就是把重复使用的提示词内容先存起来,之后不用每次重新处理,从而降低延迟和成本。过去命中率不高、也不好排查问题,这次靠新工具和可手动指定的断点来改善。对经常调用模型的人来说,响应会更快、花费也可能更少。目前材料只说明是改进,没有提到具体怎么开放或何时能用。
可以使用的工具
文中可用工具
- GPT-6OpenAI 的模型,本次改进其提示词缓存能力
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。