OpenAI News·· 10 天前精选AI 评分65
GPT-6 推出改进版提示词缓存与监控工具
Better prompt caching for GPT-6
AI 导读
OpenAI 为 GPT-6 推出改进版提示词缓存系统,默认缓存命中率更高,对 30 分钟窗口内复用的前缀提供最高 90% 的输入 token 折扣。新增 Prompt Caching Dashboard、缓存诊断工具、显式缓存断点、推理力度调整推理不破坏缓存以及缓存预热等能力。
推荐理由
GPT-6 的缓存系统更新给出更高的默认命中率和监控工具,文中合作方数据可作为 Agent 类应用优化成本与延迟的参考。
来源:OpenAI News · openai.com