跳到正文
原文
OpenAI News·· 10 天前精选AI 评分65

GPT-6 推出改进版提示词缓存与监控工具

Better prompt caching for GPT-6

AI 导读

OpenAI 为 GPT-6 推出改进版提示词缓存系统,默认缓存命中率更高,对 30 分钟窗口内复用的前缀提供最高 90% 的输入 token 折扣。新增 Prompt Caching Dashboard、缓存诊断工具、显式缓存断点、推理力度调整推理不破坏缓存以及缓存预热等能力。

推荐理由

GPT-6 的缓存系统更新给出更高的默认命中率和监控工具,文中合作方数据可作为 Agent 类应用优化成本与延迟的参考。

来源:OpenAI News · openai.com