跳到正文
原文
Simon Willison·· 21 小时前精选AI 评分31

ttok 1.0 发布,默认 tokenizer 切换至 GPT-5/GPT-6

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 改为 GPT-5/GPT-6 系列。

推荐理由

把默认 tokenizer 从 GPT-4 切到 GPT-5/GPT-6,并以社区实验数据佐证两代模型在该语料上 token 计数一致,为读者更新 token 用量与上下文窗口测算提供直接依据。

来源:Simon Willison · simonwillison.net