Simon Willison·· 21 小时前精选AI 评分31
ttok 1.0 发布,默认 tokenizer 切换至 GPT-5/GPT-6
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 改为 GPT-5/GPT-6 系列。
推荐理由
把默认 tokenizer 从 GPT-4 切到 GPT-5/GPT-6,并以社区实验数据佐证两代模型在该语料上 token 计数一致,为读者更新 token 用量与上下文窗口测算提供直接依据。
来源:Simon Willison · simonwillison.net