Hugging Face Blog·· 12 天前精选AI 评分63
tokenizers v1 发布候选版，单线程编码较 v0.23 提升 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
tokenizers v1 发布候选版，在 Apple M4 Max 单线程上对十种模型族的编码较 v0.23 提升 3 到 30 倍，在八核下达到 76% 线性扩展。
推荐理由
对比 v0.23 与 v1 的多项工程改动对吞吐的具体影响，并附带可在自有硬件上复现的基准方法。
来源：Hugging Face Blog · huggingface.co