跳到正文
原文
Hugging Face Blog·· 12 天前精选AI 评分72

tokenizers v1 发布候选版:编码提速并保持输出兼容

tokenizers v1: encode, decode and scaling, measured

AI 导读

tokenizers v1 的 release candidate 已在 crates.io 提供,编码结果与 v0.23 保持相同 token IDs,并保留 API、词表和 merge ranks。文章称,在 Apple M4 Max 单线程下,所覆盖的十类模型编码速度提升 3 至 30 倍,八个工作线程达到 76% 的线性扩展;部分未覆盖模式仍使用 regex 路径。

推荐理由

release candidate 以兼容性为前提重构编码与解码路径,并公开可复现基准,适合评估 tokenizers v1 的性能收益、兼容边界和升级成本。

来源:Hugging Face Blog · huggingface.co