Ollama 官方发布· dhiltgen·· 12 小时前AI 评分52
Ollama v0.40.0-rc1 调整 MLX tokenizer 语义并补充回归测试
v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)
AI 导读
Ollama 发布 v0.40.0-rc1,使 MLX 匹配发布方的 tokenizer 语义。该版本覆盖预分词阶段顺序、切分行为、Unicode 边界、added-token 规范化和 ranked BPE merges,并新增 Go/Python 共用参考用例及配置优先级、byte fallback、并行编码等回归测试。
来源:Ollama 官方发布 · github.com