跳到正文
原文
Ollama 官方发布· dhiltgen·· 12 小时前AI 评分52

Ollama v0.40.0-rc1 调整 MLX tokenizer 语义并补充回归测试

v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)

AI 导读

Ollama 发布 v0.40.0-rc1,使 MLX 匹配发布方的 tokenizer 语义。该版本覆盖预分词阶段顺序、切分行为、Unicode 边界、added-token 规范化和 ranked BPE merges,并新增 Go/Python 共用参考用例及配置优先级、byte fallback、并行编码等回归测试。

来源:Ollama 官方发布 · github.com