研究称AI分词器对不同语言Token消耗最高差17倍

1. 12:25
   IT之家

   研究显示 AI 模型处理不同语言 Token 消耗量最高相差 17 倍

   人工智能语言公平研究联盟发布研究发现，AI 模型处理不同语言时 Token 消耗量差异悬殊：常用 20 种语言间相差 1.5 至 5 倍，一个模型中最多相差 17 倍。研究称其为隐性的“分词器税”，网络内容少的语言成本更高，还会导致响应变慢和上下文容量减少。文中提到改善途径包括提高底层数据质量（如 RESPIN 项目收集 38 种方言数据），以及实验室专门改进下一代分词器设计。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。