Hugging Face Blog·· 2 小时前精选AI 评分70
VocabX 按推理成本优化专用模型词表，实测降低 77.0% 推理成本
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma-AI 预览 VocabX 论文，提出通过子词合并与宏词元按实际推理成本构建领域专用词表。在葡萄牙语作文评分器中，词表输出层从约 152,000 行降至约 65,000 行，平均响应长度从 350 个 token 降至 101 个，推理成本下降 77.0%，bench score 从 0.703 升至 0.810。
推荐理由
文章给出按推理成本而非词频调整模型词表的方法与实测数据，对优化专用小模型的推理费用、词表设计和质量取舍具有直接参考价值。
来源：Hugging Face Blog · huggingface.co