跳到正文
原文
Simon Willison·· 9 小时前AI 评分49

ttok 1.0:默认改用 GPT-5/GPT-6 tokenizer

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 改为 GPT-5/GPT-6。William Liu 的实验显示,GPT-5.5、GPT-5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 在 31 个测试样本上均报告 44,794 个 tokens;GPT-6 在该语料库中未引入输入计数变化。

来源:Simon Willison · simonwillison.net