Simon Willison·· 9 小时前AI 评分49
ttok 1.0:默认改用 GPT-5/GPT-6 tokenizer
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 改为 GPT-5/GPT-6。William Liu 的实验显示,GPT-5.5、GPT-5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 在 31 个测试样本上均报告 44,794 个 tokens;GPT-6 在该语料库中未引入输入计数变化。
来源:Simon Willison · simonwillison.net