InfoQ· Steef-Jan Wiggers·· 11 小时前AI 评分73
Cloudflare 通过 AI Gateway 公测 Auto Router,按最新对话轮次评估请求
Cloudflare’s Auto Router Rates Each Request for Stakes, from the Most Recent Turns
AI 导读
Cloudflare 在 AI Gateway 公测 Auto Router,可设置 cloudflare/auto,由分类器为每次请求选择候选模型。它仅依据最新轮次最多 8 KiB 文本,评估 14 类任务及复杂度、歧义、风险和对上下文的依赖;文中披露的 97 项任务基准显示,约三分之一成本可换取约 10 个百分点可靠性,但会话切换、权重维护及部分模型需手动加入等限制需实测确认。
来源:InfoQ · infoq.com