The Register· Lindsay Clark ·· 9 小时前AI 评分58
Aiven构建基于LiteLLM的LLM网关，以降低模型Token成本
Euro open source specialist proposes LLM gateway to ease token bills
AI 导读
欧洲开源数据库服务商 Aiven 表示，转向开放权重模型并部署内部 LLM 网关后，重度用户相关 Token 支出下降约80%。其网关基于开源框架 LiteLLM，增加预算与访问管理等功能，计划作为服务提供，以帮助客户在工作流中切换模型并控制成本。
来源：The Register · theregister.com