Aiven拟将LLM网关推向客户
热点事件持续更新
Aiven拟将LLM网关推向客户
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Aiven计划把基于开源框架LiteLLM构建的LLM网关作为服务推出，帮助客户在工作流中切换开放权重模型，并通过预算和访问管理等功能控制令牌成本。 Aiven称，公司转向开放权重模型并部署内部网关后，重度用户的令牌支出下降约80%；这一数据来自其内部使用情况，并不代表客户采用该服务后也会获得相同降幅。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 18:15
Aiven构建基于LiteLLM的LLM网关，以降低模型Token成本报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- The RegisterAiven构建基于LiteLLM的LLM网关，以降低模型Token成本
欧洲开源数据库服务商 Aiven 表示，转向开放权重模型并部署内部 LLM 网关后，重度用户相关 Token 支出下降约80%。其网关基于开源框架 LiteLLM，增加预算与访问管理等功能，计划作为服务提供，以帮助客户在工作流中切换模型并控制成本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。