跳到正文
开源中国资讯·· 3 小时前AI 评分27

DeepSeek 开源推理框架 DeepInfer:补齐服务链路

DeepSeek 开源推理框架 DeepInfer:服务链路的最后一块拼图

AI 导读

DeepSeek 开源推理框架 DeepInfer,将模型调用与算力集群调度纳入 AI 服务链路。DeepInfer 并非模型,而是负责统筹算力集群的中间层,其效率会直接影响大规模调用时的算力成本和电费。

来源:开源中国资讯 · oschina.net