跳到正文
原文
IT之家·· 6 小时前AI 评分67

英特尔推出面向第四至第六代至强处理器的推理微服务

英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数

AI 导读

英特尔推出 Intel Inference Microservices,将大语言模型推理以独立容器形式部署,并自动检测第四至第六代至强处理器及主机配置。

来源:IT之家 · ithome.com