企业IT基础设施并非为AI推理而建

企业现有IT基础设施主要围绕AI训练设计，难以支撑大规模、低延迟的AI推理。推理依赖持续的信息流和不可预测的用户需求，需要地理分布的计算、边缘站点、低延迟网络及足够CPU容量协同运行计算、网络和存储。AI智能体还会增加API调用与突发流量，Gartner调查称仅28%的AI用例完全达到ROI预期，20%则失败。