如何监控 AI 网络中的延迟

AI 应用在错误率稳定时，仍可能因检索降级、模型切换或迭代超时而降低回答质量，因此延迟应同时作为速度与质量指标监测。指南介绍 TTFT、ITL、端到端及 P95/P99 延迟，建议用 OpenTelemetry、SLI、SLO 和错误预算监控各阶段，并以百分位而非平均值识别慢请求。