LLM推理延迟：测量指标及差异来源指南

Redis Blog指南解释LLM推理延迟的多种测量方式，包括首Token时间、后续Token时间、完整响应时间和多步骤Agent运行时间。文中指出，吞吐量、单模型生成速度无法完整代表用户等待体验，队列、护栏、冷启动与RAG检索也会增加延迟，并建议按聊天、Agent和批处理任务选择指标。