演示：使用 Ray 将框架无关的 AI 智能体基础设施扩展到生产环境

演讲者演示使用 Ray Serve 将基于 FastAPI 的旅行规划智能体迁移到可扩展的 AI 智能体基础设施，并通过 RayService、Kubernetes 和多区域架构支持生产部署。内容还涉及请求扩缩容、任务队列、故障容错、流式响应、追踪与日志，以及认证、授权、限流、提示词版本管理和智能体评测。旅行规划器是为本次演讲制作的原型，所述基础设施方案仍被认为具有生产潜力。