Google 开源 XLA Serving Engine，以 C++ 服务运行时替代 Python 推理

Google 通过 OpenXLA 项目开源了 XSE（XLA Serving Engine），将 Python 编写的模型编译为 C++ 原生代码进行服务。XSE 面向排名、推荐、嵌入和视觉等高频短请求模型而非大规模 LLM 推理，已在 YouTube Shorts、Google Ads 和 Search 中处理超过每秒六百万次查询。