Google 开源 XSE:C++ 服务运行时替代 Python 推理
热点事件持续更新
Google 开源 XSE:C++ 服务运行时替代 Python 推理
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Google 通过 OpenXLA 项目开源了 XSE(XLA Serving Engine),将 Python 编写的模型编译为 C++ 原生代码提供服务,以替代 Python 推理。据 The Register 报道,XSE 已在 YouTube Shorts、Google Ads 和 Search 中处理超过每秒六百万次查询。 XSE 主要面向排名、推荐、嵌入和视觉等高频短请求的较小任务型模型,而非大规模 LLM 推理——后者更适合 vLLM 或 SGLang 等工具。XLA SavedModels 可在 GPU 和 CPU 上运行,Google 与 Arm 和 Intel 合作开发相关生态,并计划集成 TorchTPU,让 PyTorch 用户可将模型导出后在 TPU 上进行 C++ 服务。
AI 根据报道生成 · 7 小时前更新
最新进展11月11日 19:30
Google 开源 XLA Serving Engine,以 C++ 服务运行时替代 Python 推理报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- The RegisterGoogle 开源 XLA Serving Engine,以 C++ 服务运行时替代 Python 推理
Google 通过 OpenXLA 项目开源了 XSE(XLA Serving Engine),将 Python 编写的模型编译为 C++ 原生代码进行服务。XSE 面向排名、推荐、嵌入和视觉等高频短请求模型而非大规模 LLM 推理,已在 YouTube Shorts、Google Ads 和 Search 中处理超过每秒六百万次查询。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月11日 20:00
- 近 24 小时变化
- –
02.557.510
20:0022:0011月12日02:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。