跳到正文
热点事件持续更新

PyTorch原生TPU推理已在Meta投产

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Google、Meta与RadixArk联合发布PyTorch原生的SGLang-TorchTPU,已在Meta数据中心生产环境运行AI推理;配套的vLLM-TorchTPU也已开源发布。 两套版本让TPU可直接服务现有PyTorch工作负载,迁移通常无需大幅改写代码。SGLang-TorchTPU后续将扩充模型支持,首批包括DeepSeek V4.1 Flash和Reflection Beam。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. Tom’s Hardware精选
    Google TPUs通过PyTorch原生推理引擎在Meta数据中心投入生产

    Google、Meta与SGLang团队合作推出PyTorch原生的SGLang-TorchTPU,现已在Meta生产环境运行AI推理。匹配版本vLLM-TorchTPU也以开源形式发布,减少现有PyTorch工作负载迁移到TPU所需的改写。文中还披露了基于第七代Ironwood TPU的Kimi K3推理测试结果,以及后续模型支持计划。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。