InfoQ· Daniel Dominguez·· 16 小时前AI 评分63
Google 开源 TPU Sync：面向 TPU 的 KV 缓存与权重传输 C++ 库
Google Open-Sources TPU Sync for KV Cache and Weight Transfer on TPUs
AI 导读
Google Cloud 开源 TPU Sync，一个原生 C++ 库，用于在 TPU HBM、主机 DRAM、共享存储和数据中心网络之间搬运 KV 缓存块与模型权重，覆盖长上下文与 prefill/decode 分离的 LLM 服务及强化学习权重同步。
来源：InfoQ · infoq.com