Hugging Face Blog·· 14 小时前精选AI 评分81
PyTorch 2.15 为 MPS 引入 FP8 并加速语言模型解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 候选版为 MPS 加入 torch.float8_e4m3fn,并优化语言模型解码、线性代数、音频视频及训练操作。该版本要求 Apple silicon Mac、macOS 15 或更高版本以及 Python 3.11 或更高版本;文中称部分 MoE 模型解码速度较 2.14 提升 5–6.5 倍。
推荐理由
PyTorch 团队披露了 2.15 候选版在 Apple Silicon 上的具体改进、兼容要求与实测数据,有助于 Mac 用户评估本地模型运行和训练升级价值。
来源:Hugging Face Blog · huggingface.co