Transformers v5.21新增模型与并行支持

Hugging Face 为 Transformers 发布 v5.21.0 标签，新增 MiniCPM-OCR、Flint、UltraVBert、Gradium Phonon TTS、Pocket TTS 及 Pocket TTS Audio Tokenizer 支持，同时调整模型并行配置并提高 Python 最低版本要求。 该版本为张量并行新增专用嵌入层样式，默认对输入嵌入进行分片，并允许嵌入宽度不能被并行规模整除；ColwiseParallel 和 RowwiseParallel 此后仅适用于线性层，原有自定义并行方案需改用新样式。MoE 的张量并行和专家并行方案也统一对专家进行分片，避免每个进程保留全部专家造成显存浪费。 v5.21.0 将最低 Python 版本提升至 3.11，使用旧版 Python 或自定义并行配置的现有项目需相应调整。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。