跳到正文
原文
Hugging Face Blog·· 2026-07-23精选AI 评分76

Diffusers 原生支持 Nunchaku Lite 4-bit 扩散模型推理

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

AI 导读

Diffusers 现已原生支持 Nunchaku Lite,可通过 `from_pretrained()` 加载 W4A4 量化检查点,无需单独推理引擎或本地 CUDA 编译。文章介绍 NVFP4、INT4、AWQ 量化配置、GPU 支持范围及 diffuse-compressor 工具链,并展示其在 RTX PRO 6000 上降低显存和延迟的基准结果。

推荐理由

Nunchaku Lite 已原生接入 Diffusers,可直接加载 4-bit 量化检查点,并提供模型量化、打包与发布流程。文中还给出硬件支持范围、性能基准和兼容性限制,适合评估低显存部署方案。

来源:Hugging Face Blog · huggingface.co