NVIDIA Developer Blog· Michelle Horton·· 4 小时前AI 评分26
ReplaySSM:重新思考混合模型的状态存储,以加快解码
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
AI 导读
ReplaySSM 重新审视混合模型解码中的状态存储方式,目标是加快解码。混合模型将状态空间模型(SSM)层与少量注意力层交错排列,并以固定大小状态替代会持续增长的键值(KV)缓存;NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 均采用这种结构。
来源:NVIDIA Developer Blog · developer.nvidia.com