vLLM 官方发布· JaredforReal·· 4 天前AI 评分18
vLLM v0.31.0rc2:修复Mamba在sparse r…条件下保留prompt-end prefill checkpoint
v0.31.0rc2
AI 导读
vLLM v0.31.0rc2涉及一项针对Mamba的Bugfix,旨在sparse r…条件下保留prompt-end prefill checkpoint。原文提供的信息仅显示该修复内容,未说明具体条件、实现方式或其他变更。
来源:vLLM 官方发布 · github.com