跳到正文
原文
Hugging Face Blog·· 9 天前精选AI 评分66

Liquid AI 发布实验性 LFM2.5-VL-3B-DSpark 视觉语言模型草稿器

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 发布实验性 DSpark 草稿模型,为 LFM2.5-VL-3B 增加推测解码路径,以约 280M 参数换取视觉语言推理加速。测试显示,设备端解码最高加速 3.13 倍,H100 解码最高加速 2.66 倍,但视觉编码和 prefill 不受该路径加速;模型支持 llama.cpp、MLX-VLM 和 SGLang。

推荐理由

文章提供 LFM2.5-VL-3B 的实验性 DSpark 草稿模型及 CPU、GPU 测试数据,并说明接入方式、内存代价和视觉任务中的加速边界,适合评估端侧或自托管部署方案。

来源:Hugging Face Blog · huggingface.co