Mozilla Hacks· Stephen Hood·· 2024-04-25精选AI 评分76
llamafile 发布 v0.8，强化本地大模型运行性能
Llamafile’s progress, four months in
AI 导读
Mozilla 发布 llamafile v0.8，支持更多开放模型，并通过 tinyBLAS 为 NVIDIA 和 AMD GPU 加速本地推理。该版本新增 84 个矩阵乘法内核，使提示词评估性能较此前提升 10 倍；项目还优化了 Raspberry Pi 5，并支持单条命令生成 llamafile。
推荐理由
v0.8 聚焦本地模型运行体验，tinyBLAS 简化 NVIDIA 与 AMD GPU 加速，84 个矩阵乘法内核将提示词评估性能提升 10 倍，并同步支持新模型。
来源：Mozilla Hacks · hacks.mozilla.org