跳到正文

开发与开源

项目实践、开发工具及开源协作

61条精选

最新精选

第 61–61 条 · 共 61 条
4月25日周四
  1. Mozilla Hacks76

    llamafile 发布 v0.8,强化本地大模型运行性能

    Mozilla 发布 llamafile v0.8,支持更多开放模型,并通过 tinyBLAS 为 NVIDIA 和 AMD GPU 加速本地推理。该版本新增 84 个矩阵乘法内核,使提示词评估性能较此前提升 10 倍;项目还优化了 Raspberry Pi 5,并支持单条命令生成 llamafile。

    推荐理由:v0.8 聚焦本地模型运行体验,tinyBLAS 简化 NVIDIA 与 AMD GPU 加速,84 个矩阵乘法内核将提示词评估性能提升 10 倍,并同步支持新模型。