Solidot·· 5 小时前AI 评分54
SonicBoom发布:采用GPLv3许可证的AI运行时框架
SonicBoom发布:AI框架告别手工调优
AI 导读
HardenedLinux社区发布采用GPLv3许可证的AI运行时框架SonicBoom,提供语言无关的C API,并包含LLVM MLIR图编译优化。社区版当前仅支持单点推理和CPI、CUDA,项目方称其在rtx3050 8G上的原始性能较llama.cpp提升20%,但不同显卡的测试数据可能波动。分布式推理计划用于企业版,Vulkan支持仍在规划中。
来源:Solidot · solidot.org