TechRadar· Rahim Amir ·· 3 小时前AI 评分67
Corbenic AI推出Galahad：将服务器NVMe用于AI的KV缓存，但14倍加速主要来自减少读取
'The GPU never reads the same text twice': Belgian startup Corbenic wants to turn your server's SSD into AI memory, but its 14x speedup owes more to reading less
AI 导读
Corbenic AI的Galahad进入beta，可将模型KV缓存加密保存到本地NVMe，并在相同输入再次出现时复用。文章指出，14倍加速主要来自Blaise只向模型提供约668个token而非完整语料，单独使用Taliesin在部分测试中反而更慢；该项目尚未发布原始日志，相关论文也是未经同行评审的arXiv预印本。
来源：TechRadar · techradar.com