Google Research提出TurboQuant向量量化压缩方法

Google Research提出TurboQuant向量量化压缩方法，并介绍其使用的PolarQuant与QJL，分别处理极坐标量化和1比特残差误差。文中称，该方法无需训练或微调即可将KV cache量化至3比特，在长上下文测试中保持模型准确性，并减少至少6倍的键值内存。