推测性解码加速大模型推理

Machine Learning Mastery作者Vinod Chugani介绍推测性解码：小模型先批量生成候选词元，再由目标模型并行验证，在不修改或重新训练目标模型的情况下，将一次前向计算扩展为生成多个词元；文章称该方法可带来2至3倍推理加速，并保持目标模型原有的输出概率分布。 其收益取决于使用场景：生成长文本、单请求服务，以及提示与回复共用词表或结构时更有效。在高并发批处理服务中，候选词元会占用本可用于其他请求的内存和算力，反而可能降低总体吞吐量。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。