推测解码详解：如何让任意LLM实现3倍推理加速

推测解码通过小型草稿模型批量生成候选词元，再由目标模型并行验证，在不修改模型或重新训练的前提下实现2至3倍推理加速。最佳情况下，目标模型以约一次前向计算生成5至9个词元，并可证明保持目标模型原有的输出概率分布；文中还介绍了Medusa、Eagle和Prompt Lookup Decoding等现代变体。