使用推测解码加速 LLM 推理的 AI 模型协同设计指南

本文探讨如何利用 speculative decoding 在保持准确性的同时加速 LLM 推理，并提出关于选择 draft length 和 draft mechanism 的五项指导原则。文章分析模型设计选择如何影响吞吐量和交互性，且不牺牲准确性，相关方法用于探索 Pareto frontier 上的取舍。