Speculative Decoding
也称 Speculative Sampling
先用成本较低的方法提出多个候选词元，再由目标模型验证，尝试用更少的串行步骤推进生成。
如何理解
草稿模型或其他候选生成方法先提出一段文本，目标模型批量检查候选。符合规则的部分被接受，其余部分按验证与采样算法处理。
经典的精确投机采样在相应假设下保持目标模型的输出分布。实际加速取决于候选接受率、草稿成本和硬件，不能默认任何组合都更快。
容易混淆的地方
这不是让小模型未经检查地替大模型回答。保持分布不等于每次采样得到完全相同的文字，具体实现也需检查是否采用精确算法。