Decode
也称 Decoding
在自回归语言模型中，依据已有上下文逐步选择并生成后续词元，直到达到结束条件。
如何理解
每一步计算后续词元的概率，再按贪心选择或采样等规则决定输出。生成的词元进入上下文，影响后续步骤；结束标记和长度限制都可以终止生成。
输出越长，通常需要越多生成步骤。KV Cache 可复用先前的注意力计算结果，而投机解码尝试一次验证多个候选，减少目标模型逐步运行的开销。
容易混淆的地方
这里的 Decode 指生成阶段，不只是把词元编号还原为字符串；界面的流式显示也不等于模型每次只输出一个汉字。