Prefill
也称 Prompt Processing
在自回归文本生成开始时处理输入词元，计算后续生成所需的中间状态，为输出第一个新词元做准备。
如何理解
输入序列已经完整给定，模型可以并行计算多个位置的表示，并建立相应的键值缓存。它仍遵守模型的注意力规则，并非忽略词元之间的依赖。
较长输入通常带来更多预填充工作。首个词元的等待时间还会受到排队与调度等因素影响，不能把所有等待都归因于这一阶段。
容易混淆的地方
Prefill 不等于模型预训练，也不表示已经生成完整答案。命中可复用的前缀缓存时，部分计算可以跳过。