Inference
使用已经训练好的模型处理新输入并产生输出的过程；在生成式语言模型中，通常表现为依据上下文逐步生成词元。
如何理解
以文本生成为例，系统先把输入转换为词元，模型根据当前上下文计算后续词元的分布，再按解码规则选择输出。新词元加入上下文后，过程继续，直到满足结束条件或达到长度限制。
同一模型可以采用不同的生成设置，例如最大输出长度或采样方式，因此同一提示不一定得到完全相同的文字。比较推理体验时，需要同时看模型、输入和生成设置，不能只比较模型名称。
容易混淆的地方
Inference 指运行模型产生输出，Reasoning 指逻辑分析等能力或过程。一次推理可以只是分类或续写，并不意味着模型正在进行复杂推理。