正在加载词典…
正在加载词典…
使用已经训练好的模型处理新输入并产生输出的过程；在生成式语言模型中，通常表现为依据上下文逐步生成词元。
保存已处理词元在注意力层中的键和值，供后续生成复用；减少重复计算，但缓存本身也会占用内存或显存。
用较低精度的数值表示模型中的数据，以降低存储和运行时的内存需求；需要在资源节省与精度变化之间做取舍。
在自回归文本生成开始时处理输入词元，计算后续生成所需的中间状态，为输出第一个新词元做准备。
在自回归语言模型中，依据已有上下文逐步选择并生成后续词元，直到达到结束条件。
在生成迭代之间动态调整一起计算的请求，及时移出已结束请求，并让等待中的请求加入。
复用请求开头相同部分的计算状态，减少重复处理共享提示前缀的工作；常见实现复用对应的键值缓存。
先用成本较低的方法提出多个候选词元，再由目标模型验证，尝试用更少的串行步骤推进生成。
把模型层内部的张量与计算拆分到多个设备上，让它们协同完成同一层的运算。
从提交请求到收到第一个非空输出词元所经历的时间，用来衡量用户多久开始看到生成结果。