Continuous Batching
也称 In-flight Batching
在生成迭代之间动态调整一起计算的请求，及时移出已结束请求，并让等待中的请求加入。
如何理解
不同请求需要生成的长度往往不同。固定批次如果一直等待最长的请求，容易留下未充分利用的计算容量；连续批处理在迭代粒度重新安排工作。
调度器仍要考虑显存、输入处理和服务延迟。它主要改善多请求场景下的资源利用，实际效果取决于请求长度和负载。
容易混淆的地方
连续批处理不是把所有用户文本拼成一个提示词。吞吐提高也不保证每一个请求的等待时间都更短。