Time to First Token
也称 TTFT
从提交请求到收到第一个非空输出词元所经历的时间,用来衡量用户多久开始看到生成结果。
如何理解
TTFT 通常覆盖排队、网络传输以及提示词预填充(prefill)等阶段。输入越长,注意力与键值缓存的建立工作越多,首词元往往来得更晚。
它只描述“开始输出”前的等待,不等于整次请求耗时。端到端时延一般等于 TTFT 加上后续生成阶段;比较结果时要确认工具是否丢弃了空内容响应,以及测量点在客户端还是服务端。
容易混淆的地方
不要把 TTFT 当成吞吐指标,也不要用不同工具、不同空响应处理规则直接横比。长提示、排队拥堵和批处理都会抬高 TTFT,原因并不相同。