Time to First Token · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/AI 基础设施/Time to First Token
  • Inference
  • KV Cache
  • Quantization
  • Prefill
  • Decode
Continuous Batching
  • Prefix Caching
  • Speculative Decoding
  • TP
  • Time to First Token
  • AI 基础设施 · 词条目录
    • Inference
    • KV Cache
    • Quantization
    • Prefill
    • Decode
    • Continuous Batching
    • Prefix Caching
    • Speculative Decoding
    • TP
    • Time to First Token

    Time to First Token

    也称 TTFT

    从提交请求到收到第一个非空输出词元所经历的时间,用来衡量用户多久开始看到生成结果。

    如何理解

    TTFT 通常覆盖排队、网络传输以及提示词预填充(prefill)等阶段。输入越长,注意力与键值缓存的建立工作越多,首词元往往来得更晚。

    它只描述“开始输出”前的等待,不等于整次请求耗时。端到端时延一般等于 TTFT 加上后续生成阶段;比较结果时要确认工具是否丢弃了空内容响应,以及测量点在客户端还是服务端。

    容易混淆的地方

    不要把 TTFT 当成吞吐指标,也不要用不同工具、不同空响应处理规则直接横比。长提示、排队拥堵和批处理都会抬高 TTFT,原因并不相同。

    参考来源

    1. NVIDIA NIM Benchmarking:Metrics(新窗口打开)