Context Window
也称 Context Length
一次模型调用能够容纳的上下文范围,通常以词元计量;输入内容和生成输出需要按模型规则共享容量。
如何理解
系统指令、对话历史、工具结果和参考资料都可能进入上下文。留给回答的空间,还要考虑输出上限与具体服务的计数规则。
容量说明能够放入多少内容,不直接说明模型能否准确利用每一部分。长任务需要挑选、检索或压缩信息,而不是持续追加全部历史。
容易混淆的地方
上下文窗口不是永久记忆。资料曾在上一轮出现,不意味着后续请求一定会继续携带它。
也称 Context Length
一次模型调用能够容纳的上下文范围,通常以词元计量;输入内容和生成输出需要按模型规则共享容量。
系统指令、对话历史、工具结果和参考资料都可能进入上下文。留给回答的空间,还要考虑输出上限与具体服务的计数规则。
容量说明能够放入多少内容,不直接说明模型能否准确利用每一部分。长任务需要挑选、检索或压缩信息,而不是持续追加全部历史。
上下文窗口不是永久记忆。资料曾在上一轮出现,不意味着后续请求一定会继续携带它。