Token
也称 Tokens
模型处理序列时使用的基本单位；在文本模型中，由分词器把文字转换成词元及其对应编号。
如何理解
一个词元可能对应完整单词、单词片段、字符或字节片段。分词器决定切分方式，模型再使用对应编号查找表示并进行计算。
相同文字在不同分词器下可能得到不同的词元数量。因此比较上下文长度、生成速度或输入成本时，要确认使用的是哪套分词规则。
容易混淆的地方
Token 数不是字数，也不是英文单词数。特殊标记也可能占用词元，不能只按屏幕上看见的正文估算。
也称 Tokens
模型处理序列时使用的基本单位；在文本模型中，由分词器把文字转换成词元及其对应编号。
一个词元可能对应完整单词、单词片段、字符或字节片段。分词器决定切分方式，模型再使用对应编号查找表示并进行计算。
相同文字在不同分词器下可能得到不同的词元数量。因此比较上下文长度、生成速度或输入成本时，要确认使用的是哪套分词规则。
Token 数不是字数，也不是英文单词数。特殊标记也可能占用词元，不能只按屏幕上看见的正文估算。