Pretraining
也称 Pre-training
在面向具体任务调整之前，先通过大量数据训练模型的基础能力；语言模型常用预测后续词元或还原遮蔽内容的目标。
如何理解
语言模型的预训练通常从大量文本中构造学习任务，例如根据前文预测下一个词元。训练不断比较预测与目标，并调整模型参数，让模型逐步学到语言规律以及数据中反复出现的关联。
自监督目标可以直接从数据生成训练信号，不要求逐条人工标注答案。得到的预训练模型还可继续用于微调，让已有表示适应具体任务；预训练的目标与最终产品的使用方式并不必然相同。
容易混淆的地方
预训练不等于把资料原样存成可检索数据库，也不自动得到可靠的对话助手。它与微调的区别在于训练起点、数据和目的，不能只看数据量。