SFT
SFT（Supervised Fine-Tuning）使用带有目标输出的样本继续训练模型，让模型学习给定输入下应该产生怎样的回答或结果。
如何理解
在语言模型中，监督微调通常让模型提高目标回答词元的预测概率。指令与回答、完整对话等都可作为数据，但哪些位置参与损失计算需要明确设置。
SFT 描述学习目标，LoRA 描述参数更新方式，因此两者可以一起使用。数据中的格式、错误与偏好都可能被模型学到，需要在独立任务上验证效果。
容易混淆的地方
SFT 不等于把示例放进提示词，也不等于仅比较两个回答的好坏；它通过目标输出直接提供训练信号。