正在加载词典…
正在加载词典…
以注意力机制组织序列信息的神经网络架构，让模型根据上下文关联不同位置的内容，是理解语言模型的重要基础。
在面向具体任务调整之前，先通过大量数据训练模型的基础能力；语言模型常用预测后续词元或还原遮蔽内容的目标。
从已经训练好的模型出发，继续用特定任务或领域的数据训练，使模型更适应目标用途，而不必从随机参数重新开始。
通过大规模语言数据学习表示和规律，能够处理或生成文本的模型；聊天只是它的一种使用方式。
结合视觉信息与语言进行处理的模型，可以根据图像和文字回答问题、描述场景或理解文档。
模型处理序列时使用的基本单位；在文本模型中，由分词器把文字转换成词元及其对应编号。
一次模型调用能够容纳的上下文范围，通常以词元计量；输入内容和生成输出需要按模型规则共享容量。
通过路由机制分配计算给不同专家模块；稀疏 MoE 通常只为每个词元激活其中一部分专家。
使用带有目标输出的样本继续训练模型，让模型学习给定输入下应该产生怎样的回答或结果。
冻结原模型权重，用额外的低秩矩阵学习权重更新，以较少的可训练参数完成适配。
让学生模型学习教师模型提供的输出或其他监督信号，把教师的一部分能力迁移到学生模型中。
在 robots.txt 里用策略令牌 `__usage_ai-training` 一次表达站点内容是否可用于生成式 AI 训练的偏好，供多家厂商共同解读。
公开可下载模型训练完成后的参数（权重），便于本地推理、自托管或继续微调；它不等于完整的开源 AI。