RAG
RAG(Retrieval-Augmented Generation)先从外部资料中检索相关内容,再让生成模型结合这些内容作答;把可更新的资料与模型已有能力连接起来。
如何理解
语言模型的参数包含训练中学到的信息,外部知识库则可以保存独立更新的文档。检索增强生成把两者结合:检索器选出相关材料,生成器利用问题和材料组织答案,减少对参数知识的单独依赖。
原始 RAG 论文把预训练生成模型与文档向量索引结合,并共同微调检索和生成组件。实际阅读产品介绍时,还需关注检索到了什么、资料是否适用,以及答案是否忠实于材料。
容易混淆的地方
RAG 是获取并使用外部知识的方法,不等于 Agent,也不自动保证答案正确。它可以与微调结合,不能简单理解为微调的反义词。