LLM · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/基础模型/LLM
  • Transformer
  • Pretraining
  • Fine-tuning
  • LLM
  • VLM
Token
  • Context Window
  • MoE
  • SFT
  • LoRA
  • Distillation
  • AI Pref
  • Open Weights
  • 基础模型 · 词条目录
    • Transformer
    • Pretraining
    • Fine-tuning
    • LLM
    • VLM
    • Token
    • Context Window
    • MoE
    • SFT
    • LoRA
    • Distillation
    • AI Pref
    • Open Weights

    LLM

    LLM(Large Language Model)通过大规模语言数据学习表示和规律,能够处理或生成文本的模型;聊天只是它的一种使用方式。

    如何理解

    生成式语言模型通常根据已有词元预测后续词元。预训练提供基础能力,后续训练和输入上下文则影响它如何遵循指令、组织答案或使用工具。

    大语言模型不是单一架构或固定参数门槛的名称。读到一个模型时,需要分别看它的训练方式、支持的输入以及实际评测,不能只依据规模判断能力。

    容易混淆的地方

    语言流畅不代表事实正确。模型参数中的信息、当前上下文和外部检索资料,也不是同一种知识来源。

    参考来源

    1. Hugging Face · How do Transformers work?(新窗口打开)