VLM · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/基础模型/VLM
  • Transformer
  • Pretraining
  • Fine-tuning
  • LLM
  • VLM
Token
  • Context Window
  • MoE
  • SFT
  • LoRA
  • Distillation
  • AI Pref
  • Open Weights
  • 基础模型 · 词条目录
    • Transformer
    • Pretraining
    • Fine-tuning
    • LLM
    • VLM
    • Token
    • Context Window
    • MoE
    • SFT
    • LoRA
    • Distillation
    • AI Pref
    • Open Weights

    VLM

    VLM(Vision-Language Model)结合视觉信息与语言进行处理的模型,可以根据图像和文字回答问题、描述场景或理解文档。

    如何理解

    视觉语言模型需要把图像信息与语言表示连接起来。图像编码和连接模块的设计各不相同,不能把所有模型都理解为先识别图片中的文字,再交给聊天模型。

    输入图像的分辨率、细节和任务方式都会影响结果。能够描述一张照片,并不保证能精确读出小字、判断空间距离或理解每个细节。

    容易混淆的地方

    VLM 不等于 VLA。输出文字说明与输出机器人可执行的动作,是不同的任务和接口。

    参考来源

    1. Hugging Face · Image-text-to-text(新窗口打开)