VLM
VLM(Vision-Language Model)结合视觉信息与语言进行处理的模型,可以根据图像和文字回答问题、描述场景或理解文档。
如何理解
视觉语言模型需要把图像信息与语言表示连接起来。图像编码和连接模块的设计各不相同,不能把所有模型都理解为先识别图片中的文字,再交给聊天模型。
输入图像的分辨率、细节和任务方式都会影响结果。能够描述一张照片,并不保证能精确读出小字、判断空间距离或理解每个细节。
容易混淆的地方
VLM 不等于 VLA。输出文字说明与输出机器人可执行的动作,是不同的任务和接口。