Generalized Visual Language Models

Generalized Visual Language Models

摘要

视觉语言模型通过融合图像与文本信息，解决图像描述、视觉问答等任务。主要方法包括联合训练图像与文本嵌入、将图像嵌入作为预训练语言模型的前缀、设计跨注意力机制融合视觉信息，以及无需训练的模型组合。典型模型如VisualBERT、SimVLM、Flamingo等，均在多模态任务中表现出色。数据集如MS COCO、ALIGN等为训练提供了丰富的图像-文本对。视觉语言模型的发展推动了多模态理解与生成技术的进步。