1. 迈向实用化 多模态大模型 清华大学 / 姚远

2.

3. 大模型成为人工智能前沿制高点 • 多模态大模型的能力突破，成为大模型前沿发展的新趋势和焦点 • 极大拓展大模型能力边界和应用场景，智能跃迁的下一个关键引擎 主要特点 基于大数据和人类反馈进行学习，与用户通过对话进 行交互，能够处理多模态信息及多种任务，深层推理 与常识运用能力大幅度提升 里程碑事件 2022/11/30: OpenAI 发布文本对话模型 ChatGPT 2023/03/15: OpenAI 发布多模态对话模型 GPT-4 2023/09/20: OpenAI 发布文生图模型 DALL·E 3 2023/09/25: ChatGPT 全面整合多模态能力 2023/12/06: Google 发布多模态模型 Gemini 2024/03/04 : Anthropic发布多模态模型 Claude 3 多模态能力

4. 多模态大模型迈向实用的痛点问题 参数多，成本高 通常 70亿-550亿 参数量 需要高性能服务器部署服务 用户需上传隐私使用数据 幻觉多，难置信 模型回复与图像内容不符 开源模型幻觉率 60% 以上 高风险场景危害大 （自动驾驶、盲人助手等） 英文强，中文弱 多数开源模型仅支持英语 中文多模态数据少、质量低 难以满足中文用户需求 低质量 高质量 中文图文数据质量分布

5. 多模态大模型迈向实用的痛点问题 参数多，成本高 端侧大模型 幻觉多，难置信 多模态人类反馈学习 英文强，中文弱 多模态跨语言泛化 具有超出预期的巨大潜力 通过人类反馈对齐模型行为 基于中英双语语言基座 大模型 Scaling Law 沙盒 可大幅降低模型幻觉 仅使用英文图文数据预训练 可在手机高效部署运行 使高风险场景更加可信 实现中文多模态跨语言泛化 MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies. 2024. RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback. CVPR 2024. Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages. ICLR 2024.

6. 高效端侧多模态大模型 MiniCPM-V 系列（2.8B） • 集成团队近期探索前沿技术 • [2024/2/1] MiniCPM-V 发布 • 实现同参数规模最佳性能，支持中英双语 • 可部署安卓和鸿蒙系统手机 • 国际开源平台累计下载次数超过 4 万次

7. 高效端侧多模态大模型 MiniCPM-V 系列（2.8B） • 集成团队近期探索前沿技术 • [2024/4/11] MiniCPM-V 2.0 发布 • 通用能力：OpenCompass 11个常用基准综合榜单， 优于 17-34B 主流模型 • OCR 能力：刷新 OCRBench 开源模型最佳成绩；通用 场景文字理解持平 Gemini Pro

8. 高效端侧多模态大模型 MiniCPM-V 系列（2.8B） • 集成团队近期探索前沿技术 • [2024/4/11] MiniCPM-V 2.0 发布 • 通用能力：OpenCompass 11个常用基准综合榜单， 优于 17-34B 主流模型 • OCR 能力：刷新 OCRBench 开源模型最佳成绩；通用 场景文字理解持平 Gemini Pro • 可信行为：物体幻觉水平持平 GPT-4V • 高清图理解：可支持 180万 像素任意长宽比图像无损 编码 • 中英双语，端侧部署

9.

10.

11.

12.

13.

14. 开源项目 技术博客