迈向实用化多模态大模型
如果无法正常显示,请先停止浏览器的去广告插件。
1. 迈向实用化
多模态大模型
清华大学 / 姚远
2.
3. 大模型成为人工智能前沿制高点
• 多模态大模型的能力突破,成为大模型前沿发展的新趋势和焦点
• 极大拓展大模型能力边界和应用场景,智能跃迁的下一个关键引擎
主要特点
基于大数据和人类反馈进行学习,与用户通过对话进
行交互,能够处理多模态信息及多种任务,深层推理
与常识运用能力大幅度提升
里程碑事件
2022/11/30: OpenAI 发布文本对话模型 ChatGPT
2023/03/15: OpenAI 发布多模态对话模型 GPT-4
2023/09/20: OpenAI 发布文生图模型 DALL·E 3
2023/09/25: ChatGPT 全面整合多模态能力
2023/12/06: Google 发布多模态模型 Gemini
2024/03/04 : Anthropic发布多模态模型 Claude 3
多模态能力
4. 多模态大模型迈向实用的痛点问题
参数多,成本高
通常 70亿-550亿 参数量
需要高性能服务器部署服务
用户需上传隐私使用数据
幻觉多,难置信
模型回复与图像内容不符
开源模型幻觉率 60% 以上
高风险场景危害大
(自动驾驶、盲人助手等)
英文强,中文弱
多数开源模型仅支持英语
中文多模态数据少、质量低
难以满足中文用户需求
低质量
高质量
中文图文数据质量分布
5. 多模态大模型迈向实用的痛点问题
参数多,成本高
端侧大模型 幻觉多,难置信
多模态人类反馈学习 英文强,中文弱
多模态跨语言泛化
具有超出预期的巨大潜力 通过人类反馈对齐模型行为 基于中英双语语言基座
大模型 Scaling Law 沙盒 可大幅降低模型幻觉 仅使用英文图文数据预训练
可在手机高效部署运行 使高风险场景更加可信 实现中文多模态跨语言泛化
MiniCPM: Unveiling the Potential of Small Language
Models with Scalable Training Strategies. 2024. RLHF-V: Towards Trustworthy MLLMs via Behavior
Alignment from Fine-grained Correctional Human
Feedback. CVPR 2024. Large Multilingual Models Pivot Zero-Shot Multimodal
Learning across Languages. ICLR 2024.
6. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B)
• 集成团队近期探索前沿技术
• [2024/2/1] MiniCPM-V 发布
• 实现同参数规模最佳性能,支持中英双语
• 可部署安卓和鸿蒙系统手机
• 国际开源平台累计下载次数超过 4 万次
7. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B)
• 集成团队近期探索前沿技术
• [2024/4/11] MiniCPM-V 2.0 发布
• 通用能力:OpenCompass 11个常用基准综合榜单,
优于 17-34B 主流模型
• OCR 能力:刷新 OCRBench 开源模型最佳成绩;通用
场景文字理解持平 Gemini Pro
8. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B)
• 集成团队近期探索前沿技术
• [2024/4/11] MiniCPM-V 2.0 发布
• 通用能力:OpenCompass 11个常用基准综合榜单,
优于 17-34B 主流模型
• OCR 能力:刷新 OCRBench 开源模型最佳成绩;通用
场景文字理解持平 Gemini Pro
• 可信行为:物体幻觉水平持平 GPT-4V
• 高清图理解:可支持 180万 像素任意长宽比图像无损
编码
• 中英双语,端侧部署
9.
10.
11.
12.
13.
14. 开源项目
技术博客