迈向实用化多模态大模型

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 迈向实用化 多模态大模型 清华大学 / 姚远
2.
3. 大模型成为人工智能前沿制高点 • 多模态大模型的能力突破,成为大模型前沿发展的新趋势和焦点 • 极大拓展大模型能力边界和应用场景,智能跃迁的下一个关键引擎 主要特点 基于大数据和人类反馈进行学习,与用户通过对话进 行交互,能够处理多模态信息及多种任务,深层推理 与常识运用能力大幅度提升 里程碑事件 2022/11/30: OpenAI 发布文本对话模型 ChatGPT 2023/03/15: OpenAI 发布多模态对话模型 GPT-4 2023/09/20: OpenAI 发布文生图模型 DALL·E 3 2023/09/25: ChatGPT 全面整合多模态能力 2023/12/06: Google 发布多模态模型 Gemini 2024/03/04 : Anthropic发布多模态模型 Claude 3 多模态能力
4. 多模态大模型迈向实用的痛点问题 参数多,成本高 通常 70亿-550亿 参数量 需要高性能服务器部署服务 用户需上传隐私使用数据 幻觉多,难置信 模型回复与图像内容不符 开源模型幻觉率 60% 以上 高风险场景危害大 (自动驾驶、盲人助手等) 英文强,中文弱 多数开源模型仅支持英语 中文多模态数据少、质量低 难以满足中文用户需求 低质量 高质量 中文图文数据质量分布
5. 多模态大模型迈向实用的痛点问题 参数多,成本高 端侧大模型 幻觉多,难置信 多模态人类反馈学习 英文强,中文弱 多模态跨语言泛化 具有超出预期的巨大潜力 通过人类反馈对齐模型行为 基于中英双语语言基座 大模型 Scaling Law 沙盒 可大幅降低模型幻觉 仅使用英文图文数据预训练 可在手机高效部署运行 使高风险场景更加可信 实现中文多模态跨语言泛化 MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies. 2024. RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback. CVPR 2024. Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages. ICLR 2024.
6. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B) • 集成团队近期探索前沿技术 • [2024/2/1] MiniCPM-V 发布 • 实现同参数规模最佳性能,支持中英双语 • 可部署安卓和鸿蒙系统手机 • 国际开源平台累计下载次数超过 4 万次
7. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B) • 集成团队近期探索前沿技术 • [2024/4/11] MiniCPM-V 2.0 发布 • 通用能力:OpenCompass 11个常用基准综合榜单, 优于 17-34B 主流模型 • OCR 能力:刷新 OCRBench 开源模型最佳成绩;通用 场景文字理解持平 Gemini Pro
8. 高效端侧多模态大模型 MiniCPM-V 系列(2.8B) • 集成团队近期探索前沿技术 • [2024/4/11] MiniCPM-V 2.0 发布 • 通用能力:OpenCompass 11个常用基准综合榜单, 优于 17-34B 主流模型 • OCR 能力:刷新 OCRBench 开源模型最佳成绩;通用 场景文字理解持平 Gemini Pro • 可信行为:物体幻觉水平持平 GPT-4V • 高清图理解:可支持 180万 像素任意长宽比图像无损 编码 • 中英双语,端侧部署
9.
10.
11.
12.
13.
14. 开源项目 技术博客

Главная - Вики-сайт
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-12-09 17:17
浙ICP备14020137号-1 $Гость$