1. 大模型时代—— 生产力工具转型的技术探索 商汤科技AIGC研究与应用团队负责人 詹明捷

2. 人工智能新范式（AGI）已经到来 AI AI +场景应用 AI 新范式（AGI） 有人类反馈的强化学习 超大模型 1980 Prolog s & Lisp 1990 s 机器学习算法 2012 2022 互联网娱乐 专家系统 解答特定领域 的问题 智能手机 智慧城市 智慧医疗 自动驾驶 CNN夺得ImageNet第一 PaLM-E 具象化多模态 语言大模型 DALL-E 2 由文字生成高清 原创图像 Stable Diffusion 使用消费级显卡获取 文本驱动的图像 ChatGPT发布 可理解人类语言并生成类似 人类的书面文本内容 正确率超越第二名近10% 突破工业红线 高效的通用智能 GPT-4 提供完全不同可能性 的多模态模型

3. 大模型使能的AGI与传统AI处理任务对比 零样本多模态思维链 （Zero-shot Multimodal Chain-of-Thought） AI AGI 明确任务 明确任务 明确任务 物体检测 文字 识别 做决策 Object Detection OCR 我们一步步思考 给定图片 Q: 这个图标是什么意思? 我们应该做什么？ 是否要减速？ 是 • AGI • • • • • 30 km/h 100m 小孩 学校区域 前方100米有一所学校 你需要小心小孩，并将车速降低到30 km/h以下

4. 大模型核心能力 更高算力 庞大训练数据 千卡起步，GPT4 万卡 干净、多维、海量的数据 数据 算力 大模型 模型算法 工程化能力 有效的Chain-of-thoughts 架构设计、分布式训练等 算法 工程化

5. LLM技术路线演化，GPT类模型处于领先 ChatGPT等语言模型发展历程（进化树） 大模型关键技术路径 • Encoder类模型（以BERT为代表）在过去的方案 中经过fine-tune性能会更强。OpenAI也是坚持自 身以生成式任务为目标的技术理想，终于实现突破 • 随着考察任务的变化，现在大模型更关注zero- shot的文本生成能力（更贴近AGI），Decoder- Only类模型（以ChatGPT为代表的）更方便利用 海量的无监督文本数据进行训练 • Decoder-Only类模型结构效率更高，OpenAI以 系统工程的角度看待训练，着重训练效率，坚持此 路线 Encoder-Decoder or Encoder-Only (BERT类) • 训练：Masked Language Models • 模型类别：Discriminative • 预训练任务：Predict masked words Decoder-Only (GPT类) • 训练：Autoregressive Language Models • 模型类别：Generative • 预训练任务：Predict next word 信息来源：The Practical Guides for Large Language Models • 如今大模型训练成本极高，由于历史原因，各企业 组织（如Google）存在路径依赖，大多沿用自身 已经验证通过的路线。

6. 近几年NLP大事件 用好数据 大模型 ChatGPT (OpenAI) GPT3 (OpenAI) llama2 (meta) PALM (Google) Galactica (Meta) Megatron-LM (Nvidia) RETRO (DeepMind) Turing (Microsoft) WebGPT (OpenAI) GLM-130B (清华) Flan-PALM (Google) 盘古 (华为) T0 (huggingface) ERNIE 3.0 (百度)

7. 什么是思维链？ 思维链激发语言模型解锁更强的能力，解锁更复杂的推理任务，右侧图绿色部分为思维链

8. 多任务训练

9. 指令微调

10. 收益分析

11. 编程工具的发展史 打孔卡片 编程语言 AI是生产生产力工具的工具 AI FOR AI 生成式AI

12. 下一代软件开发范式：AI FOR AI 人工智能大模型 智能化、模块坏、标准化的AI生产工具 开发智能化 流程标准化 工具模块化 AI辅助开发、一键调度大算力、数据驱动、快速部署

13. 软件开发不同角色：分析师、程序员和测试员 分析师：分析师的目标是制定高层次的 plan 并专注于指导程序 员编写程序，而不是深入研究实现细节。给定需求X，分析师将 分解为几个易于解决的子任务，以方便程序员直接实施，并制 定概述实施主要步骤的 plan。 程序员：作为该团队的核心角色，程序员将在整个开发过程中 接收来自分析师的 plan 或来自测试人员的测试报告。将两项主 要职责分配给程序员：1. 编写满足指定要求的代码，遵守分析 师提供的 plan。2. 修复或细化代码，考虑到测试人员反馈的测 试报告反馈。 测试员：测试人员获取程序员编写的代码，随后记录包含各个 方面的测试报告，例如功能性、可读性和可维护性。与直接生 成测试用例相比，生成测试报告更符合语言模型的倾向。

14. 自动Debug

15. 自动Debug

16. 新二八定律：代码 = 80% AI 生成 + 20% 人工

17. 新二八定律：代码 = 80% AI 生成 + 20% 人工

18. “新二八定律”带来软件开发新体验 软件应用 人类诉求 需求输入 需求描述 自然语言 & 行为 编程语言 人机界面 库/ 工具/ 框架 操作系统 大模型 (基础) 语言与操作系统，是当前人类与世界知识交互的核心媒介依赖: • 人类需求的表达/生成方式将发生变化。➡️ 上层行业应用创新 ➡️ 主流行业应用都可以被重新做一遍 • 人类需求被满足的方式和底层依赖发生变化。➡️ 底层编程逻辑变革 + 工具 & 插件

19.

20. 业界持续推出生成式AI技术延展 Auto-GPT Plugins Code Interpreter CoT Function Calling MOE …

21. 延展：用代码解决视觉问题

22. 延展：基于多仓库融合的代码生成

23. 延展：基于代码解决数学题

24. THANKS 如果您有兴趣进一步了解商汤AI代码助手，可联系 ： sensecode@sensetime.com