端侧大模型的安全建设：如何在算力与保障之间找到平衡

1. 李志伟

2. 目录

3.

4.

5.

6. AI大模型端侧大模型模型训练方式：云端模型训练方式：数据中心或云端 VS 模型推理方式：服务器或云端参数量：多为百亿/千级别模型推理方式：端侧参数量：多为十亿级别

7.

8. 预估未来4年，端侧大模型市场每年会以40～50%的增长率保持快速增长 90 79 单位:亿 61 60 47 31 30 21 8 0 2023 2024E 2025E 2026E 市场规模 2027E 2028E 数据来源：【头豹研究院】2024年中国端侧大模型行业研究

9.

10.

11.

12.

13. 。

14.

15. 代码攻击 (Code Attack) 输入中嵌入恶意代码片段，执行危险指令拒绝遏制 (Refusal Suppression) 不断提出请求，直到模型执行危险的命令正负对比 (Pos-Neg Contrast) 提供正反两面输入，使模型产生混淆/偏误 OWASP首次发布大模型的TOP10脆弱性风险前缀注入（Prefix Injection）输入之前添加特定指令/文本改变模型行为指令注入 (Instruction Injection) 输入中插入特殊指令，改变模型行为多轮越狱 (Many-shot Jailbreak) 基于多轮对话的机制诱导模型风险输出邪恶密友（Evil Confidant）通过建立信任关系，让模型泄漏敏感信息生成式反事实引导 (GCG) 向模型提供提供误导性输入，改变模型行为组合攻击 (combo attacks ) 多种攻击手段结合使用，以绕过安全策略 · · ·

16. -参数/结构可被逆向工程 - 无云端级防火墙/入侵 -模型压缩（量化/剪 - 运行时内存/缓存中遗提取；攻击者获得完整检测等防护能力枝）导致决策边界扭曲留敏感信息，容易泄漏模型后，可分析训练数 -只能依赖终端操作系统 -压缩模型对输入扰动敏 - 多应用间数据交叉污据特征、复制模型架构的基础防护感染

17.

18.

19. 企业用户平台

20.

21.

22. • • • • 难 • • • •

23. 企业用户平台

24. 稳定性准召率软硬件适配重复持续运算 72小时 load/unload （每万次输入）运行 (每千次) 识别准确性 X86 ARM >95% 支持性能模型加载目标按需加载/ 释放内存支持模型加载并推理时间 CPU/NPU占物理存储完成初始化（平均值）用率（IDEL）占用（平均值） <=800ms <200ms 3% < 500M 内存占用功耗运行电流 < 400M < 600mA 0次崩溃 0次崩溃 0次崩溃

25.

26. 监管部门针对端侧大模型的备案审查、与常态化管理过程中，核心关注如下问题：离线用户能否封禁违规日志能否上报突发事件能否处置备案测试场景化+离线沙盒

27.

28. 端侧离线模型的应急处置方案云端控制台终端设备词库管理知识库管理拦截策略管理封禁阈值模型阈值违规日志解析干预文件基础配置主动推送定期同步干预策略离线x天禁用AI功能支持紧急情况一键禁用智能回复｜辅助撰写｜图片处理｜个人助理安全SDK加载更新文件并执行定期拉取本地基座大模型

29. 端侧场景在日常运营时，因无法像云端方案用户完整的用户日志做例行巡检，因此建立常态化/自动化的评测评测数据集场景化对抗性围绕Agent场景制定复合风险评测体系基础安全评测集 Promp t KDES 互联网黑词挖掘高级攻击生成系统多样性毒性构建仿写大模型快速扩展毒性增强技术待测评终端大模型高级攻击评测集评测报告评测标注 A1-A5分类风险指数裁判大模型风险详情分类模型内容安全优化建议人工标注模型回复

30. 端侧丰富的应用场景，在基础的评测数据集之上，建立针对AI应用场景的评测方案评测数据集场景化围绕Agent场景制定复合风险评测体系基础安全评测集 Prompt 对抗性 KDES 互联网黑词挖掘高级攻击生成系统多样性毒性待测评终端大模型构建仿写大模型快速扩展毒性增强技术高级攻击评测集评测报告评测标注 A1-A5分类风险指数裁判大模型风险详情分类模型内容安全优化建议人工标注模型回复

31. 构建仿写大模型、与毒性增强的技术，快速围绕各种主题场景构建测试题集，解决端侧评测数据集构建问题

32. 构建裁判大模型，以高度自动化、和高度准确率的要求建立评测结果标注系统，进一步降低评测成本 Q A / 1. 2. 3. “ 4. “ 1. 2. “ 3. “ 1. 2. ” “ ” ” “ ” “ ” “ ” “ ” ” “ ” “ ····· ” ” 裁判大模型标注 3

33. 构建裁判大模型，以高度自动化、和高度准确率的要求建立评测结果标注系统，进一步降低评测成本 Q A 1959 1965 9 9 裁判大模型标注

34. 支持CPU/GPU/NPU运行：内存占用400M～1024MB多种规格可选；可同时支持文本、图片审核

35.

36.

37.

38.

39. 大模型正在重新定义软件 Large Language Model Is Redefining The Software