1. 大小模型协同驱动安全升级 基于大小模型协同的数字内容风控实践 胡宜峰

2. 目录 01 背景与挑战 02 大小模型协同解决方案设计与分析 03 基于大小模型协同的数字内容风控实践 04 未来展望

3.

4. 01 背景与挑战

5. 背景 发展历程 2012 ResNet GPT 将网络性能和深度推 向新的高度。 验证了“生成式预训练 +微调”的范式 2016 2017 AlexNet Transformer 开启现代深度学习的 “大爆炸”时代。 构建了大模型时代的 基石架构 2020 2025 Deepseek 推动了高性能模型的 “开源化”和“普惠化”

6. 小模型 优势 不足 高效率低成本 复杂问题能力有限 定制迭代敏捷 泛化能力较弱 小模型 可控性相对较高 数据强依赖 隐私与安全 功能性较弱

7. 大模型 优势 不足 复杂场景能力较强 成本和时延相对较高 泛化能力强 相对不够稳定 大模型 功能通用 隐私与安全问题 创造能力更强 迭代相对复杂

8. 选择 VS 小模型 大模型

9. 选择 1 功能 2 3 4 大模型 VS 小模型 互补 行业 类比CPU VS ASIC 技术 理论依据 分而治之 比较优势 协同发展

10. 新范式- 从孤立模型到协同系统 Scene 1 Multi- Agent Collaboration PreProcess Preprocess Infer PostProcess Model_1 Context Sharing Data Exchange Input Embedding Scene 2 PreProcess Infer Infer PostProcess Model_ 2 Model Sharing Weight Sharing Knowledge Sharing ... Scene N Postprocess PreProcess Infer PostProcess Model_N Output Sharing Task Sharing Objective Sharing

11. 挑战 大小模型协同 • 解决方案 任务拆解、模型选择、pipeline 设计、模型路由、 信息交互、融合策略 效率 效果 • 模型 蒸馏、知识迁移 • 数据 数据量、准确性、差异性、价值 • 工程 时延、并发、迭代周期 可控

12. 02 大小模型协同解决方案

13. 大小模型协同 Data Enhancement Pipeline/Routing Integration/Fusion • • Model Confidence • Feature • Rule • Weight • Reinforce 大模型 Knowledge Distillation Knowledge • Logits • Prompt • Feature • Class • Relation • Confidence Data Generation Interaction 小模型

14. 大小模型路由 Hard Samples Samples ➢ ➢ ➢ ➢ ➢ Easy Simple Subjective In- Domain …… ➢ ➢ ➢ ➢ ➢ Hard Complex Objective Out - Domain …… Lower Cost Better Results Embedding Easy Samples

15. 基于动态网络的大小模型路由

16. 大小模型交互蒸馏 SLM LLM CoT RaR Input … LLM Output Input Filtering Training Data DistilledSLM + Traditional model Refine Merge … SLM Output Filtering General Domain + Traditional model Specific Domain Training Data DistilledLLM

17. 基于大小模型协同的数据挖掘 输入侧 工具包流水线服务侧 大模型检测结果生成 Cross-Modality Enhance、Language-guideToken Selection 目标类别： 电子烟 电子烟 初始结果 去除冗余框：是 口红 小模型检测结果后处理 彩笔 保存路径：src/anno 香烟 可视化：是 筛选目标类别、去除冗余框 有效结果 过滤结果 标注结果导出与验证 文本输入 * 素材仅用于示意说明。 图像输入 功能输入 img1 cls x y w h img2 cls x y w h … 迭代式优化 提高效果

18. 大小模型协同系统性能优化 MoE Shortcut Ratio KV cache Token Step Speed up Prefix cache Block Depth Token prune Scale 大模型加速 大小模型协同

19. 03 数字内容风控实践

20. 数字内容风控场景挑战 数据分布广泛 2 AIGC 生成方式多样 强对抗 对抗样本攻击 语义层次深 3 1 复杂、隐晦表达 4 识别成本高 生成成本低 1 识别难度大 生成效果逼真 6 5 未知风险 AIGC 技术发展快

21. 内容风控场景的特点 垃圾数据 0.1% 正常数据 99.9% 极度的数据不平衡 标签体系复杂

22. 基于大小模型协同的数字内容风控方案 Classifier N …… … 𝑊=TexEnc(T K ) This is a photo of a pistol with probability 𝐶 𝑠 Layer 2 …… Tag Enhance Similarity Retrieval Visual Encoder Harder Layer 1 This is a photo of a shotgun with probability 𝐶 𝑠 Layer N Firearms can be categorized into several main groups based on their design, function, and purpose: Handguns…… Text Encoder LLM This is a photo of a gun …… "Please provide the specific categories of firearms, and give a detailed explanation." Tag Enhance Early Exit LLM Early Exit LLM F v =VisEnc(I) A man holding a shotgun Easier Classifier

23. 复杂风险治理 crop detection “A photo of a _[Tag]__” Text Encoder Classification Yes ， Prohibited Knife … 𝑊=TexEnc(T K ) Similarity Retrieval Visual Encoder Early Exit LLM F v =VisEnc(I) Classifier Knife Knife ， Kitchen ， Pot ， Woman ， Man ， Vegetable Tag Enhance {“rating”: "No", “rationale”: “The image visibly shows woman is cutting vegetables in the kitchen, meeting the criteria of ‘If it’s a kitchen knife, it’s Non-prohibited knives.'."}

24. 新型风险识别 AIGC通用能力 领域能力构建 Text Feature V Test Image 知识整合模块 [CLASS] T 通用能力补偿模块 Visual Feature al nco 多行表情包 小样本数据输入 …… Visual Feature cache Label Feature cache ……

25. 风险处理实时性 ['Active Wear Underwear', 'Bodycon Swimsuit', 'Fishnet Lingerie', 'Athletic Swimwear', 'Beach Cover Up', 'Beachwear Swimsuit', 'Bra and Panty Set', 'Maid Outfit', 'Tattoo Print Bodysuit', 'Anime Swimwear', 'Elegant Nightwear', 'Elegant Bridal Gown', 'Royal Lingerie Set', 'Bodybuilding Briefs', 'Fitness Bra', 'Athletic Lingerie', 'Seductive Hosiery', 'Bralette Top', 'Casual Intimates', 'Men’s Swim Briefs', 'Fashion Intimates', 'Bodybuilding Attire', 'Glamour Swimwear', 'Cosplay Lingerie', 'Floral Pajamas', 'Fantasy Lingerie', 少量新发型 违规数据 标签体系 自动构建 'Silk Pajamas', 'Glamorous Intimates', 'Luxury Intimates', 'Playful Lingerie', 'Backless Swimsuit', 'Cutout Swimsuit', 'Royal Bra Set', 'Party Outfit', 'Red Bra Set', 'Star Print Swimwear', 'Bunny Costume', 'Knitted Bralette', 'Bodycon Outfit', 'Swimwear Suit', 'Children’s Swimwear', 'Anime Lingerie', 'Polka Dot Underwear', 'Red Swimwear', 'Bathwear Set', 'Silk Robe', 'Strapless Bra', 'Bodybuilding Gear', 'Casual Lingerie', 'Winter Swimwear', 'Fitness Wear', 'Fitness Lingerie'] N - shot 细粒度标 签识别 Training- free

26. 实践效果 基于大小模型协同的内容风控实践 准确率 研发周期 资源消耗 审核效率 • • • • • 85 %+ (5 - shot 大部分新增能力研发 training - free) 周期由周级别缩短到 95 %+( 微调) 日级别 • Case 级别响应周期 单个标签数据标注量 下降到百量级 • 人工审核效率提升 70 % 小模型短路比 96 %+ 。 缩短到分钟级别 效果 敏捷迭代 资源消耗 人工审核

27. 04 未来展望

28. 大小模型协同未来趋势 B 迭代交互式协同 MoE 范式协同 A 未来 趋势 端云协同 C Agent 任务路由 D

29. 内容风控场景发展趋势 必须涵盖所有内容模 必须紧跟AIGC 的发 能识别不同类型大模 在兼顾效率的前提 态，视觉，文本音频 展，以制定及时的迭 型生成的有害内容 下，多角度、多链路 代方案 全栈识别能力 特征识别方案 创新优化算法 敏捷迭代 结合通用知识 创新能力 极强泛化 后知后觉 提前预判 内容感知 内容认知

30.

31. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software