彭垚-视频智能中台打造AI产品的钢筋混凝土时代

如果无法正常显示，请先停止浏览器的去广告插件。

1. 视频智能中台打造AI产品的钢筋混凝土时代演讲人闪马智能创始人兼CEO 彭垚

2. 截至当前，全国摄像头数量已超过 200,000,000 台然而，每日产生的视频数据利用率仅不足 1% 或许，我们应该重新思考如何发挥视频的价值升维视频AI分析能力让视频真正为人服务视频正成为人类最直接、最主要的交互方式，数亿计的摄像头和手机都在实时记录着发生在社会中的每件事情。为了最大程度利用每一秒视频，闪马智能倾力打造了「VisionMind 视界心」系统，化所见为所知，看见城市中每个微小的异常，预知每个潜在的风险，为人类构建真正安全、文明、美好的社会。

3. 团队历程 2016 创始人彭垚、林亦宁开创七牛AI实验室，组建深度学习团队，主导研究和开发工作 2017 7 月发布面向图片视频的深度学习平台，实现模型生产自动化、流水线化 10 月 ACMMM LSVC 竞赛亚军闪马智能成立于2019年，前身是“七牛云人工智能实验室”。依托七牛海量视频数据，闪马智能专注“视频异常分析”和视频分析之上的大数据，变革人 2018 2019 类使用视频的方式，帮助人们利用海量 6 月 ActivityNet 竞赛季军 2 月闪马智能成立视频发现异常并解决社会问题。 9 月复旦-七牛联合实验室成立 4 月发布智能视频异常分析平台参与举办世界人工智能大会 11 月荣获“首届进博会网络安保贡献奖” 12 月入选《上海人工智能创新产品名录》参与 2019 外滩、豫园跨年安保工作参与上海非机动车治理行动 8 月获得 5800 万天使轮融资非机动车治理项目入选CSDN AI TOP 30案例 9 月获得 5800 万元天使轮融资入驻华为HoloSens Store成为首批算法合作伙伴 11 月与电科智能联合研发守卫者Guardian系列边缘计算节点

4. 产品应用应用领域应用平台 AI 分析引擎城市交通城市治理岗位管理城市大客流管理互联网内容安全智能违法抓拍识别违章信息告警操作规范客流量管理鉴黄违法时空分析违章内容上报仓库管理客流密度管理鉴恐两“快”建档违章高发路段警力调度服务窗口人群事件告警鉴政机动车违法识别非机动车违法识别特种车辆违章识别特种流量行为分析不按导向行驶机占非车辆路线违规认责路段违章统计行为分析类通用分析类无人在岗识别抽烟识别客流量识别人群异常事件识别路段违章统计打架斗殴事件大弯小转逆向行驶未覆盖渣土车识别重点路口信息统计打架斗殴识别睡觉玩手机识别重点路口信息统计人群突然散开不礼让行人闯禁令车辆未注册认责特种车辆行经路段人员进入识别违规着装识别特种车辆行经路段拉横幅示威违规内容识别违规风险处置鉴黄数量统计鉴暴恐鉴政治敏感鉴非法广告算法调度与负载均衡基础支撑云计算平台、大数据平台、深度学习平台视频管理服务前端接入摄像头监控设备视频流视频平台图片流趋势分析内容自动屏蔽

5. VisionMind 智能交通系统应用场景系统简介 VisionMind视界心·交通系统基于云计算、大数据、深度学习平台搭建，适用于城市道路交通场景，具备极高监测准确度，可对30余类机动车、非机动车以及行人违章行为进行自动识别、抓拍和报警推送，由此获取全程证据链，形成完整监管闭环。借助闪马智能城市交通系统，交警部门可以及时准确地进行非现场执法，省去路口违章识别路段违章识别推荐算法推荐算法现场取证时间，使城市道路交通管理工作更加高效，减少道路拥堵问题，降低交通事故发生率，安全出行、放心出行。 • • • 机动车不礼让行人机动车大弯小转非机动车闯红灯 • • • 机动车网状线停车机动车违法禁止标线非机动车逆向行驶

6. VisionMind 智能交通系统上海市某区交警支队应用场景城市道路交通路口路段需求难点日益增长的外卖、快递需求量以及相关行业的发展，导致非机动车违法，包括闯红灯、逆行、占用机动车道、人行道行驶等尤为突出。解决方案利用现有的治安监控、卡口、交警监控、电子警察监控资源，布控智能违法识别系统，自动发现并上报外卖等非机动车辆违章事件，统计违章数量，并且为外卖、快递骑手自动建档。采用后端接流分析，并将识别的结果按照定义的标准和接口进行上报。治理效果协助当地交警，成功识别并处置平均每路摄像头：1000起/月，非机动车违法事件，并为外卖、快递骑手自动归档。社会价值推动城市交通的规范化、秩序化、智慧化，对于提升城市形象和地位，发掘潜在经济和社会效益，将产生难以估量的正面影响和积极意义。

7. VisionMind 客流管理系统应用场景系统简介交通枢纽开放区域 VisionMind视界心·客流管理系统，用于公共场所、大型活动区域等地大规模人流疏导管理，同时可分析识别拉横幅、打架斗殴、人群聚集等异常事件。系统基于深度学习平台搭建，可承载高峰期十万级人流量。模型由大量历史数据训练，可根据人流密度变化进行趋势判 • • 打架斗殴违规拉横幅 • • 翻越围栏人群突然散开 • • 客流划线计数人群聚集 • • 区域客流密度违规拉横幅断，达到突发事件事前预警，及时防范。现场信息即时自动上报，指挥室当即掌握前线情况。警务人员可合理大型活动调配人员，及时应对突发状况，满足安保指挥需求，减重点路段（校门、医院等）少公共安全事件风险。 • • 打架斗殴拉横幅识别 • • 翻越围栏人群突然散开 • • 客流划线计数人群聚集 • • 区域客流密度人群突然散开

8. VisionMind 客流管理系统上海市某区指挥中心应用场景市中心重要广场、景区需求难点 1、客流量超大，区域瞬时大客流可达数万 2、市中心重要场所，对人群异常事件需要及时并准确的告警，且不能因不利环境出现管控盲点 3、城市警力并未达到各区域充分覆盖的程度，因此需要系统及时预判趋势提前预警，便于合理机动的调配警力；解决方案 VisionMind 客流系统基于现有监控摄像头，对覆盖区域进行客流统计、客流态势分析以及人群异常事件（比如异常聚集、打架斗殴、闯入禁区等）识别分析，实现应对各级各类客流流量与人群事件的准确预警、极速告警、有序疏散，建立管理与疏导长效机制。系统可支持超大规模人群分析，且对雨天和夜晚等场景有较强的抗干扰能力。治理效果由于不涉及施工和设备安装，系统在一周内便完成了部署和上线试运行。正式上线几个月来，已有效预警数万次，帮助避免或及时处置了多起重大事件，真正帮助警方以现有警力覆盖全辖区。

9. VisionMind 城市治理系统应用场景系统简介 VisionMind视界心·城市治理系统，从监控摄取特种车辆沿途行驶视频，通过平台视觉识别车辆外观、牌照等信息，分析是否存在车辆未合规覆盖、未按指定路线行驶等问题，即时抓拍，保留证据。根据违法数量趋势，找出风险高发地段，便于监管人力事先调配，打通自预特种车辆身份认证特种车辆违章识别推荐算法推荐算法特种车辆流量行为统计警到处罚整体监管闭环，有效解决城市扬尘监管问题，提升城市管理水平，维护城市环境清洁。 • • 特种车辆识别车牌识别 • • • 渣土车未覆盖识别路线违规识别车辆未注册识别推荐算法 • • • • 特种车辆行经路段统计路段流量统计路段违章统计非本市车辆出入统计

10. VisionMind 城市治理系统上海某区城市运营部门应用场景城市扬尘治理需求难点 1. 2. 3. 4. 每天有大量的渣土车来回于不同的道路上，线下力量无法做到提前部署排查；当前还没有设备、产品能做到渣土车车辆未覆盖的识别；当前还没有交通道路监控设备、产品能监控渣土车的行为；对未注册的渣土车同样没有有效的发现手段。解决方案通过机器视觉利用交管摄像头对路面行驶的渣土车进行识别，并对“未注册、未合规覆盖、未按规定路线行驶”等违法行驶实现智能警告，形成对渣土车运营的监管闭环，大幅提升治理效率与效果。应用效果单路段违规从第一周的日均2.65辆次减少到了第四周的0.97辆次。

11. VisionMind 岗位管理系统应用场景系统简介 VisionMind视界心·岗位管理系统，应用于服务窗口、工业岗位监督管理，通过监控视频有效识别岗位人员是否有脱岗、睡岗、抽烟、玩手机、操作不规范等违规行为。24小时自动监测预警，节省了80%以上人力审核时间。模型平均准确率达91%，客观标准减少人工主观判断风险，视频图片自动化取证避免事后纠纷。维护单服务窗口形象位形象，肃正工作风气，减少违规操作，保障生产安工作流程规范亮点功能全。 • • • 工作时间离岗工作时间睡岗违反着装规定亮点功能 • • • 危险操作行为违反操作标准违反工作纪律

12. VisionMind 岗位管理系统某企业客户应用场景工厂、营业厅需求难点 1、某些场景与逻辑判定需要多摄像头联动 2、场景摄像设备多变（镜头与墙壁夹角近垂直角度、鱼眼摄像头画面变形） 3、高要求的异常行为识别（抽烟、玩手机、睡觉、打架等）解决方案以实时和历史监控视频流为分析对象，通过对“特殊物品”、“特殊行为”和“工作服”进行智能识别。结合场景与业务，通过逻辑推理，自动发现岗位管理所需要关注的各类异常事件、触发告警，并在系统内给出证据源。1个工作日内，服务部署上线，结合机器预警人工复检的结果反馈，不断进行迭代升级，提高预警的准确率。应用效果一季度产生5千多条预警，平均正确率88%。其中服务窗口单模型准确率达91%，帮助发现未穿工作服、离岗、抽烟、玩手机等问题；值班室占21%，单模型准确率达到82%，帮助发现无人值班等问题。节省了80%以上审核时间，帮助用户提高人效，规范岗位行为。

13. VisionMind 内容安全系统应用场景系统简介 VisionMind 视界心· 内容安全系统，是面向互联网内容安全需求的一站式多维度 AI 内容审核产品。应对日均数十亿的视频、图片数据，平台提供了准确率高达 96.4% 色情识别、13 类暴恐类型识别及 2500 余名政治敏感人物识别功能，结合 Atom 深度学习平台更可第一时间迭代模型，满足最新审核需求。闪马智能互联网络监管部门互联网内容平台推荐算法推荐算法网内容安全系统可为用户提供安全省心的人机双重审核服务，节省 98% 人力审核成本，守护网络内容环境干净、有序。 • • • 暴恐粗分类色情低俗粗分类视频人物识别 • • • ASMR识别字幕识别审核黑白名单

14. VisionMind 内容安全系统审核总量监控平台数 1738 视频平台 56% 违规内容图片 44,162,117 张图片 24,967 张视频 21,273,812 个视频 10,835 个直播 11,081,783 分钟直播 265 路风险预警七牛云应用场景 B2B线上内容审核社交媒体 23% 22500 18000 13500 0.57% 9000 4500 违规 0 7/20 需求难点风险预警安全风险 7/23 7/26 高危 1. 2. 3. 每天产生约几十亿的图像、视频数据，很难通过纯人力抽样来审核审核人员素质参差不齐，通过培训人审团队并不能很好的把握住统一的标注 2B业务用户标准不同，通过人力审核很难达到特定客户的效果解决方案闪马智能团队经过多年打磨，打造出一款集鉴黄、鉴暴恐、鉴政治敏感人物、鉴小广告于一体的高性能深度过滤产品，通过该产品七牛云协助众多互联网企业完成了在线内容的审核，帮助他们避免了产品违规的风险，同时相比较纯人工审核团队更降低了人力成本，提高了服务效率。应用效果本产品在七牛云已稳定运行一年多，每天处理逾数十亿条图像、视频文件，性能稳定，效果卓著。

15. VisionMind 数据中台支撑业务运营业务（SaaS）应用集成（PaaS） AI模型数据反馈闪马运营平台管理设备运维模型类型业务分析平台分析视频分析运营分析运维分析视频运营指标运行日志数据类型数据架构业务运营数据（SaaS+PaaS）云边端

16. 一个平台解决各行业问题：统一算法工程平台行业应用算法引擎 ● 统一的算法工程平台，可承载运行多种算法引擎 ● 便于算法部署/升级/管理城市治理城市交通机动车违法非机动车违法特种车辆车流计数岗位管理违规行为检测算法工程视频接入与管理城市大客流管理违规着装客流统计人群聚集分类算法任务管理消息管理统计分析互联网内容安全打架斗殴违规内容跟踪存储管理配置分发系统监控授权管理日志管理安全管理

17. 庞大的核心工业级模型库：视频分析模型以视频异常分析为核心，积累百余个算法模型结构化流量参数基于图片的算法异常事件基于流的算法

18. 高效的模型工厂：Atom 深度学习平台数据 LEGO Big data Model Deployment Serving System Label Video Image Text 每日亿次图像/视频分析推理的数据积累在海量数据上进行细致数据分布研究和数据标签化，极大加快算法进化速度。 Cross-platform Service / Model Compilation Universal Compute Schedule Scheduler Cloud adapt Atom Engine Universal Data Access Dataset Manager Training Warmup Data Clean 训练平台依托丰富云计算服务经验和基础研发能力建立了一套支持迁移学习、批量调参、自主学习架构的大规模分布式训练平台。 Virtualization/Orchestration 推理引擎 Hardware /Network 研发了一套完全自主产权、统一架构、依赖极少的推理引擎，推理速度比原生开源框架快20%以上。

19. 核心算法能力 Re-ID 优势多模态跨镜头追踪算法架构图视频流接入人体检测解码人脸记录入库 • • • • 稳定性好：在三大公开数据集上均处于领先水平速度快：单模型计算，速度达到超实时可扩展性好：能用于大规模跨镜头追踪避免浪费：能在不购买新的摄像头/硬件基础之上，实现跨视频流的行为分析 ID关联人脸检测 Top1@Market1501 Top1@DUKE Top1@PRW 人物记录入库 Supremind 95.2% 88.8% 67.43% State-of-Art 95.7% 88.7% 52.54%

20. 核心算法能力人流统计论文 Crowd Counting with Attention: Dual Path Feature Pyramid Approach 专利《一种基于生成对抗神经网络的人群计数方法以及系统》

21. 核心算法能力目标检测技术奖项 • • ImageNet Object Detection 前三 Google OpenImages top 2% 优势 • • • 物体标签丰富色情识别在真实数据友商比拼中排名第一暴恐识别在公安部比武测试中排名第一专利 • 一种基于生成对抗神经网络的图像处理方法（申请中）

22. 核心算法能力视频分类奖项 • • • ACMMM LSVC 2017 亚军 ActivityNet 2018 MIT 季军 ActivityNet 2018 Kinetics 季军论文 • ACMMM 2017 《Large-Scale Video Classification with Elastic Streaming Sequential Data Processing System》 High Order Neural Networks for Video Classification AutoHighlight : Automatic Highlights Detection and Segmentation in Soccer Matches，IEEE BigData 2018 organization team （发表中） • • 专利 • • 视频分类方法、装置、存储介质及电子设备视频分类模型训练方法、装置、存储介质及电子设备

23. 高效的应用分发1：VisionMind AI 行业应用平台统一的工程化平台 VisionMind实现了对视频流和图片流的统一接入/解析/管理；实现了对算法的统一管理/ 调度/推理；实现了对识别结果的统一存储/消息转发/统计处理；无论何种算法，都可在此统一平台上运行推理及扩展迭代。面向行业应用的平台 VisionMind是面向行业应用的一体化平台，包含了 “实时AI渲染推流”“预警墙”“预警统计”“地图撒点”等基本应用框架与模块；实现了从算法到应用的一站式落地方案便于集成的平台 VisionMind可以成为独立的一个产品；或者成为一个模块，嵌入用户整体集成方案中，成为方案中智能化体验的一大亮点； VisionMind也提供标准化API接口，提供预警结果集成至用户应用中。快速部署的一体机平台可实现数据运营的平台 VisionMind在linux操作系统上采用容器技术，可在1 个小时内完成部署 VisionMind具备审核平台，在集成项目交付之外，还可以采用数据运营模式，提供数据服务交付 VisionMind通常采用一体机的交付模式，便于快速部署、交付和扩容 VisionMind与闪马智能 Atom深度学习平台无缝衔接，实现模型快速迭代

24. 高效的应用分发2： VisionMind —— 面向行业应用 l 面向行业应用的统一框架，包含了“实时AI渲染推流”“预警墙”“预警统计”“地图撒点”等基本应用框架与模块； l 实现了从算法到应用的一站式落地方案

25. 高效的数据运营：VisionMind —— 数据运营 ● VisionMind 具备审核平台，在集成项目交付之外，还可以采用数据运营模式，提供数据服务交付 ● VisionMind 与 ATOM深度学习平台无缝衔接，实现模型快速迭代，形成数据闭环视频源行业应用视频分析多端推理引擎（中心、边缘、端）违规视频交通违章突发事件输出分析结果智慧城市异常行为互联网视频内容工业与岗位 Atom 深度学习平台互联网内容安全城市摄像头数据数据运营体系模型迭代算法优化调整参数更多行业

26. AI 工业化实现视觉智能应用快速落地产业规模化认知与拓展知识库海量数据 • 6000亿个图像视频文件 • 每天新增数十亿文件互联网数据城市大数据视频结构化大数据检索知识图谱 • 依托自研 Atom 深度学习平台构建高质量模型 • 以迁移学习的方法论将已有的模型能力延伸到其他场景 • 高效构建视频大数据应用，落地效率相较硬件产品提升 3 倍以上 • 拥有完整的数据运营体系，收集实际使用反馈数据持续升级产品爬虫富媒体大数据平台深度学习平台完善的运营支撑体系高效一体化的科研和工程团队视频应用服务平台

27. Thanks