无人机的智能感知技术

1. 无人机的智能感知技术 2023 年 8 月美团无人机业务部

2. 目录 • 背景介绍 • 场景挑战 • 算法能力 • 系统建设 • 未来展望

3. 无人机智能感知任务目标：通过AI算法对机载端多种传感器数据进行组织和处理，形成以无人机为中心的立体包围，为下游决策规划提供准确、可靠、实时的空间环境信息，包括语义/3D（What）、位置（Where）、速度（When）和状态（How）等等。

4. 感知应用1：起飞前安全检查我是一个图

5. 感知应用2：避障绕行我是一个图

6. 感知应用3：安全降落我是一个图

7. 场景挑战复杂多变的环境：需要处理不同场景、多视角、多光照、小目标、细目标的识别问题。

8. 场景挑战单场景的多元变化：需要处理场景元素尺度变化、旋转变化、阴影遮挡带来的识别问题。 80m 50m 30m 5m 10m 20m

9. 场景挑战飞鸟如何躲避？风筝线如何识别？

10. 场景挑战传感器选型：除性能指标外，还需要关注体积、功耗、散热、桨叶遮挡，可用的货架产品有限。常见的传感器优点缺点视觉传感器成本低，颜色/纹理信息表示能力强容易受光照影响、没有3D信息双目立体视觉传感器较精确的3D信息容易受光照影响、成本相对较高毫米波雷达全天候、全天时、测距、测速信噪比低激光雷达精确的3D信息成本高、重量相对大

11. 场景挑战安全冗余：除了通过视觉+毫米波雷达的多天时、多天候：第四代无人机升级了高感融合避障外，在系统设计时需要增加紧急光、高动态的4k视觉传感器来提升弱光下感避障功能进一步提升感知的鲁棒性。知和定位性能；即使在黄昏，也可完成配送。

12. 场景挑战计算高效：和上一代无人机相比，需要处理更多路的传感器信息，虽然SOC算力有了较大的提升，但是和车载SOC相比算力仍然非常有限，对机载端算法模型性能的极致优化提出了更高的要求。

13. 算法能力目标检测：针对部署平台的硬件特性，结合重参数方法，定制优化了一套精度和性能平衡且量化部署友好的目标检测方法EagleYOLO，可用于无人机的精准降落。同时，在公开数据集 COCO上，该方法相比YOLO v8也取得了更优的结果（速度+13%，mAP+0.9）。我是一个图：Marker 阴影鲁棒、局部遮挡、旋转鲁棒、小目标、多任务

14. 算法能力局部描述子：我们提出了一种可应用于无人机全局定位的局部特征描述子DRKF ，即使在卫星导航失效时，也可输出有效的位置信息，帮助无人机在各种复杂场景下顺利完成订单配送。 IROS23-DRKF: Distilled Rotated Kernel Fusion for Efficient Rotation Invariant Descriptors in Local Feature Matching

15. 算法能力语义分割：我们基于多分支高性能分割结构STDCNet实现了一套无人机视角的轻量级实时语义分割方案，为异常情况的降落选点提供有效的语义信息。 CVPR21-Rethinking BiSeNet For Real-time Semantic Segmentation

16. 算法能力 3D感知：我们在CREStereo的基础上，研发了3D感知算法UAVStereo和UAVMonoDE实现深度估计和3D障碍物检测，性能远超经典的SGM。左目右目深度

17. 算法能力多模态融合：通过多传感器以及时序信息来实现多模态融合，构建局部实时地图，为无人机配送履约提供安全保障。清洁幕墙时飘在空中的线缆

18. 算法能力多模态融合：通过多传感器以及时序信息来实现多模态融合，构建局部实时地图，为无人机配送履约提供安全保障。空中无人机

19. 产线标定除了运营场景的感知模型外，我们还实现了一套高精度、高一致性的产线标定方法，保障高效的无人机生产效率。

20. 自然场景标定针对运营过程中由温度变化、震动变化、结构形变引发的双目退化问题，通过自标定实现参数自动修复，从而降低运维成本。

21. 底层基础库 • 统一AI模型的部署接口，适配不同机端硬件，大大降低模型部署门槛，同时兼顾模型的高性能推理。 • 针对机端环境，支持常用CV算子性能的极致优化，相比OpenCV有显著提升，保障机端应用高效、稳定的运行。

22. 算法工具链 • 模型转换/一致性验证工具 • 模型自动压缩工具 • 算法的速度/性能评测工具

23. 离线系统智能标注：我们基于通用视觉模型 Grounded DINO和SAM构建了智能标注系统，可加速“以数据为中心” 的AI模型开发周期，应对来自业务的各种紧急需求。以近期的下视障碍物检测为例，相比人工标注效率提升了 5倍，相比外部供应商提效55.6%，同时成本降低25%。

24. 离线系统数据回环：我们基于离线多模态模型通过难例挖掘和主动学习的方式从历史运营数据中挖掘出困难场景数据，并通过智能标注系统完成标注后对离线模型和机载模型进行自动迭代，从而实现“数据驱动”的优化回路。

25. 行业公开评测基于以上技术，我们还参加了一些无人机视角的目标检测国际挑战赛，也取得了一些成果： • ICCV2023举办的第六届VisDrone比赛ZSD赛道冠军 • ICCV2023举办的第六届VisDrone比赛DET赛道季军 • PRCV2022举办的第五届VisDrone比赛DET赛道冠军 • PRCV2022举办的第五届VisDrone比赛CC赛道亚军

26. 行业公开评测 • 1->17->3 • 统一框架 • 多模态 • 多任务 • 预训练持续学习 2022年DET赛道排行榜 2023年DET赛道排行榜

27. 行业公开评测除了在目标检测挑战赛外，我们在无人机场景下的低功耗目标跟踪以及异质图像匹配比赛中也取得了不错的名次： • ACM MM2023举办的无人机图像和卫星图的异质图像匹配比赛中获得亚军 • ICCV2021举办的第五届LPCV比赛视频跟踪赛道亚军

28. 未来展望 • 多模态、多任务、全场景的无人机3D智能感知系统 • 传感感知模组化 • 合成数据训练 • 全链路仿真器 • 基于VLA模型端云方案

29. Q&A

30. 招聘：感知算法/部署工程师岗位邮箱：chaizhenhua@meituan.com 更多技术干货欢迎关注“美团技术团队”