购吖货柜商品动态识别算法的秘密
1 前言
近年来，无人零售作为一种便利的零售新业态，在我国许多城市得到了长足发展。根据前瞻产业研究院发布的《中国新零售行业商业模式创新与投资机会深度研究报告》预测，2022年无人零售用户可达2.45亿人，交易额达将超1.8万亿元，未来五年将是无人零售的发展红利期。无人零售的快速增长，得益于多种技术的发展和融合，特别是移动支付的普及和人工智能、大数据、物联网和云计算等高新技术的应用落地。
本文主要基于深度学习技术，介绍一种新的智能零售柜的设计与实践。
信也科技旗下“购吖”作为国内智能零售货柜品牌，融合了AI算法、图像识别等新技术，使零售行为的每一环节都在不同程度上实现数字化，通过智能硬件和智能零售平台连接消费者与品牌商，助力智能零售行业的数字化发展。
2 动态识别技术简介
购吖发力AI智能零售的近几年，不断针对运营过程中发现的各种问题与痛点，实现了技术的持续迭代升级，从最初的用户主动支付、到之后的静态识别技术，升级到最新的动态识别技术。
所谓的动态识别技术，即通过对用户购买行为的“动态视频“进行识别分析，进而得出用户购买的具体商品信息的方法——相对而言，上一代的”静态识别“技术，则是拍摄柜子内部商品陈列静态照片，通过用户购买商品前后柜子商品成列照片的差异进行分析购买的商品信息。
动态识别技术较之静态识别的技术具有诸多优势：
首先在硬件成本上，静态识别技术需要在每层货架上都加装除雾摄像头，而动态识别技术只需要柜子外设置2个摄像头即可，节省了成本（仅拍摄柜子附近30公分内的购物场景，不会收集用户人脸数据、不会拍摄公共场所路人）。 其次在运营上，静态识别技术需要每层货架的商品都按照一定严格的放置规则，并且无法支持商品的叠放（商品遮挡会导致静态识别数量出错）——而动态识别技术对柜子内商品的陈列没有任何要求，可以充分利用柜子空间，提升了运营效率。 动态识别技术因为分析的是用户的购买行为，因此可以对用户的各种异常行为做出识别（如换货、破坏柜子等），进行预警干预，防止了运营出现重大意外损失的可能。动态识别的流程如图1所示。
图1 动态智能零售柜购物流程
动态识别模块总体介绍
动态识别总体流程如图2所示，下文中会对每个模块具体展开介绍。
图2 动态识别流程
异常检测
当前动态识别会检测的异常包括两种。
第一种是图3所示的“遮挡摄像头异常“。当摄像头被遮挡住，那就无法进入正常的商品识别流程，因为识别出来必然是没有购买任何商品，这就需要人工介入。
图3 遮挡
第二种异常是图4所示的“异物拿放”的异常。在运营柜子时有可能会有用户把异物放入或拿出柜子，这种情况可能会对柜子内其他商品造成影响，或者对其他误拿异物的用户产生安全问题，因此也需要人工介入处理。
图4 异物拿放
目标检测模块
目标检测任务就是要找到图片中我们关注的物体的位置和它的类别，商品检测的流程具体如图5所示。
图5 商品检测模块流程
目标追踪模块
如图6所示我们如何判断物品移动轨迹。
图6 商品包围框形成移动轨迹判断位移信息
ReID模块
在知道了关注的商品的数量后，另外一个重要的信息就是需要知道商品的类别。我们零售场景下，运营需要根据售卖点特征与天气等各种因素，不断调整选品以优化销售情况，因此需要识别的类别经常要扩充。此外零食饮料类的快消品外包装本身也会进程发生改变，因此即使商品的类别没有变化，其外形的变化也会产生识别意义上的“新类别”。频繁的类别改动，就会要求模型一直需要采集新的数据重新训练并重新部署，这样非常消耗人力物力，也无法及时响应运营上上新的速度要求。
为了应对这种挑战，我们把固定类别的分类方法，改为了ReID方法。
图7 获取商品图片
随后如图8所示，我们再根据这些抠出来的子图片，通过模型自动匹配到哪种商品。
图8 匹配轨迹里的商品子图片和数据库里的样例图片
效果展示
根据上述的流程，我们就可以得到每一段购买视频中用户所拿取的说有商品的类别和数量，进而自动生成订单，形成对顾客无感顺滑的购买体验了。使用动态识别技术，既保留了原本静态识别的无感的良好用户体验，同时也降低了柜子成本、提升了运营效率，是一种最适合当下的一种智能零售的方案。图9和图10是一些识别结果的可视化展示。
图9 效果展示
图10 效果展示2
总结
提升消费者体验、实现消费流程的全面数字化以及整个产业链的智能化升级，一直是智能零售行业的共同目标。信也科技作为国内金融科技企业之一，在数据、算法、技术等方面已具备较深积累。“购吖”智能零售柜在技术上的不断迭代更新，是信也科技对于人工智能技术应用落地的成果，更是信也科技通过数字化与智能化助力传统行业降本提效的重要贡献。
作者介绍
Nigle，信也图像识别资深专家