详解阿里99大促活动页内容识别技术实现

引言

99大促有淘宝、天猫、聚划算等全员参与，上千个页面形式的展现。其中，测试是保障活动页面的正常发布的一个必不可少的关键环节。传统的测试方法，需要测试人员去分析这个页面是否正常生成，以及是否实现正常地跳转等。这样通常会占用大量的测试资源。那么能否利用机器学习等相关技术为测试赋能呢？

带着这个问题，我们分析了页面的特性。经过分析后发现页面具有高度的相似性，很多模块是复用的。因此，可以利用机器学习去学习模块特征，进而达到识别这些模块的目的。最终，我们实现了对淘宝99大促几十个活动页模块的自动识别。

样本生成：样本生成过程中使用的三种方法
模型选择：fpn + Cascade R-CNN

模块识别：识别页面中模块类别和位置
元素识别：基于模块的识别区域，识别内部元素
位置修正：通过传统图像的方式修正内部元素位置

模型预测

样本制造

模型选择

模型识别

模块识别

元素识别

由于目标检测模型本身的局限性，会导致没法达到像素级别的精确性，因此需要对位置做修正。为了近一步提高准确度，采用计算公式如下：

效果

本篇我们基于FPN+Cascade网络去预测淘宝99大促模块，在验证集近千张的样本量的情况下，采用了coco的验证标准，达到了如下的准确率：
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.982
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.989
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.984
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.989
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.423
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.986
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.993
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.993
Average Recall (AR) @[ IoU=0.50 | area= large | maxDets=100 ] = 1.000

由上面的数据我们可以知道，页面和相应元素识别的召回率和准确率达到了98%左右，满足了识别精度的要求。此外，该流程符合Coarse-to-Fine的架构（由粗粒度到细粒度），对于相类似的问题也可以采用该方法处理。

后续计划