数据挖掘技术在轨迹数据上的应用实践

针对这一问题，我们基于轨迹点的密度（时间密度、空间密度）进行数据过滤，并对局部自相交轨迹段进行分段，最后通过Douglas Peucker算法提取轨迹段关键形状点，在保留轨迹转向特征的同时，对数据实现了压缩。因此，通过轨迹分段、去噪、压缩的预处理，实现了对原始轨迹数据的质量提升。

为了检测道路交叉口影响区内的详细拓扑信息，首先需要识别道路交叉口的核心区域，即路口位置和覆盖范围。考虑到不同路口大小不一，并且路口范围内轨迹通常具有减速、转向等特征，我们设计了一套基于四叉树空间划分和Mean-shift的自适应路口位置检测算法。在搜索道路交叉口单元的过程中，将四叉树的最小边长设置为25米，并从200米大小边长开始的层（即从四叉树底部开始的第四层）搜索道路交叉口单元。由于交叉口中心位置的轨迹往往比路段具有更多的转向与较低的转速，我们对每个网格单元中的所有特征点（轨迹压缩获得）执行速度分析和基于方向的DBSCAN聚类，筛选潜在的道路交叉口网格单元。随后，鉴于Mean-Shift算法可以在聚类过程中同时检测出密度中心，我们通过该算法，结合候选交叉口单元内的轨迹点识别路口的中心位置。

在网约车业务场景中，可能会出现司机师傅未能按照导航路线行驶而出现路线偏移的现象，导致此类场景出现的原因可能是路况不佳、路线不合理、道路封闭，也可能是司机发现了更好的路线躲避拥堵，或者是对路线不熟悉，甚至故意绕路等。挖掘此类场景对于网约车提升地图用户体验、避免司乘纠纷、保障司乘安全具有至关重要的意义。为了解决此类问题，地图团队通过全局/局部的起终点（Origin-Destination，简称OD) 约束，基于用户历史轨迹行为特征建模，实时观测目标用户轨迹行为空间分布特征，从而检测路线偏移行为。基于用户轨迹的路线偏移检测，我们最终构建了实时触达用户的轨迹安全产品与路网状态更新体系。

基于OD轨迹路线偏移检测，通常涉及到路线表征维度多样性、OD观测空间下历史正常轨迹稀疏性、检测实时性等建模问题以及TB级轨迹大数据的离线特征存储更新、在线实时查询等工程问题。虽然在学术研究领域，轨迹异常检测已经形成了相对成熟的解决方案与不同角度的研究积累，但在实际工程实践会面临复杂多样的业务场景，具体来讲：

1. 路线表征维度多样性
   用户轨迹路线可以用一系列有序的GPS点串表征，该方式可以保留最原始的路线信息，但是会存在轨迹飘点、冗余、无法批量高效建模的问题；也可以基于轨迹匹配道路结果进而通过一系列路段表征路线，该种表征方式最为常见，同时也会存在轨迹质量、绑路策略而带来的误匹问题；还可以将GPS映射到空间瓦片表示，该方式可以有效规避以上两类问题，但是无法精确定位路网问题。因此在不同的建模场景中，应该采取不同的路线表征维度。左侧蓝色点串GPS轨迹的原始表示，右侧表示轨迹的瓦片表示。

   
   

   
   

2. OD观测空间下历史正常轨迹稀疏性
   由于我们是在OD的空间约束下进行轨迹建模，并且需要观测在该空间下历史用户轨迹分布特征，如果用户行程起终点下关联的历史用户轨迹数量过少甚至不存在，那对于轨迹建模来讲将是巨大的挑战。
   
   
3. 检测实时性
   在路线偏移的场景下，不管是路网状态异常还是订单状态异常，都要求算法能够实时、精确、可解释的计算结果并触达用户，因此要求我们的算法要能够实时地对端上上报的轨迹点进行状态判定。

▍3.2 "少而不同"绕路检测

该模型主要分为两个模块，第一个算法模块是基于时间序列流量信息相似性建模，该模型可以引入经典的Siamese LSTM网络，并融合注意力机制与自定义损失函数，实时刻画历史同期流量曲线与当前流量曲线的相似性，从而在线检测流量异常。由于采取了与历史同期（例如本周一与上周一）的流量序列建模，因而对流量自然下降及波动具备很强的鲁棒性。

基于Siamese LSTM流量异常检测可以对全路网空间的流量异常进行实时检测，其检测的结果需要更强的证据佐证道路异常，因此，我们设计了第二个算法模块LSPD， 该算法侧重于通过群体用户行为的异常判别第一个算法模块结果的可解释性与概率性，主要思想是统计同OD下路线模式的分布变更，不同于轨迹异常检测算法(iBOAT) 在OD场景下关注“少而不同“的异常轨迹，我们重点关注“多而不同“的用户群体性异常行为，例如某时间段内历史用户集中出现了绕路事件，则通过我们的LSPD算法模块可以精确定位到哪些路段可能出现了道路封闭以及发生发生该类事件的置信度有多大。

在当前的工业实践中，数据挖掘也常常和一些热门词汇联席出现，比如人工智能、机器学习、大数据、数据分析、数据科学等，如下图所示。