安全业务全链路数据仓库在58的实践与应用

安全业务全链路数据仓库在 58 的实践与应用

摘要

“全链路”指的是全业务、全场景、全方向，那么全链路数据仓库指的是这个数仓中的数据是包罗万象的数据，因为在信息安全业务领域，会有大量的特征、策略、用户行为需要进行数据分析和验证，因此挖掘数据关系的关联性俨然成为了一个趋势，这些数据的链路关系是面向全方位的，两点之间的数据也可以存在多条链路关系，安全业务全链路数据即数据网格化应用， 网格越密集，那么数据就越完善，集成度更高。只有构建高度集成化的数据链路才能让数据成为安全生产力，让安全业务变得更主动。

在58信安承担着全集团各个业务线安全治理治理工作，信安业务系统会生产人工审核、机器检测、举报、申诉、维权、处罚、处理、取证等一些列风控系统的数据，但是安全治理工作除了使用到这些风控侧数据之外还需要使用业务侧数据，那么这些业务侧数据的生产维护散落在各个业务线，各个业务线对数据的管理维护标准也会有很大的差异，因此会有各种结构化、半结构化、非结构化数据，同时账号、帖子id等体系不统一，那么如何能够以一个低成本的方式进行数据分析，如何快速有效的组织和转化数据与黑产对抗，是整个风控环节面临的巨大挑战，因此信息安全需要构建各个业务场景数据与风控系统数据之间的串接，让这些数据有统一的标准、相同的规范、一致的规则存储在安全数仓中。