基于Spark的配置化离线反作弊系统

基于 Spark 的配置化离线反作弊系统

摘要

百度构建了一套基于Spark的离线反作弊挖掘框架，涵盖Extract、Accumulate、Join、Policy四大核心模块，支持全量历史重算与大规模Shuffle计算。通过配置化设计，实现了字段抽取、特征定义与策略判定的解耦，大幅提升了策略迭代效率与系统稳定性。框架结合数据倾斜治理、列裁剪优化等工程实践，成为风控体系的重要计算底座。