知乎基于 Gluten 优化 Spark 作业的实践

知乎基于 Gluten 优化 Spark 作业的实践

摘要

知乎团队迁移Spark作业到Gluten引擎，经历多次尝试后成功迁移2446个作业，资源消耗平均降低40%以上。迁移中解决了大量数据一致性、性能与稳定性问题，包括GCC优化Bug、JSON函数差异、Parquet版本兼容等。未来计划优化剩余失败作业，并探索数据同步、Flink迁移。