Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption

Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption

摘要

Grab的数据湖从Hive Parquet迁移至Apache Iceberg，解决了目录式存储的瓶颈，如元数据延迟、小文件问题和操作负担。Iceberg带来10倍查询加速和95%的S3成本降低。同时，团队开源了UnifiedSparkCatalog，统一管理多种表格式，无需用户感知差异。