Introducing OpenZL: An Open Source Format-Aware Compression Framework

Introducing OpenZL: An Open Source Format-Aware Compression Framework

摘要

Meta推出全新数据压缩框架OpenZL，通过结构化数据处理实现高效无损压缩。它采用可配置转换序列揭示数据隐藏规律，配合通用解压器实现跨格式兼容。实测显示，在星表等结构化数据上，OpenZL压缩率超Zstd 57%且速度更快。其核心优势在于离线训练生成压缩方案，支持动态适配数据变化。现已开源，适用于时序数据、数据库表等场景，文本类数据则自动回退Zstd标准。