知鸦日报2026-02-18

2026-02-17 16:30:00 ~ 2026-02-18 16:30:00

技术

pinterest技术：Drastically Reducing Out-of-Memory Errors in Apache Spark at Pinterest

摘要

Pinterest通过引入Auto Memory Retries功能，大幅减少了Spark应用中的内存溢出（OOM）错误。该功能自动识别高内存需求任务，并在更大执行器上重试，使内存配置无需为最大需求调整，而是基于P90内存使用。实施后，OOM故障率下降了96%，显著降低了平台成本和运维压力，同时支持了平台的有机增长。

登录后可查看文章图片

‹ 2026-02-17 日报 2026-02-19 日报 ›