Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines

Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines

摘要

Ray框架通过三大优化显著提升大规模ML任务效率：1）优化Ray Data底层结构，取消冗余的块切片和合并操作，降低CPU/内存开销；2）特征转换采用请求ID去重和避免PyArrow冗余拷贝，减少计算与传输消耗；3）UDF层面整合过滤器并使用Numba即时编译加速数值计算。实测训练管道吞吐量提升2-3倍，首页推荐模型达理论峰值90%性能。