Optimizing ML Workload Network Efficiency (Part I): Feature Trimmer

Optimizing ML Workload Network Efficiency (Part I): Feature Trimmer

摘要

Pinterest的在线机器学习服务系统采用根叶架构，但根叶间网络带宽成为性能瓶颈。通过特征修剪器（Feature Trimmer）技术，仅传递模型实际需要的特征，减少数据传输量。该方案基于模型签名动态同步特征需求，结合压缩优化，显著降低网络负载和延迟，节省了400万美元年成本，同时释放了GPU算力潜力。