Tracking Down Mysterious ML Training Stalls

Tracking Down Mysterious ML Training Stalls

摘要

深扒Pinterest升级PyTorch时遇到的性能暴跌谜案！从50%的吞吐量骤降开始，团队抽丝剥茧：先锁定失效的torch.compile竟是因Flop计数模式冲突，再揪出Ray监控进程频繁扫描内存导致GPU训练卡顿。最终砍掉冗余统计逻辑，不仅填平性能坑，还反超旧版本20%！