Zero-Downtime PyTorch Upgrade in Production: Approaches, Pitfalls and Lessons

Zero-Downtime PyTorch Upgrade in Production: Approaches, Pitfalls and Lessons

摘要

升级PyTorch 2.6踩坑实录：从驱动兼容到生产救火！Pinterest团队顶着零宕机压力，先搞定Ubuntu 24和CUDA 12.6的基座，又智斗TorchScript死锁——关JIT profiling、弃用NVFuser才稳住服务。C++服务用宏定义巧妙跨版本，Caffe2遗产则靠Docker隔离续命。最绝的是DCGM指标丢失和cgroup驱动两记回马枪，最终靠主机监控改造和容器配置调优才通关。这波操作证明：框架升级从来不只是改版本号，而是全栈协同的精密手术。