框架与类库:PyTorch
Zero-Downtime PyTorch Upgrade in Production: Approaches, Pitfalls and Lessons
升级PyTorch 2.6踩坑实录:从驱动兼容到生产救火!Pinterest团队顶着零宕机压力,先搞定Ubuntu 24和CUDA 12.6的基座,又智斗TorchScript死锁——关JIT profiling、弃用NVFuser才稳住服务。C++服务用宏定义巧妙跨版本,Caffe2遗产则靠Docker隔离续命。最绝的是DCGM指标丢失和cgroup驱动两记回马枪,最终靠主机监控改造和容器配置调优才通关。这波操作证明:框架升级从来不只是改版本号,而是全栈协同的精密手术。
视频生成推理加速实践:基于 torch.compile 的整图编译优化
Self-Forcing视频生成模型通过逐块自回归策略优化推理效率,但面临Python控制流、张量转换等编译挑战。采用torch.compile进行整图编译,消除Graph Break,显著提升性能。优化关键在于保持计算逻辑完全以张量形式表达,避免Host端参与,实现高效的CUDA执行。最终,整图编译在480P视频生成任务中实现47.6%的加速效果。
RTP支持PyTorch模型预测打分启航
低延时精排预测(Realtime Predict, 以下简称RTP)服务是阿里巴巴智能引擎团队自研、支持集团内搜推算法模型落地服务的工程框架, 当前RTP对接的搜推模型, 训练和部署几乎都是建立在TensorFlow上的....
torchserve在转转GPU推理架构中的实践
转转面向二手电商业务,在搜索推荐、智能质检、智能客服等场景落地了AI技术。在实践的过程中,也发现了存在GPU执行优化不充分,浪费计算资源,增加应用成本等问题。
此外还存在线上线下处理逻辑需要分别开发的情况,造成额外的开发成本和错误排查成本,对一些需要高速迭代的业务场景的负面影响不可忽视。本文将会重点介绍基于Torchserve进行推理服务部署架构优化的工程实践。
Deep Knowledge Tracing: A PyTorch Version
知识追踪(Knowledge Tracing)是根据学生过去的答题情况对学生的知识掌握情况进行建模,从而得到学生当前知识状态表示的一种技术。将深度学习的方法引入知识追踪最早出现于发表在NeurIPS 2015上的一篇论文《Deep Knowledge Tracing》,作者来自斯坦福大学。在这篇论文中,作者提出了使用深度知识追踪(Deep Knowledge Tracing, DKT)的概念,利用RNN对学生的学习情况进行建模,之后引出了一系列工作,2019年已经有使用Transformer代替RNN和LSTM并且达到了SOTA的论文。DKT作为知识追踪模型深度化的开山之作,在几乎所有的深度知识追踪模型中都作为baseline,而DKT作者给出的模型实现是基于lua语言的,为了能够让更多的研究人员更方便的使用,这里给出一种python的实现,采用的是pytorch框架。
Pytorch 最全入门介绍,Pytorch入门看这一篇就够了
本文通过详细且实践性的方式介绍了 PyTorch 的使用,包括环境安装、基础知识、张量操作、自动求导机制、神
- «
- 1
- »