How to investigate the online vs offline performance for DNN models

How to investigate the online vs offline performance for DNN models

摘要

机器学习模型在离线评估与在线推理间的性能差距是行业普遍挑战。以DoorDash为例，深度学习的在线-离线AUC差距高达4.3%，通过优化特征一致性、实时特征更新及缓存残留问题，差距降至0.76%。特征新鲜度对模型表现至关重要，延迟特征更新会导致性能显著下降。短期方案通过调整特征偏移减少差距，长期则需完善特征日志系统，提升模型泛化能力。