高性能在线推理服务设计与实现

高性能在线推理服务设计与实现

摘要

风控智能化体系建设依赖大量深度学习/机器学习模型进行实时在线的风险识别、智能决策。要求可以将算法模型快速部署为在线服务，供决策引擎调用。

风控决策引擎涵盖交易、支付、营销等核心链路，业务场景对决策系统性能要求极高，平均tp99<50ms。要求算法模型实时服务在高吞吐量下，仍能满足性能要求。

精细化运营大背景下，算法模型服务需要支持大促不降级，且不能通过野蛮加机器方式提高吞吐量。要求从技术及架构层进行改进，对算法模型在线推理性能有质的提升。