之家push系统迭代之路

原创李娟娟、董欢欢之家技术

关注“之家技术”，获取更多技术干货

总篇211篇 2023年第25篇

前言

在这个信息爆炸的互联网时代，能够及时准确获取信息是当今社会要解决的关键问题之一。随着之家用户体量和内容规模的不断增大，传统的靠"主动拉"获取信息的方式已不能满足用户个性化信息的需求，信息主动寻找用户的方式，更适合移动互联网。push系统能在用户不启动APP的场景下获取到相关信息，利用机器学习技术构建模型，为用户提供精准的个性化推荐，让用户第一时间知晓产品、内容、活动等的最新动态。

1、系统综述

push是一种有效召回用户的产品，它涉及到的业务场景有：运营场景化推送（活动、消息通知、热点）、算法精准推送（定时个性化推送），它的核心模块如下：

数据处理：用户数据、内容数据以及用户历史行为数据等。
流程预测：通过召回、排序、干预、过滤等，生成待推送渲染数据。
JOB：调度、触发推送任务的执行。
推送通道：查询、过滤有效设备，封装协议和消息体，识别不同APP，下发到终端。
终端：对消息进行积攒处理，请求厂商或第三方渠道，进行消息下发。
APP：通知栏或弹窗展示推送消息，并上报到达和点击数据。

接下来将从数据、算法、架构三个方面介绍push精准推送系统的构成：

数据：数据是push系统的基石，包括用户数据、内容数据以及用户历史行为数据等。它以离线画像为主，辅以实时行为画像。
算法：算法需要适应高度复杂性并处理大量数据，传统的人工策略已无法进行分析干预，因此需要一套基于复杂信息的处理逻辑。随着push业务复杂度的提高，算法也从最初的树模型发展到以神经网络为基础的深度学习模型。
架构：架构保证push系统可以进行近实时化、全自动化的运行。架构包含了收集用户行为、提取用户画像特征、存储用户数据、生成推送结果等。用户对内容的时效性、个性化要求越高，系统架构就会越复杂。

2、系统迭代及优化

2.1

链式任务

push采用链式任务支撑整个系统，每批次预测任务都需要经过特征提取、召回、排序、打散、重排、生成推荐结果等步骤，随着新特征的接入以及召回和排序场景的不断迭代优化，任务失败的频率越来越高，主要存在如下问题：

● 特征数据难以复用：特征数据存储在临时表中，任务执行失败时需人工介入恢复，无历史数据可用。

● 流程执行链路过长：召回、排序、重排等关键流程每一步失败都将造成任务失败且重试成本高。

● 非明文类召回功能接入成本高：新的召回策略实验不能动态接入，需要开发介入。

2.2

异步服务

针对链式任务存在的问题，push任务采用分尾号、分时段并行执行，并通过以下方式提升任务执行效率：

● 数据分区：将特征数据及预测流程各环节生成的结果存入分区表，解决任务执行失败时无数据可用的问题。

● 流程拆分：将预测主流程拆分为召回、排序、重排、结果融合等子流程，每个子流程按尾号异步执行，互不影响，每个子任务只需取上一环节生成的最新结果即可继续运行，提升了系统的稳定性及容错性。

● 平台化配置：通过配置平台动态接入实验，简化新策略接入成本。

3.整体设计

3.1

业务架构

push系统业务主要分为三大部分，离线层、近线层和推送层。

离线层：是计算量最大的一个部分，它不需要实时提供服务。主要功能模块有数据处理、数据存储、离线特征计算、离线预测等。它通过任务调度平台定时从全量数据中抽取我们需要的数据，进行相应的加工，生成对应的特征，经过spark模型进行离线预测，得到待推送结果。
近线层：特点是准实时，它可以获得实时数据，然后快速计算提供服务。通过监听kafka，获取用户行为日志，计算得出用户实时特征（用户搜索车系、浏览车系等），然后将实时特征与长中期特征进行融合，调用tensorflow模型实时预测得到待推送结果。
推送层：将离线预测结果和实时预测结果进行融合（优先取实时结果），按批次生成待推送数据。通过任务调度中心定时选取最新批次预测结果给用户进行推送。

3.2

技术架构