商业化业务的旁路环境建设与应用实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 商业化业务的旁路环境建设与应用实践分享人：王小冷

2. 个人简介 • 姓名：王小冷 • 所在组织：360技术中台 • 专业领域：搜索广告引擎和front测试负责人

3. 目录 01 02 • 背景 • 建设和运维 03 • 应用实践 04 • 后续规划

4. 旁路环境建设的背景

5. 线下线上环境不一致导致缺陷露出  环境的复杂性决定了线上线下环境很难保持  线上线下环境不一致的隐患一致  灰度、全量可行性文件  MEM， CPU  OS 机器环配置不一致配置境  灰度、全量  小流量下游环境不一致业务环境  memcache  Zk, AS等词表不一致第三方第三方依赖不一致词表依赖下游环境  完整服务（Shard0-ShardN）  模型服务  更新频率  实时数据机器环境不一致旧场景回归不全缺陷新场景测试不到露出

6. 线上问题排查困难  无法确定流量走向  即使找到流量所在机器，定位具体原因的信息依然不足线上问题监控用户反馈线上走查多机房机房 A 机房 C 无定位线索流量打向了哪台下游机器流量发向了哪个机房机房 B 机房 D 单机房内同服务多机器机器 A 机器 C 机器 B 机器 D 单机器内配置不能更改日志信息不全

7. 旁路环境建设和运维  机器资源准备  旁路环境部署  旁路运维

8. 机器资源准备目标获取旁路需要的最小机器资源模型服务N1台主服务N2台 CGI 模型1 第三方服务N3台 zk redis kafka memcac he 模型2 A B AS 模型N C D redis 各模型资源需求各模块资源需求机器需求清单资源申请和审批各服务资源需求  机器资源和配置清单（机器XX台，cpu，mem，os配置）  依赖：同机房

9. 旁路环境部署--部署方案机器资源清单机器1（配置/机房）机器2（配置/机房）机器N（配置/机房）  Hulk对每一台旁路机器分组管理  通过打tag标记线上服务梳理模块（CPU/MEM/OS/QPS）模型（ CPU/MEM/OS ）第三方依赖（资源需求）机器用途

10. 旁路环境部署—模块部署  单模块部署考虑点如下: • • • • • • • • • Bin文件同步 Bin软链和线上一致依赖lib同步日志、打点目录同步主配置下游链接配置第三方服务链接配置远程日志配置小流量实验配置 Bin 脚本配置词表 • • • • 模块启动脚本词表同步脚本过期词表删除脚本日志删除脚本 • • • • • 一般词表（多种格式）软链词表基线词表快照数据实时消息 & offset

11. 旁路环境部署—模块部署  单模块部署重点关注需要修改的配置和词表相关脚本修改旁路的下游模块 onlin e JUST COPY 配置修改旁路的远程日志机生成唯一的kafka Topic COPY AND MODIFY 旁路 • 代码仓库配置更新 • Apollo配置更新 • 自动上线脚本更新修改旁路的外部服务实时消息同步  避免丢消息 1. 同步offset 2. 同步消息词表同步  保持软链 1. 打包 2. Copy&解压词表更新      词表删除  Crontab任务删除词表 Crontab任务同步水滴平台同步 /etc/cron.d同步 Transfer集中分发常驻进程同步

12. 旁路环境部署—模型&第三方服务部署  模型较大（百G），多机部署，并保障N台机器的服务构成一个完整的模型副本  模型20+，场景丰富，分别部署 IP（多个）、PORT 主流量模型名 PC CTR 小流量 CVR OCPC …… 主流量 MOBILE 小流量进程名，部署路径 IP（多个）、PORT 旁路模型进程名，部署路径 ip1:port1 IP（多个）、PORT ip2:port2 进程名，部署路径 ipN:portN IP（多个）、PORT 进程名，部署路径  第三方服务根据部署手册部署，并提供ip:port供模块调用

13. 旁路运维—环境一致性旁路导致环境不一致的原因分析：解决方案：  bin 上线  配置上线导致 配置上线场景简单直接从源头预防旁路嵌入上线流程 手动修改配置 配置同步服务未开启  词表 词表上线 手动修改词表 词表同步脚本问题（未运行，运行失败，运行时间差异）其它原因原因复杂，个性化从结果侧监控一致性监控

14. 旁路运维—旁路嵌入上线流程流程如图：旁路上线否紧急需求？开启上线是旁路流水线回归旁路手动验证紧急上线流程占用旁路环境，生成报告，释放旁路环境，旁路环境回滚到全流量状态检验通过？否是灰度上线  旁路承载线上验证功能检验通过？否  旁路和线上主流量环境一致是全量上线（含旁路）  旁路验证期间监控不生效结束

15. 环境运维—一致性监控词表一致性监控获取词表list  从git获取模块配置  解析配置，根据模块先验知获取文件md5或大小遍历词表list Deeplink 比较的词表  获取最终的词表list  从redis获取线上和旁路机器是获取词表路径的词表md5或者大小否  比较一致性并生成报告小于1M  N次不一致发到报警组识，获取词表list  根据一致性分析删去不需要一致性CHECK 是获取md5 否获取大小  以server的形式提供服务  分析报警的准确率，召回率，得到不需要比较一致性的词表 redis（md5或大小）不需要比较一致性的词表

16. 应用实践  基于真实脱敏流量拦截三方考虑盲区  基于小流量实验的异常测试  问题排查  线上一致性监控

17. 基于真实脱敏流量拦截三方考虑盲区问题：业务复杂流量复杂  引擎/排序/召回  PC/MOB/垂搜  模块10+  亿PV/DAY  复杂历史逻辑  主流量/实验流量解决方案：基于真实脱敏流量拦截三方考虑盲区！获取线上流量 PC MOB 垂搜 …… 流量改写旁路统计报告分析报告发现问题

18. 基于真实脱敏流量拦截三方考虑盲区典型应用场景：为什么是旁路？  固定广告位或者样式需求 新增xx样式，固定出首位 xx样式，固定出左侧 小流量试验下，只能出A,B,C样式 特定流量下，新样式A,B,C生效  字段限制类需求 xx字段不能为空，且大于固定长度 xx字段长度小于80 xx数组长度大于2小于4  新功能是否生效 xx组件是否能出应用效果：  借助旁路环境，2023共发现三方考虑盲区 10+

19. 基于小流量实验的异常测试问题：线上实验参数按需配置，而部分实验参数存在较久，回归测试时只根据线上的参数状态进行测试，有新建实验后引起程序崩溃的风险解决方案：线上脱敏流量基于实验参数进行流量改写改写后流量旁路环境压力测试

20. 基于小流量实验的异常测试异常流量生成： Git获取配置应用效果获取小流量实验参数线上流量针对每一个实验参数整型 Bool型 True/fal se • 沉淀到流水线，例行运行浮点型 • 发现2+COREDUMP 0 .0/随机 N个浮点数 0 /随机 N个整数单独实验参数实验参数组合否实验参数list 随机组合小流量实验流量文件实验参数组合达到阈值

21. 问题排查流量问题排查流量问题排查流程开始排查，旁路设置使用标记  特定广告无展现  广告展现样式异常场景一：流量问题排查旁路压测获取问题流量否旁路辅助定位排查通过ES能够获取问题流量是问题流量运行多次否稳定复现是打开接口开关定位问题模块否能够确定出问题的模块是线上问题或者用户反馈复现问题，获得请求流量线上环境无法定位具体原因打开日志开关日志定位 Debug定位结束排查，恢复旁路环境

22. 问题排查实验问题排查实验问题排查流程  实验效果不理想开始排查，旁路设置使用标记批量脱敏流量改写和下发场景二：实验问题排查旁路辅助定位排查对照流量实验流量实验接口返回对照接口返回 DIFF 实验上线效果不符合预期大盘无法分析具体原因分析diff，定位原因结束排查，恢复旁路环境

23. 线上一致性监控契机：旁路监控发现线上词表更新问题旁路监控报警旁路词表更新OK 线上未更新人工check 有必要进行线上一致性监控实现方案：下载master 代码，获取模块配置获取线上全量机器列表根据配置获取线上模块词表&bin 服务每台线上机器定时运行脚本 redis（存放词表Md5或者大小） MYSQL（每次一致性 check结果）进行一致性 check 判断结果，N 次不一致报警

24. 线上一致性监控配置一致性监控 Bin一致性监控开始开始灰度机器 list 非灰度机器list 获取bin 大小获取bin 大小 redis check一致性并报警 redis check一致性并报警灰度机器list 灰度机器list 各机房分别判断各机房分别判断个性化配置归一化个性化配置归一化获取md5 获取md5 redis redis check一致性并报警 check一致性并报警  bin一致性监控：需要考虑灰度上线  配置一致性监控：需要考虑灰度上线，机房分布，个性化配置

25. 线上一致性监控监控发现的典型问题： • 因网络问题downloader失败导致lock，后续无法更新（TRUE） • 机器重启后更新脚本未开启（TRUE）个别机器的词表不一致 • 词表位置更换，未及时更新同步脚本（TRUE） • 机器不再承载流程，更新脚本未开启（FALSE）词表不一致 • 手动上线词表，未同步到所有机器（FALSE） • 同步词表时，中转机上词表未完成更新（TRUE）大部分机器词表都不一致 • 词表较大时，check时词表还在更新过程中（FALSE）--升级脚本，连续N次不同报警灰度上线（FALSE） bin不一致升级脚本部分机器推全失败（TRUE）手动改bin（TRUE）应用效果：一致性监控发现问题10+

26. 后续规划

27. 后续规划全链路多渠道旁路建设丰富使用场景

28. THANK YOU