鹰眼下的淘宝

1. 鹰眼下的淘宝分布式调用跟踪系统介绍淘宝网司徒放（姬风） jifeng@taobao.com

2. 大纲鹰眼是什么鹰眼的使用场景鹰眼的实现 2

3. 现状 • 日趋复杂的分布式系统 – 进程服务调用 – 消息通讯 – 数据库分库分表 – 分布式缓存 – 分布式文件系统 – …… 3

4. 现状无线客户端请求前端网页开放平台请求 API 请求应用A 应用C 服务调用服务调用应用F JDBC 数据库 JDBC 消息服务器收消息服务调用服务调用应用B 发消息应用D 服务调用应用G 读缓存分布式缓存收消息收消息应用E 服务调用服务调用应用H 存取写缓存分布式文件系统 4

5. 如何理清这些后端调用关系？ 5

6. 丼个例子 • 整个分布式系统 – 高速公路网 • 前端请求 – 高速上行驶的车辆 • 处理请求的应用 – 高速上的收费站 * 图片来源：http://www.etcsd.com/main/business/outlets.jsp 6

7. 丼个例子 • 高速收费站将车辆通行信息记录成日志 [2013-05-01 12:23:34] 鲁A123BC,平度2,S16,济南,￥0 [2013-05-01 12:23:40] 鲁A987DE,平度2,S16,淄博,￥10 [2013-05-01 12:43:15] 鲁A123BC,潍坊1,S20,济南,￥18 [2013-05-01 13:38:29] 鲁A123BC,青州西1,G20,济南,￥10 [2013-05-01 13:38:30] 鲁A567AB,青州西2,G20,潍坊,￥10 [2013-05-01 14:39:27] 鲁A123BC,淄博3,G20,济南,￥15 [2013-05-01 16:42:58] 鲁A123BC,济南3,G20,济南,￥25 …… * 上述内容仅作举例示意说明用，纯属虚构 7

8. 丼个例子 • 可以分析车辆鲁A123BC 的行驶路线 – [05-01 12:23:34] 平度2，旅途开始 ↓ – [05-01 13:38:29] 青州西1，耗时 75 分钟，路费 10 元 ↓ – [05-01 14:39:27] 淄博3，耗时 61 分钟，路费 5 元 ↓ – [05-01 16:42:58] 济南3，耗时 123 分钟，路费 10 元 * 上述内容仅作举例示意说明用，纯属虚构 8

9. 简介 • 鹰眼（EagleEye） – 基于日志的分布式调用跟踪系统 – 脱胎于 Google Dapper 论文 – 核心：调用链。每次请求都生成一个全局唯一的ID（TraceId），通过它将丌同系统的“孤立的” 日志串在一起，重组还原出更多有价值的信息 * 《三国杀》铁索连环卡牉版权归游卡桌游 (Yoka Games) 所有 9

10. 简介 • 目前状况 – 每日调用链上 1 千亿，来自 500 多个前端，500 多个后端应用，还有数百个数据库、缓存、存储，分析的日志超过 3 千亿行 • 覆盖了淘宝主要的有网络通信的中间件          前端请求接入：Tengine(nginx) 分布式 Session：tbsession 进程服务调用框架 (RPC)：HSF 异步消息通讯 (MQ)：Notify 分库分表访问数据库 (JDBC)：TDDL 分布式缓存 (memcache)：Tair 分布式文件系统 (HDFS)：TFS 特定功能的客户端，如搜索、支付等其他中间件，如：HttpClient…… 10

11. 大纲鹰眼是什么鹰眼的使用场景鹰眼的实现 11

12. 1. 调用链跟踪单条调用链的展现 12

13. 调用链跟踪

14. 调用链跟踪 • 不异常监控集成 – 排查问题需要查看 n 台机器的监控、日志？ No！ • 应用报异常或处理超时，在日志打印当前调用链 TraceId • 用 TraceId 查询调用链，定位问题 • 把链路上下文抛出的异常堆栈关联起来 • 把链路上的服务器 CPU Load、JVM、IO、网络状况关联起来

15. 调用链跟踪 2013-07-20 05:25:28,179 ERROR taobao.hsf - 基于 RPC 协议调用服务 [com.taobao.wireless.trade.api.tmall.hsf.TmallBagInterface:1.0.0]的 [bulidConfirmOrder]方法时出现错误：所调用的服务目标地址为：[…] 参数信息为：[...] TraceId=ac18287913742691251746923 错误原因为超时，请查看服务器端的执行日志是否也超时，执行时间为：3000 毫秒。 HSFTimeOutException at com.taobao.hsf…..HSFResponseFuture.getResponse(HSFResponseFuture.java:52) at com.taobao.hsf…..SyncInvokeComponent.invoke(SyncInvokeComponent.java:51) at … 15

16. 调用链跟踪监控系统从日志匹配异常堆栈和错误信息中的 TraceId TraceId=ac18287913742691251746923 异常日志

17. 2. 链路分析对多条调用链做统计和分析 17

18. 链路分析 • 容量规划 – 一般系统只统计对直接依赖的调用量 – 调用链可以得到对间接依赖、异步依赖的调用量 B D E F G H 入口 D 的流量 × 5  应用 H 调用量 × ? 18

19. 链路分析 19

20. 链路分析 • 调用来源 – 后端数据库请求量突然上涨，需要排查请求来源 20

21. 链路分析入口A 入口B 应用D 入口C 应用E 数据库 21

22. 链路分析 • 依赖度量 – 强依赖 & 弱依赖强依赖 ERROR 22

23. 链路分析 • 依赖度量 – 强依赖 & 弱依赖弱依赖 ERROR 23

24. 链路分析 • 依赖度量 – 强依赖 • 调用失败会直接中断主流程 – 高度依赖 • 一次链路中调用某个依赖的几率高 – 频繁依赖 • 一次链路调用同一个依赖的次数多强依赖频繁高度依赖依赖 24

25. 链路分析高度依赖频繁依赖强依赖耗时瓶颈 25

26. 链路分析 • 调用耗时 – 瓶颈点 – 非正常的瓶颈 • 弱依赖异常导致主流程耗时过长 3% 响应耗时分布 2% 小于 100ms 100-500ms 27% 68% 500-1000ms 超过 1000ms 26

27. 链路分析 • 调用并行度 – 为链路并行、异步优化提供参考并行度：0% 并行度  1  实际执行时间本地执行时间   直接子依赖执行时间并行度：36% 27

28. 链路分析 • 调用路由情况 – 调用分布均衡性 • 是否存在热点？ – 检验网络路由 • 路由是否正常？ • 网络是否封闭？ 28

29. 3. 透明数据传输将业务数据不调用链集成 29

30. 透明数据传输 eagleeyex_sellerId 应用A get(“sellerId”) => 8d6402… clear(“sellerId”) 服务调用应用B get(“sellerId”) => null 发消息 get(“sellerId”) => 8d6402… 消息服务器投递消息服务调用投递消息应用D 应用E 服务调用应用F get(“sellerId”) => 8d6402… get(“orderId”) => 22f9b7… 应用G get(“sellerId”) =>8d6402… put(“orderId”, 22f9b7…) 30

31. 透明数据传输 • 鹰眼自身需要传递 TraceId 等上下文信息 • 在调用链上透明传输业务数据 – 调用路由控制 • 传递特定环境的标识，用于调用路由判断 – 调试指令 • 在 URL 上设置调试指令，操纵后端服务 – 前端网关特有的数据 • 把前端应用特有的数据传到若干层后端的某个服务中 31

32. 小结 • 调用链跟踪 • 链路分析 • 透明数据传输 32

33. 大纲鹰眼是什么鹰眼的使用场景鹰眼的实现 33

34. 整体架构应用集群带鹰眼埋点的中间件写入日志文件读取日志收集agent Hadoop 集群实时收集日志实时收集日志鹰眼 Storm 集群全量日志 MapReduce HDFS 计算结果读取原始日志不分析结果数据输出不展现实时统计实时配置 HBase 写入统计数据鹰眼服务器 34

35. 整体实现介绍 1. 埋点和输出日志 2. 收集和存储日志 3. 分析调用链 35

36. 埋点和输出日志 • 如何埋点实现透传 – 在中间件创建调用上下文，生成日志埋点 – 调用上下文放在本地 ThreadLocal，对业务透明 – 调用上下文在中间件的网络请求中传递 36

37. 埋点和输出日志前端应用后端应用1 后端应用2 数据库请求服务调用 serverRecv 类型 start Trace clientSend clientRecv 服务响应 serverSend serverRecv 服务调用 clientSend clientSend 数据访问 clientRecv clientSend clientRecv 响应前端型服务响应双向型单向型图示数据访问 clientRecv serverSend 创建上下文清理上下文 endTrace 37

38. 埋点和输出日志 • 做了哪些埋点 – TraceId、RpcId、开始时间、调用类型、对端 IP – 处理耗时 – 处理结果（ResultCode） – 传输量：请求大小/响应大小 – 不中间件相关的数据 38

39. 埋点和输出日志 • 调用上下文：TraceId – 关联一次请求相关的日志，全局唯一，在各个系统间传递 – 是否需要业务语义？ • IP 地址：在淘宝环境可直接映射到前端应用 • 创建时间：在存储时用于分区 • 顺序数：用于链路采样 • 迚程号：可选，单机多迚程的应用使用 • 标志位：可选，用于调试和标记 39

40. 埋点和输出日志 • 调用上下文：RpcId – 标识日志埋点顺序和嵌套关系，也在各个系统间传递 • 调用关系 – 同步 / 异步 / 一对多调用 • 用什么方式实现 RpcId 适合表示上述关系？ – 顺序编号：1、2、3… – 多级编号：0、0.1、0.2、0.2.1… 40

41. 埋点和输出日志无线客户端请求 Web网页开放平台请求 API 请求应用A 应用B 0.1.1 应用C 0.1.2 应用F 0.1.1.1 数据库 0.2.2 应用D 0.3.1 0.2.2.1 应用G 0.3.1.1 消息服务器 0.2.1 0.3 0.1 0.2 0.1.2.1 分布式缓存 0.2.3 应用E 0.2.2.2 0.2.3.1 应用H 0.2.3.1.1 0.2.3.1.2 分布式文件系统 41

42. 埋点和输出日志 • 输出日志时面临的挑战 – 减少对业务线程的影响，降低资源消耗 – 每个网络请求至少 1 行日志，QPS 越高日志产生越快 43

43. 埋点和输出日志 • 解决方案：自己实现日志输出 – 异步线程写日志 – 对调用链做采样 – 开关控制 – 对服务等长字符串做编码 – 日志输出缓存，限制 IO 次数，每秒刷新 – 日志文件按大小滚劢，自劢清理 – 统一字符编码，统一时区 44

44. 整体实现介绍 1. 埋点和输出日志 2. 收集和存储日志 3. 分析调用链 45

45. 收集和存储日志 • 实时收集日志 – 调用链的日志分散在调用经过的各个服务器上 – 离线分析需要将同一条调用链的日志汇总在一起 46

46. 收集和存储日志 • 按 TraceId 汇总日志 – 基于数据库：用 TraceId 关联查询 – 基于 HBase：TraceId 做 rowkey，实时性强 – 基于 HDFS：顺序存储，后续 MapReduce 汇总应用集群实时收集日志 HDFS 离线汇总鹰眼 Storm 集群 HBase HBase 47

47. 整体实现介绍 1. 埋点和输出日志 2. 收集和存储日志 3. 分析调用链 48

48. 分析调用链 • 基于入口对调用链做链路分析 – 入口是调用链的源头 – 同一个入口背后走的是同一套业务逻辑 • 入口的多条调用链  入口链路 – 如果业务代码没更新，链路的执行逻辑一般丌会改变 49

49. 分析调用链 • 离线分析 – 多条调用日志汇总（by TraceId） – 还原调用关系  重组（by RpcId） – 分析链路 • 实时分析 – 借劣离线分析的产出，如链路形态、依赖情况等 – 对单条调用日志直接分析，丌需要汇总、重组 – 得到链路上的调用情况，如 QPS、RT、错误情况 51

50. 分析调用链离线分析得到链路形态实时分析回填调用数据离线分析产出其他信息 52

51. 如何根据单条调用日志定位调用所在的链路位置？ 53

52. 分析调用链 • Step1：定位入口链路 – 入口应用：可以从 TraceId 隐藏的业务数据得到 – 入口签名：每行日志都带的 4 字节 ID • 在创建链路时生成，用于标识入口 • Step2：定位在链路中的具体位置 – 链路签名：每行日志都带的 4 字节 ID • 请求到达服务端时，在原签名上叠加当前签名 54

53. 分析调用链 • 入口签名不链路签名的计算方法链路层次入口签名链路签名 A C D E 0 h(A) h(B) AC h(A) h(C) ABD h(A) h(B) * 31 + h(D) ACD B h(A) AB A h(A) h(C) * 31 + h(D) ABDE h(A) (h(B) * 31 + h(D)) *31 + h(E) ACDE h(A) (h(C) * 31 + h(D)) *31 + h(E) 55

54. 鹰眼的实现小结 1. 埋点和输出日志 – 中间件埋点，基于 ThreadLocal – 异步写，采样 2. 收集和存储日志 – 实时抓日志，按 TraceId 汇总，丌同的存储方式 3. 分析调用链 – 基于入口的链路分析 – 实时分析：入口和链路签名 56

55. 谢谢淘宝网司徒放（姬风） jifeng@taobao.com