基于Opentracing + Uber Jaeger实现全链路灰度调用链
当网关和服务在实施全链路分布式灰度发布和路由时候，我们需要一款追踪系统来监控网关和服务走的是哪个灰度组，哪个灰度版本，哪个灰度区域，甚至监控从Http Header头部全程传递的灰度规则和路由策略。这个功能意义在于：
可以监控全链路中基本的调用信息，也可以监控额外的灰度信息，有助于我们判断灰度发布和路由是否执行准确，一旦有问题，也可以快速定位
可以监控流量何时切换到新版本，或者新的区域，或者新的机器上
可以监控灰度规则和路由策略是否配置准确
可以监控网关和服务灰度上下级树状关系
可以监控全链路流量拓扑图
笔者尝试调研了一系列分布式追踪系统和中间件，包括Opentracing、Uber Jaeger、Twitter Zipkin、Apache Skywalking、Pinpoint、CAT等，并结合业界动向，CNCF技术委员会通过OpenTelemetry规范整合基于Tracing的OpenTracing规范（官方推荐Jaeger做Backend）和基于Metrics的OpenSensus规范（官方推荐Prometheus做Backend），最后决定采用Opentracing + Uber Jaeger方式来实现，重要原因除了易用性和可扩展性外，Opentracing支持WebMvc和WebFlux两种方式，业界的追踪系统能支持WebFlux相对较少
[OpenTracing] OpenTracing已进入CNCF，正在为全球的分布式追踪系统提供统一的概念、规范、架构和数据标准。它通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现。对于存在多样化的技术栈共存的调用链中，Opentracing适配Java、C、Go和.Net等技术栈，实现全链路分布式追踪功能。迄今为止，Uber Jaeger、Twitter Zipkin和Apache Skywalking已经适配了Opentracing规范
笔者以Nepxion社区的Discovery开源框架（对该开源框架感兴趣的同学，请访问如下链接）为例子展开整合
源码主页，请访问
https://github.com/Nepxion/Discovery
指南主页，请访问
https://github.com/Nepxion/DiscoveryGuide
文档主页，请访问
https://gitee.com/Nepxion/Docs/tree/master/web-doc
整合的效果图
' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
集成Sentinel + 灰度全链路监控
集成主流中间件 + 灰度全链路监控
基本概念
灰度调用链主要包括如下11个参数。使用者可以自行定义要传递的调用链参数，例如：traceId, spanId等；也可以自行定义要传递的业务调用链参数，例如：mobile, user等
1n-d-service-group - 服务所属组或者应用
2n-d-service-type - 服务类型，分为“网关”和“服务”
3n-d-service-id - 服务ID
4n-d-service-address - 服务地址，包括Host和Port
5n-d-service-version - 服务版本
6n-d-service-region - 服务所属区域
7n-d-version - 版本路由值
8n-d-region - 区域路由值
9n-d-address - 地址路由值
10n-d-version-weight - 版本权重路由值
11n-d-region-weight - 区域权重路由值
核心实现
Opentracing通用模块
源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-opentracing
由于OpenTracing扩展需要兼顾到Spring Cloud Gateway、Zuul和服务，它的核心逻辑存在着一定的可封装性，所以笔者抽取出一个公共模块discovery-plugin-strategy-opentracing，包含configuration、operation、context等模块，着重阐述operation模块，其它比较简单，不一一赘述了
在阐述前，笔者需要解释一个配置，该配置将决定核心实现以及终端界面的显示
如果开启，灰度信息输出到独立的Span节点中，意味着在界面显示中，灰度信息通过独立的GRAY Span节点来显示。优点是信息简洁明了，缺点是Span节点会增长一倍。我们可以称呼它为【模式A】
如果关闭，灰度信息输出到原生的Span节点中，意味着在界面显示中，灰度信息会和原生Span节点的调用信息、协议信息等混在一起，缺点是信息庞杂混合，优点是Span节点数不会增长。我们可以称呼它为【模式B】
1# 启动和关闭调用链的灰度信息在Opentracing中以独立的Span节点输出，如果关闭，则灰度信息输出到原生的Span节点中。缺失则默认为true
2spring.application.strategy.trace.opentracing.separate.span.enabled=true
Opentracing公共操作类 - StrategyOpentracingOperation.java
1- 装配注入Opentracing的Tracer对象
2- opentracingInitialize方法，提供给网关和服务的Span节点初始化
3 - 【模式A】下，tracer.buildSpan(...).start()实现新建一个Span，并把它放置到存储上下文的StrategyOpentracingContext的ThreadLocal里
4 - 【模式B】下，不需要做任何工作
5- opentracingHeader方法，提供给网关的灰度调用链输出
6 - 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次把customizationMap（自定义的调用链参数）的元素都放入到Tag中，最后把灰度调用链主11个参数（通过strategyContextHolder.getHeader(...)获取）和更多上下文信息放入到Tag中
7 - 【模式B】下，跟【模式A】类似，唯一区别的是Tags.COMPONENT的处理，由于原生的Span节点已经带有该信息，所以不需要放入到Tag中
8- opentracingLocal方法，提供给服务的灰度调用链输出
9 - 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次把customizationMap（自定义的调用链参数）的元素都放入到Tag中，最后把灰度调用链主11个参数（通过pluginAdapter.getXXX()获取）和更多上下文信息放入到Tag中
10 - 【模式B】下，跟【模式A】类似，唯一区别的是Tags.COMPONENT的处理，由于原生的Span节点已经带有该信息，所以不需要放入到Tag中
11- opentracingError方法，提供给服务的灰度调用链异常输出
12 - 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次span.log(...)方法实现异常输出
13 - 【模式B】下，不需要做任何工作
14- opentracingClear方法，灰度调用链的Span上报和清除
15 - 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次span.finish()方法实现Span上报，最后StrategyOpentracingContext.clearCurrentContext()方法实现Span清除
16 - 【模式B】下，不需要做任何工作
17- getCurrentSpan方法
18 - 【模式A】下，返回StrategyOpentracingContext.getCurrentContext().getSpan()，即opentracingInitialize新建的Span对象
19 - 【模式B】下，返回tracer.activeSpan()，即原生的Span对象
代码如下
1public class StrategyOpentracingOperation {
2 @Autowired
3 protected PluginAdapter pluginAdapter;
4
5 @Autowired
6 protected StrategyContextHolder strategyContextHolder;
7
8 @Autowired
9 private Tracer tracer;
10
11 @Value("${" + StrategyOpentracingConstant.SPRING_APPLICATION_STRATEGY_TRACE_OPENTRACING_ENABLED + ":false}")
12 protected Boolean traceOpentracingEnabled;
13
14 @Value("${" + StrategyOpentracingConstant.SPRING_APPLICATION_STRATEGY_TRACE_OPENTRACING_SEPARATE_SPAN_ENABLED + ":true}")
15 protected Boolean traceOpentracingSeparateSpanEnabled;
16
17 public void opentracingInitialize() {
18 if (!traceOpentracingEnabled) {
19 return;
20 }
21
22 if (!traceOpentracingSeparateSpanEnabled) {
23 return;
24 }
25
26 Span span = tracer.buildSpan(DiscoveryConstant.SPAN_VALUE).start();
27 StrategyOpentracingContext.getCurrentContext().setSpan(span);
28 }
29
30 public void opentracingHeader(Map<String, String> customizationMap) {
31 if (!traceOpentracingEnabled) {
32 return;
33 }
34
35 Span span = getCurrentSpan();
36 if (span == null) {
37 return;
38 }
39
40 if (MapUtils.isNotEmpty(customizationMap)) {
41 for (Map.Entry<String, String> entry : customizationMap.entrySet()) {
42 span.setTag(entry.getKey(), entry.getValue());
43 }
44 }
45
46 span.setTag(DiscoveryConstant.TRACE_ID, span.context().toTraceId());
47 span.setTag(DiscoveryConstant.SPAN_ID, span.context().toSpanId());
48 span.setTag(DiscoveryConstant.N_D_SERVICE_GROUP, strategyContextHolder.getHeader(DiscoveryConstant.N_D_SERVICE_GROUP));
49 ...
50
51 String routeVersion = strategyContextHolder.getHeader(DiscoveryConstant.N_D_VERSION);
52 if (StringUtils.isNotEmpty(routeVersion)) {
53 span.setTag(DiscoveryConstant.N_D_VERSION, routeVersion);
54 }
55 ...
56 }
57
58 public void opentracingLocal(String className, String methodName, Map<String, String> customizationMap) {
59 if (!traceOpentracingEnabled) {
60 return;
61 }
62
63 Span span = getCurrentSpan();
64 if (span == null) {
65 return;
66 }
67
68 if (MapUtils.isNotEmpty(customizationMap)) {
69 for (Map.Entry<String, String> entry : customizationMap.entrySet()) {
70 span.setTag(entry.getKey(), entry.getValue());
71 }
72 }
73
74 span.setTag(DiscoveryConstant.TRACE_ID, span.context().toTraceId());
75 span.setTag(DiscoveryConstant.SPAN_ID, span.context().toSpanId());
76 span.setTag(DiscoveryConstant.N_D_SERVICE_GROUP, pluginAdapter.getGroup());
77 ...
78
79 String routeVersion = strategyContextHolder.getHeader(DiscoveryConstant.N_D_VERSION);
80 if (StringUtils.isNotEmpty(routeVersion)) {
81 span.setTag(DiscoveryConstant.N_D_VERSION, routeVersion);
82 }
83 ...
84 }
85
86 public void opentracingError(String className, String methodName, Throwable e) {
87 if (!traceOpentracingEnabled) {
88 return;
89 }
90
91 if (!traceOpentracingSeparateSpanEnabled) {
92 return;
93 }
94
95 Span span = getCurrentSpan();
96 if (span == null) {
97 return;
98 }
99
100 span.log(new ImmutableMap.Builder<String, Object>()
101 .put(DiscoveryConstant.CLASS, className)
102 .put(DiscoveryConstant.METHOD, methodName)
103 .put(DiscoveryConstant.EVENT, Tags.ERROR.getKey())
104 .put(DiscoveryConstant.ERROR_OBJECT, e)
105 .build());
106 }
107
108 public void opentracingClear() {
109 if (!traceOpentracingEnabled) {
110 return;
111 }
112
113 if (!traceOpentracingSeparateSpanEnabled) {
114 return;
115 }
116
117 Span span = getCurrentSpan();
118 if (span != null) {
119 span.finish();
120 }
121 StrategyOpentracingContext.clearCurrentContext();
122 }
123
124 public Span getCurrentSpan() {
125 return traceOpentracingSeparateSpanEnabled ? StrategyOpentracingContext.getCurrentContext().getSpan() : tracer.activeSpan();
126 }
127
128 public String getTraceId() {
129 if (!traceOpentracingEnabled) {
130 return null;
131 }
132
133 Span span = getCurrentSpan();
134 if (span != null) {
135 return span.context().toTraceId();
136 }
137
138 return null;
139 }
140
141 public String getSpanId() {
142 if (!traceOpentracingEnabled) {
143 return null;
144 }
145
146 Span span = getCurrentSpan();
147 if (span != null) {
148 return span.context().toSpanId();
149 }
150
151 return null;
152 }
153}
Opentracing Service模块
源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-service-opentracing
实现OpenTracing对服务的扩展，包含configuration、tracer等模块，着重阐述tracer模块，其它比较简单，不一一赘述了
Opentracing的服务追踪类 - DefaultServiceStrategyOpentracingTracer.java
1- 继承DefaultServiceStrategyTracer，并注入StrategyOpentracingOperation
2- trace方法里先执行opentracingInitialize初始化Span，这样可以让后面的逻辑都可以从Span中拿到traceId和spanId，执行opentracingLocal实现服务的灰度调用链输出
3- error方法里执行opentracingError实现服务的灰度调用链异常输出
4- release方法里执行opentracingClear实现灰度调用链的Span上报和清除
代码如下
1public class DefaultServiceStrategyOpentracingTracer extends DefaultServiceStrategyTracer {
2 @Autowired
3 private StrategyOpentracingOperation strategyOpentracingOperation;
4
5 @Override
6 public void trace(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation) {
7 strategyOpentracingOperation.opentracingInitialize();
8
9 super.trace(interceptor, invocation);
10
11 strategyOpentracingOperation.opentracingLocal(interceptor.getMethod(invocation).getDeclaringClass().getName(), interceptor.getMethodName(invocation), getCustomizationMap());
12 }
13
14 @Override
15 public void error(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation, Throwable e) {
16 super.error(interceptor, invocation, e);
17
18 strategyOpentracingOperation.opentracingError(interceptor.getMethod(invocation).getDeclaringClass().getName(), interceptor.getMethodName(invocation), e);
19 }
20
21 @Override
22 public void release(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation) {
23 super.release(interceptor, invocation);
24
25 strategyOpentracingOperation.opentracingClear();
26 }
27
28 @Override
29 public String getTraceId() {
30 return strategyOpentracingOperation.getTraceId();
31 }
32
33 @Override
34 public String getSpanId() {
35 return strategyOpentracingOperation.getSpanId();
36 }
37}
Opentracing Gateway模块
源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-gateway-opentracing
实现OpenTracing对Spring Cloud Gateway的扩展，跟discovery-plugin-strategy-starter-service-opentracing模块类似，不一一赘述了
Opentracing Zuul模块
源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-zuul-opentracing
实现OpenTracing对Zuul的扩展，跟discovery-plugin-strategy-starter-service-opentracing模块类似，不一一赘述了
扩展其它调用链中间件
如果使用者不希望采用Opentracing + Uber Jaeger方式，希望自己扩展其它调用链中间件，那么也很简单，仿造源码，继承实现下面的类：
DefaultServiceStrategyTracer，扩展服务侧的灰度调用链
DefaultGatewayStrategyTracer，扩展Spring Cloud Gatway侧的灰度调用链
DefaultZuulStrategyTracer，扩展Zuul侧的灰度调用链
使用说明
示例参考
https://github.com/Nepxion/DiscoveryGuide
使用方式
Opentracing输出方式以Uber Jaeger为例来说明，步骤非常简单
从https://pan.baidu.com/s/1i57rXaNKPuhGRqZ2MONZOA获取Jaeger-1.14.0.zip，Windows操作系统下解压后运行jaeger.bat，Mac和Lunix操作系统请自行研究
执行Postman调用后，访问http://localhost:16686查看灰度调用链
灰度调用链支持WebMvc和WebFlux两种方式，以GRAY字样的标记来标识
开关控制
对于Opentracing调用链功能的开启和关闭，需要通过如下开关做控制：
1# 启动和关闭调用链。缺失则默认为false
2spring.application.strategy.trace.enabled=true
3# 启动和关闭调用链的Opentracing输出，支持F版或更高版本的配置，其它版本不需要该行配置。缺失则默认为false
4spring.application.strategy.trace.opentracing.enabled=true
5# 启动和关闭调用链的灰度信息在Opentracing中以独立的Span节点输出，如果关闭，则灰度信息输出到原生的Span节点中。缺失则默认为true
6spring.application.strategy.trace.opentracing.separate.span.enabled=true
可选功能
自定义调用链上下文参数的创建（该类不是必须的），继承DefaultStrategyTracerAdapter
1// 自定义调用链上下文参数的创建
2// 对于getTraceId和getSpanId方法，在Opentracing等调用链中间件引入的情况下，由调用链中间件决定，在这里定义不会起作用；在Opentracing等调用链中间件未引入的情况下，在这里定义才有效，下面代码中表示从Http Header中获取，并全链路传递
3// 对于getCustomizationMap方法，表示输出到调用链中的定制化业务参数，可以同时输出到日志和Opentracing等调用链中间件，下面代码中表示从Http Header中获取，并全链路传递
4public class MyStrategyTracerAdapter extends DefaultStrategyTracerAdapter {
5 @Override
6 public String getTraceId() {
7 return StringUtils.isNotEmpty(strategyContextHolder.getHeader(DiscoveryConstant.TRACE_ID)) ? strategyContextHolder.getHeader(DiscoveryConstant.TRACE_ID) : StringUtils.EMPTY;
8 }
9
10 @Override
11 public String getSpanId() {
12 return StringUtils.isNotEmpty(strategyContextHolder.getHeader(DiscoveryConstant.SPAN_ID)) ? strategyContextHolder.getHeader(DiscoveryConstant.SPAN_ID) : StringUtils.EMPTY;
13 }
14
15 @Override
16 public Map<String, String> getCustomizationMap() {
17 return new ImmutableMap.Builder<String, String>()
18 .put("mobile", StringUtils.isNotEmpty(strategyContextHolder.getHeader("mobile")) ? strategyContextHolder.getHeader("mobile") : StringUtils.EMPTY)
19 .put("user", StringUtils.isNotEmpty(strategyContextHolder.getHeader("user")) ? strategyContextHolder.getHeader("user") : StringUtils.EMPTY)
20 .build();
21 }
22}
在配置类里@Bean方式进行调用链类创建，覆盖框架内置的调用链类
1@Bean
2public StrategyTracerAdapter strategyTracerAdapter() {
3 return new MyStrategyTracerAdapter();
4}本文作者
任浩军， 10 多年开源经历，Github ID：@HaojunRen，Nepxion 开源社区创始人，Nacos Group Member，Spring Cloud Alibaba & Nacos & Sentinel Committer ，曾就职于平安银行平台架构部，负责银行 PaaS 系统基础服务框架研发。现就职掌门1对1，负责基础架构部研发。