RALB负载均衡算法的应用

‍‍‍‍‍‍‍‍‍‍‍‍‍‍

搜索推荐算法架构为京东集团所有的搜索推荐业务提供服务，实时返回处理结果给上游。部门各子系统已经实现了基于CPU的自适应限流，但是Client端对Server端的调用依然是RR轮询的方式，没有考虑下游机器性能差异的情况，无法最大化利用集群整体CPU，存在着Server端CPU不均衡的问题。

京东广告部门针对其业务场景研发的负载均衡方法很有借鉴意义，他们提出的RALB(Remote Aware Load Balance)算法能够提升下游服务集群机器CPU资源效率，避免CPU短板效应，让性能好的机器能够处理更多的流量。我们将其核心思想应用到我们的系统中，获得了不错的收益。

本文的结构如下：

◦简单介绍了算法的原理。

◦将RALB负载均衡技术应用到搜索推荐架构系统中，进行功能上的验证。

◦主要将RALB和RR两种负载均衡技术做对比。验证了在集群不限流和完全限流的情况下，两者的吞吐没有明显差异。在RR部分限流的情况下，两者吞吐存在着差异，并且存在着最大的吞吐差异点。对于RALB来说，Server端不限流到全限流是一个转折点，几乎没有部分限流的情况。

◦通过模拟各种边界条件，对系统进行测试，验证了RALB的稳定性和可靠性。

◦在所有Server端集群全面开启RALB负载均衡模式。可以看出，上线前后，Server端的QPS逐渐出现分层，Server端的CPU逐渐趋于统一。

RALB是一种以CPU均衡为目标的高性能负载均衡算法。

1.调节Server端的CPU使用率，使得各节点之间CPU相对均衡，避免CPU使用率过高触发集群限流2.QPS与CPU使用率成线性关系，调节QPS能实现CPU使用率均衡的目标。

2.2.1 算法步骤

1.分配流量的时候，按照权重分配（带权重的随机算法，wr）。

2.收集CPU使用率：Server端通过RPC反馈CPU使用率（平均1s）给Client端。

3.调权：定时（每3s）根据集群及各节点上的CPU使用率（窗口内均值）调节权重，使各节点CPU均衡。

2.2.2 指标依赖

1. 初始化时，权重设为  （默认为10000）

2. 定时更新各IP权重  

◦计算集群平均CPU使用率：   （   作为均衡目标）计算  ，  的范围为(0, 1]，默认取值0.5

◦对  进行调整，保证不超过设置的权重上下限，以控制权重差距。   ，默认取1.5；当  时，   不变，等价于随机数

◦权重的校准，防止集群权重整体变大或变小偏移，使权重回归   

2.2.4 边界处理

边界1：反馈窗口（3s）内，如果下游ip没被访问到，其CPU均值为0，通过调权算法会认为该节点性能极好，从而调大权重。

处理：窗口期没有CPU反馈的IP时，权重保持不变。

边界2：网络故障时，RPC框架将故障节点设为不可用，CPU和权重为0；网络恢复后，RPC框架将IP设置为可用，但是权重为0的节点分不到流量，从而导致该节点将一直处于不可用状态。

处理：权重的更新由定时器触发，记录节点的可用状态，当节点从不可用恢复为可用状态时，给定一个低权重，逐步恢复。

既要快又要稳，在任何情况下都要避免陷入僵局和雪崩，尤其要处理好边界条件。

算法要点:

◦RPC更新CPU。

◦w = 0，表示不会被分配流量，只有在不可用的情况下才为0；可用情况下，应该至少有一个较小的值，保证仍能触发RPC，进而可以更新权重。

3.算法更新权重，不要依赖RPC触发，而应该定时更新。

由于机器性能差距不大，所以压测的CPU效果并不明显，为了使CPU效果更明显，给节点”11.17.80.238“施加起始的负载(即无流量时，CPU使用率为12.5%）。

经过压测，RR和LA均存在CPU不均衡的问题，会因为机器资源的性能差异，而导致短板效应，达不到充分利用资源的目的。

RALB是以CPU作为均衡目标的，所以会根据节点的CPU实时调整节点承接的QPS，进而达到CPU均衡的目标，功能上验证是可用的，CPU表现符合预期。

RALB是一种以CPU使用率作为动态指标的负载均衡算法，能很好地解决CPU不均衡的问题，避免CPU短板效应，让性能好的机器能够处理更多的流量。因此，我们期望RALB负载均衡策略相比于RR轮询策略能够得到一定程度的吞吐提升。

Server端100台机器供测试，Server端为纯CPU自适应限流，限流阈值配置为55%。

通过压测在RALB和RR两种负载均衡模式下，Server端的吞吐随着流量变化的趋势，对比两种负载均衡策略对于集群吞吐的影响。

4.3.1 RALB

4.3.1.1 吞吐数据

下表是Server端的吞吐数据，由测试发压Client端，负载均衡模式设置为RALB。在18:17Server端的状况接近于刚刚限流。整个压测阶段，压测了不限流、部分限流、完全限流3种情况。

Server端机器收到的流量按性能分配，CPU保持均衡。

4.3.2 RR

4.3.2.1 吞吐数据

下表是Server端的吞吐数据，由测试发压Client端，负载均衡模式设置为RR。在18:46 Server端的整体流量接近于18:17 Server端的整体流量。后面将重点对比这两个关键时刻的数据。

Server端收到的流量均衡，但是CPU有差异。

4.4.1 吞吐曲线

根据4.3节的压测数据，进行Server端吞吐曲线的绘制，对比RALB和RR两种负载均衡模式下的吞吐变化趋势。

import matplotlib.pyplot as pltimport numpy as np
x = [0,1,2,3,4,5,6,7,8,9,9.73,10.958,11.52,17.15,22.7]y = [0,1,2,3,4,5,6,7,8,9,9.73,10.61,10.49,10.10,9.82]
w = [0,1,2,3,4,5,6,7,8,9.674,10.823,11.496,11.723,12.639,13.141,17.15,22.7]z = [0,1,2,3,4,5,6,7,8,9.27,9.91,10.24,10.36,10.48,10.47,10.10,9.82]
plt.plot(x, y, 'r-o')plt.plot(w, z, 'g-o')plt.show()

4.4.2 曲线分析

临界点：吞吐差异最大的情况，即RALB模式下非限流与全限流的转折点。

通过上述分析，可以知道，在RALB不限流与全部限流的临界点处，RR与RALB的吞吐差异最大。

此时，计算得出RALB模式下，Server集群吞吐提升7.06%。

通过模拟各种边界条件，来判断系统在边界条件的情况下，系统的稳定性。

Client端上线配置，在所有Server端集群全面开启RALB负载均衡模式。可以看出，上线前后，Server端的QPS逐渐出现分层，Server端的CPU逐渐趋于统一。