Apache Pulsar 在 BIGO 的性能调优实践。

Gluten的应用和ETL批处理的挑战及研发。

随着HDFS集群规模的不断增长、服务器使用寿命的缩减，在大规模集群中性能退化节点的出现是必然的，我们将这样的节点称为慢节点。慢节点问题是大规模集群中的常见问题，其影响范围可以波及整个集群，会对集群的吞吐能力造成严重的影响。

HDFS作为大数据平台的存储底座，慢节点问题将对上层各个应用产生频繁的影响，可能造成数据无法按时产出，上游任务的延迟将波及下游任务，发生链式反应。Hadoop社区原生版本中对慢节点的防治有初步的实践，在此基础上我们进行了系统性的设计与开发，尽最大可能优化慢节点问题。本文主要介绍BIGO大数据存储团队在HDFS慢节点治理方面所做的主要工作和实践经验。

随着BIGO机器学习平台模型和数据量的增长，对底层依赖的文件系统提出了更多的需求，如多租户、高并发、多机房高可用、高性能、云原生等特性。BIGO大数据平台存储团队在经过多方技术选型，多角度对比之后发现CubeFS有很多特性适合机器学习平台的应用场景。

本文主要介绍BIGO大数据平台存储团队将CubeFS上线到生产环境的主要实践经验与开发工作。大部分的功能开发及问题修复也贡献到开源社区，经过半年多的努力，团队中三位同学获得CubeFS开源社区的Collaborator，提升了BIGO在CubeFS开源社区的影响力。

2022年初，我们发表了《BIGO骨干网设计与实现（一）》。文章介绍了BIGO骨干网演进至2.0版本、网络控制面引入SDN集中控制器、数据面采用MPLS SR Policy技术、控制器与SR-Policy结合实现智能流量调度的基本工作原理。

回顾骨干网2.0上线以来，控制器已自动处理了数不清的链路及设备故障，精准地调控流量使网络一直保持畅通，发现并解决了大量网络质量劣化事件。更重要的是，高度智能、自动化的骨干网络为业务的高速稳定发展打下了坚实的基础，同时节省了工程师大量的故障恢复以及优化调度时间。BIGO网络团队致力于把不可能变为可能，把SDN的精髓在BIGO全球网络中落地、生根、发芽。

BIGO是一家高速发展的科技公司，于2014年在新加坡成立，致力于连接美好世界，传递快乐生活，成为影响10亿人生活的内容平台。所推出的产品总月活接近4亿，覆盖直播，短视频，语音社交，IM，小游戏等，用户遍及全球，包括Bigo Live，Likee，imo等。

App版本快速迭代和用户快速增长，质量与性能是一个绕不开的话题。大型App的性能优化更是一个非常具有挑战性的工作，尤其对于海外应用来讲。

BIGO的服务器分布在全球各地，各种服务如分布式追踪等都对全球机器存在时钟对齐的需求。而客观上，受限于服务器本身的时间源设备精度以及内核时钟系统的软件设计实现等多种复杂因素制约，常见的服务器秒级别的设备时钟误差大约在万分之二左右，而累积误差会出现正反向补偿，根据经验观测值，一年存在至少分钟级别的时钟误差。

此类问题最常见的解决手段就是接入网络授时服务如NTP，但是作为一个全球分布几万+服务器的公司，简单接入NTP服务，并不能彻底解决全球时钟对齐的问题。