If you’ve used any online/digital service, chances are that you are familiar with what a typical customer service experience entails: you send a message (usually email aliased) to the company’s support staff, fill out a form, expect some back and forth with a customer service representative (CSR), and hopefully have your issue resolved. This process can often feel inefficient and slow. Typically, this might be attributable to the tooling/processes made available to CSRs for solving your issue. For any given issue, the CSR has to navigate standard operating procedures (SOPs, a.k.a. flow) with proliferating undocumented branches/edge cases making their work mundane, tedious, and imprecise. The manual maintenance and navigation of these SOPs can create a bureaucratic bottleneck, which ultimately leaves the customer dissatisfied.

Uber uses machine learning (ML) models to power critical business decisions. An ML model goes through many experiment iterations before making it to production. During the experimentation phase, data scientists or machine learning engineers explore adding features, tuning parameters, and running offline analysis or backtesting. We enhanced the platform to reduce the human toil and time in this stage, while ensuring high model quality in production.

In this blog, we discuss how moving to distributed XGBoost on Ray helps address these concerns and how finding the right abstractions allows us to seamlessly incorporate Ray and XGBoost Ray into Uber’s ML ecosystem. Finally, we cover how moving distributed XGBoost onto Ray, in parallel with efforts to move Elastic Horovod onto Ray, serves as a critical step towards a unified distributed compute backend for end-to-end machine learning workflows at Uber.

At Uber, we have witnessed a significant increase in machine learning adoption across various organizations and use-cases over the last few years. Our machine learning models are empowering a better customer experience, helping prevent safety incidents, and ensuring market efficiency, all in real time. The figure above is a high level view of CI/CD for models and service binary.

One thing to note is we have continuous integration (CI)/continuous deployment (CD) for models and services, as shown above in Figure 1. We arrived at this solution after several iterations to address some of MLOps challenges, as the number of models trained and deployed grew rapidly. The first challenge was to support a large volume of model deployments on a daily basis, while keeping the Real-time Prediction Service highly available. We will discuss our solution in the Model Deployment section.

Uber relies on a containerized microservice architecture. Our need for computational resources has grown significantly over the years, as a consequence of business’ growth. It is an important goal now to increase the efficiency of our computing resources. Broadly speaking, the efficiency efforts in compute cluster management involve scheduling more workloads on the same number of machines. This approach is based on the observation that the average CPU utilization of a typical cluster is far lower than the CPU resources that have been allocated to it. The approach we have adopted is to overcommit CPU resources, without compromising the reliability of the platform, which is achieved by maintaining a safe headroom at all times. Another possible and complementary approach is to reduce the allocations of services that are overprovisioned, which we also do. The benefit of overcommitment is that we are able to free up machines that can be used to run non-critical, preemptible workloads, without purchasing extra machines.

Unit testing forms the bedrock of any Continuous Integration (CI) system. It warns software engineers of bugs in newly-implemented code and regressions in existing code, before it is merged. This ensures increased software reliability. It also improves overall developer productivity, as bugs are caught early in the software development lifecycle. Hence, building a stable and reliable testing system is often a key requirement for software development organizations.

作为上一篇文章的回顾，Uber的API网关提供了一个接口，并作为我们所有后端服务的单一访问点，将功能和数据暴露给移动和第三方合作伙伴。像API网关这样的系统的两个主要组成部分是配置管理和运行时。运行时组件负责验证、授权、转换和路由请求到适当的下游服务，并将响应传回给移动。配置管理组件负责管理开发人员的工作流程，以便轻松配置他们在网关上的端点。这包括确保配置的端点是向后兼容的，并且在运行期间没有功能退步。Uber的所有后端工程师每天都依赖这个组件来开发、测试并向互联网发布他们的端点。

这样一个系统的可靠性和效率是极其重要的。你可以想象，拥有一个可靠和高效的网关平台直接有助于乘客的体验（尤其是运行时组件）和开发者的体验（配置管理组件上的任何问题都会对功能开发速度产生负面影响）。虽然运行时组件的可靠性和效率极为关键，因为它们直接贡献于Uber的顶线，但配置管理的可靠性和效率也极为关键，直接关系到Uber的底线。

当一个平台被大量的工程师用来开发端点时，自然会产生争论点，这会拖慢人们的速度，最终降低整个公司的整体开发速度。在这篇文章中，我们将谈论我们如何扩大这个平台的规模，使其每天被Uber的数百名工程师使用。我们将深入探讨我们的配置管理组件的代码构建方面，我们在推出时面临的挑战，以及我们如何解决这些问题。

近年来，API网关是微服务架构的一个组成部分。API网关为我们所有的应用程序提供了一个单一的入口点，并提供了一个接口来访问后端微服务的数据、逻辑或功能。它还提供了一个集中的地方来实现许多高层次的责任，包括路由、协议转换、速率限制、负载削减、头的丰富和传播、数据中心亲和力的执行、安全审计、用户访问阻止、移动客户端的生成，以及其他。

在上一篇文章中，我们回顾了Uber的API网关的多代演变，以及我们在每个阶段的设计选择。在这篇文章中，我们将更深入地探讨自助式API网关系统的技术组件。

Golang是Uber数千个后端服务的命脉，在数百万个CPU核心上运行。了解我们的CPU瓶颈是至关重要的，这既是为了减少服务延迟，也是为了使我们的计算机群高效。Uber运营的规模需要对代码和微架构的影响有深入的了解。

虽然与其他几种语言相比，内置的Go剖析器比没有剖析器要好，但Go中事实上的CPU剖析器在基于Linux的系统上（也可能在其他操作系统上）有严重的局限性，并且缺乏许多[1, 2, 3, 4]充分理解CPU瓶颈所需的细节。

在Uber，运营的实时监控和自动化对于维护市场健康、保持可靠性和获得市场效率至关重要。根据 "实时 "一词的含义，这种监控需要显示现在正在发生的事情，及时获取新鲜数据，并能够根据这些数据建议适当的行动。Uber的数据平台提供自我服务工具，使运营团队能够建立自己的实时监控工具，并通过建立丰富的解决方案来支持他们的区域团队。

在这个项目中，我们的要求是提供商户层面的监控，并处理复杂的内部市场管理工具所不能解决的边缘情况。我们使用了Uber的各种实时数据平台组件，建立了一个名为Charon的工具，以减少市场可靠性差对商户的影响。

在2020年初推出的Charon最终非常有效，它使在COVID-19封锁期间关闭的餐馆和其他商户只需提供送货服务。在这篇文章中，我们以Charon COVID-19的用例来说明Uber的数据平台是如何赋予团队更快建立和适应的。

假设你拥有一个已经运行得相当好的生产型ML模型。你知道在你的模型中添加相关的和不同的信号源是提高性能的一个可靠方法，但是找到能够真正提高性能的新功能可能是一个缓慢而乏味的试验和错误过程。

在搜索之初，你可能会寻求重新使用为其他项目开发的功能，或者你可能会选择你怀疑会对你的模型有益的新功能的原型。无论哪种情况，都可能有成百上千个潜在的新功能需要探索，其中许多是常见主题的轻微变化。根本的问题是，不清楚这些功能中的哪一个（如果有的话）会真正改善你的模型的性能。绝大多数的新功能将与已有的功能部分重叠（如果不是完全重叠的话）。

你可以尝试一次加入一个或一小组，以评估个别的影响，但这需要时间，而且这种方式很难发现不同功能之间的协同作用。

Uber Freight于2017年推出，旨在彻底改变巨大而低效的货运卡车行业中托运人和承运人的匹配业务（在美国每年花费约8000亿美元）。我们相信，并且已经证明，一个以技术为先的货运经纪人和市场可以为承运人提供更好的机会，并为托运人和社区提供卓越的结果。

我们希望通过技术消除的一个浪费过程是，传统的货运经纪人和承运人之间为货物（货运术语）的价格进行冗长的砍价。这种做法源于运费价格和承运人支付意愿的不透明。受到定价创新在Uber大规模增长中发挥的作用的启发，我们决定成为第一个提供透明的动态承运人定价的货运经纪人，通过先进的算法 "清理市场"，而不是用老式的讨价还价，浪费了时间并从市场上吸引了流动性。

在这篇文章中，我们描述了我们的框架，以产生每天数以万计的货物的最佳前期价格序列。

Uber的许多软件系统每天都需要进行大量的变更。由于我们系统的规模和复杂性，如何在不产生意外后果的情况下实施这些变更是一个巨大的挑战，最终拖慢了开发人员的工作效率。Flipr是Uber解决这一问题的重要组成部分。Flipr是我们为动态配置管理而创建的工具，如功能标志、允许列表、增量推出和其他高级用例。在这篇文章中，我们将介绍Flipr的架构和功能，并将展示我们如何使用它来快速、轻松地进行大量的更改，而不牺牲可靠性。

最近，人们对面向服务的系统架构和微服务系统架构的缺点进行了大量的讨论。尽管仅仅在几年前，由于微服务体系架构提供了许多好处，如独立部署的灵活性、明确的所有权、提高系统稳定性以及更好地分离关注点等，但近年来，人们开始谴责微服务的倾向极大地增加了复杂性，有时甚至使微小的特性也难以构建。

随着 Uber 已经发展到大约 2200 个关键微服务，我们亲身体验了这些折衷。在过去两年里，Uber 试图降低微服务的复杂性，同时仍然保持微服务架构的优势。通过这篇博文，我们希望介绍我们对微服务体系结构的通用方法，我们称之为“面向领域的微服务体系架构”（Domain Oriented microservice Architecture，DOMA）。

由于这些缺点，近年来批评微服务架构变的很流行，但很少有人主张彻底拒绝微服务架构。系统的运营效益（可维护性）太重要了，而且似乎没有或极其有限的替代方案。我们使用 DOMA 的目标是为那些希望在保持与微服务体系结构相关的灵活性的同时降低总体系统复杂性的组织提供一条前进的道路。

这篇文章解释了 DOMA，导致 Uber 采用这种架构的原因，它对平台和产品团队的好处，最后，为希望采用这种架构的团队提供了一些建议。

对于人们熟知的平台服务而言，看似更严酷和集中的算法控制，有时候反而让零工有了统一的斗争矛头，这在针对亚洲平台经济的考察中都有所体现。研究者发现，直接隶属于平台的中国骑手相比隶属于配送站的全职工人更有抗争意识，而印尼的线下交通平台化后也出现了更多的劳工抗议。相比之下，更隐形的零工平台多依赖零散和不统一的人工控制，容易消解掉平台劳工集体维权的动力。

Uber通过推动数十亿次的乘车和送货，将数百万乘客、企业、餐馆、司机和快递员连接起来，彻底改变了世界的移动方式。这个庞大的交通平台的核心是大数据和数据科学，它为Uber所做的一切提供了动力，例如更好的定价和匹配、欺诈检测、降低ETA和实验。每天都会收集和处理PB级的数据，成千上万的用户从这些数据中获得洞察力并做出决策，从而建立/改进这些产品。