A/B tests, controlled experiments to measure performance differences between groups, are ubiquitous tools in data science and represent the gold standard in business measurement. At Lyft, A/B tests are found in nearly every product, from measuring the performance of marketplace algorithms and app designs, to engineering infrastructure changes. The units of analysis for most A/B tests are users, and sometimes markets or times of day. In this post, we are going to describe a new type of A/B test we are performing on our hardware team at Lyft. We will also illustrate a couple of A/B tests which we have done to safely and confidently improve the user experience, lower costs, and provide the best possible service for the cities in which we operate.

在之前的一篇博文中，我们讨论了Feature Service的架构，它在Lyft管理机器学习（ML）的特征存储和访问。在这篇文章中，我们将讨论LyftLearn的架构，这是一个建立在Kubernetes上的系统，负责管理ML模型训练以及批量预测。

从在地图上回放共享骑行，到实时解决物理安全问题，到管理成千上万的自行车和滑板车车队，再到查看自动驾驶汽车的轨迹，Lyft的前端服务支持大量不同的用例。

随着Lyft在过去十年的发展，我们的业务需求也变得越来越复杂。然而，满足这些不同需求的一个核心要求是必须要有高性能的网络应用。

我们与熟悉Lyft前端工程历史的高级工程师和员工坐下来，了解我们是如何应对性能挑战，并建立一个生态系统来支持需要高性能网络应用的无数使用案例的。通过回顾我们在Lyft构建100多个高性能前端微服务的历程，我们已经将我们的经验提炼成我们所说的网络性能需求层次，这是一个可以战略性地识别构建网络应用的组织中最有影响的性能需求的系统。

今天Lyft很高兴地宣布Flyte的开源，Flyte是一个结构化编程和分布式处理平台，用于高并发、可扩展和可维护的工作流。Flyte在Lyft服务生产模型训练和数据处理已有三年多的时间，成为定价、地点、预计到达时间（ETA）、地图、自驾（L5）等团队事实上的平台。事实上，Flyte在Lyft管理着超过7000个独特的工作流程，每月总执行量超过10万次，100万个任务，1000万个容器。在这篇文章中，我们将向您介绍Flyte，概述它所解决的问题类型，并提供如何利用它来满足您的机器学习和数据处理需求的例子。

机器学习构成了Lyft应用的骨干。Lyft的一些ML例子包括决定匹配司机和乘客的最佳方式，决定如何为乘车定价，向乘客和司机分发优惠券和奖励，检测欺诈，路线规划和自动支持。这些用例的ML模型需要通过数据仓库上的批处理作业或通过事件流计算的特征。此外，无论这些特征是以何种方式计算的，它们都需要通过批处理查询来进行模型训练，并通过低延迟的在线推理来提供。

前端软件开发是一个复杂的解决方案空间，需要考虑很多因素，比如可扩展性、弹性、一致的用户体验、异构的客户端功能、实时体验，代码要同时在服务器和浏览器环境下运行。

在Lyft，我们使用一个内部特性服务来存储ML模型使用的批处理和流式处理特性，使它们可以在离线模式（用于训练）和在线模式（用于推理）下访问。该服务将这些特征复制到Elasticsearch中，实现高级查询。对于增长型产品，我们使用Elasticsearch来支持内部工具，比如我们的客户数据平台，它使团队能够根据无数特征定义用户群。

2020年，新的健康与安全和实时计划对我们以前的Elasticsearch SLA发起了挑战。随着每周不同用例的涌入，我们很快就超出了现有的集群，延迟增加，AWS成本飙升。在这篇文章中，我们将分享我们测量和改变与Elasticsearch交互的各种方法，从而最终降低了延迟和成本。

近年来，使用流处理作为一种数据处理技术以及为支持它而设计的框架已经变得无处不在，因为它在构建关键业务系统方面释放了巨大的潜力。在Lyft的Marketplace团队中，我们使用Apache Beam（Flink Runner）流处理框架来驱动我们的功能工程和模型执行协调工作。在过去的几年里，我们已经建立并扩展了几个管道，以极低的延迟处理实时事件。分享一些统计数据，我们每分钟为约300万gehashes生成约100个特征（每天约4000亿个特征）。

为了给我们一些需要黄金时间的关键产品提供动力（它是动态定价，以控制任何特定区域的需求和供应）或识别热点，我们重新设计了我们的架构，以依靠事件驱动的系统来提供实时洞察。在这一历程中，我们在尝试扩展平台时遇到了不少障碍。找出根源并解决这类问题的过程，让我们深入了解了如何设计一个无缝扩展的管道。我们正在开始这个系列，以涵盖每个人在设计数据密集型管道时应该注意的障碍。每篇文章都将涵盖独特类型的问题及其潜在的解决方案。

Lyft地图是建立在OpenStreetMap之上的。这个全球地图数据库被全球数百万人使用，用于应对气候变化、跟踪农业土地使用、灾难恢复、难民响应、学术研究等。经过16年的发展，OSM现在已经被许多公司普遍用于助力物流平台、社交媒体和游戏等应用。OSM是目前最大的人类地理空间知识的众包库。但这个地图是否适合支持乘车体验？它是现有的最佳选择吗？Lyft能不能支持OSM社区，为让地图变得更好做出贡献？虽然我们有很强的直觉，OSM提供了一个完整的道路网络，但我们不知道该地图与现实世界的匹配程度--因此我们进行了一项研究。

Machine learning based marketing automation to improve cost and volume efficiency in an ever-changing marketplace.

Dynamic pricing is the main technology that allows us to maintain market balance in real-time. If we were able to perfectly plan for the…

Back in the days when Lyft was a monolithic server architecture, all mobile clients relied on a core endpoint for fetching the state of…

In this blog post, we explain how Lyft predicts your destination when you open the Lyft app.

tl;dr: Test your web apps with both keyboards and screen readers, learn to love the WAI-ARIA guidelines, and always use accessible HTML…

By Marie Douriez, James Murphy, Kerrick Staley