Elasticsearch Optimizations at Lyft

Elasticsearch Optimizations at Lyft

摘要

在Lyft，我们使用一个内部特性服务来存储ML模型使用的批处理和流式处理特性，使它们可以在离线模式（用于训练）和在线模式（用于推理）下访问。该服务将这些特征复制到Elasticsearch中，实现高级查询。对于增长型产品，我们使用Elasticsearch来支持内部工具，比如我们的客户数据平台，它使团队能够根据无数特征定义用户群。

2020年，新的健康与安全和实时计划对我们以前的Elasticsearch SLA发起了挑战。随着每周不同用例的涌入，我们很快就超出了现有的集群，延迟增加，AWS成本飙升。在这篇文章中，我们将分享我们测量和改变与Elasticsearch交互的各种方法，从而最终降低了延迟和成本。