中间件与数据库:Elasticsearch
Elasticsearch Optimizations at Lyft
在Lyft,我们使用一个内部特性服务来存储ML模型使用的批处理和流式处理特性,使它们可以在离线模式(用于训练)和在线模式(用于推理)下访问。该服务将这些特征复制到Elasticsearch中,实现高级查询。对于增长型产品,我们使用Elasticsearch来支持内部工具,比如我们的客户数据平台,它使团队能够根据无数特征定义用户群。
2020年,新的健康与安全和实时计划对我们以前的Elasticsearch SLA发起了挑战。随着每周不同用例的涌入,我们很快就超出了现有的集群,延迟增加,AWS成本飙升。在这篇文章中,我们将分享我们测量和改变与Elasticsearch交互的各种方法,从而最终降低了延迟和成本。
Elasticsearch 如何实现类主流搜索引擎广告置顶显示效果?
pinned query 是 Elasticsearch 7.4.0 版本实现的增强检索功能。pinned:中文翻译为“固定”。pinned query 则可以解释为——固定某些结果首页置顶显示的检索方式。
如何解决模板式的冗余代码问题?
当项目中在使用到诸如 Elasticsearch 的中间件时,客户端对不同数据模型的 CRUD 操作存在着大量模版式的冗余代码,每次有新的业务数据需要 Elasticsearch 的管理时都会重写类似的 CRUD 逻辑,这些 CRUD 代码除了数据模型不同,通用功能的代码逻辑几乎一样。显然,在这种情况下,我们完全可以抽取出通用功能的代码,将其定义成一个模版。当接入具体的业务数据时,只需要进行模版实例化的代码书写,把因业务不同的数据模型嵌入到模版中,从而避免重复书写功能相同的代码,最终达到提高开发效率,降低开发成本的目的。
Elasticsearch 缓存深入详解
你还不了解的 Elasticsearch 缓存盲点。
Elasticsearch 高基数聚合性能提升3倍,改动了什么?
terms 聚合的性能可能会受到所聚合字段的基数的极大影响。基数(Cardinality)是指存储在特定字段中的值的唯一性。高基数:意味着一个字段包含很大比例的唯一值。举例:电子邮件地址可能会有数千万+唯一值,属于高基数。低基数:意味着一个字段包含很多重复的值。举例:因为世界上少于200个国家,国家名称就是低基数。
分布式搜索引擎Elasticsearch的架构分析
本文介绍ES的分布式架构,以及ES的存储原理和写索引机制。
百亿级实时计算系统性能优化–—Elasticsearch篇
Elasticsearch索引自动化运维管理解析
携程Elasticsearch数据同步实践
已经有数个业务几十个索引使用了该组件维护索引。
Elasticsearch 内部数据结构深度解读
倒排索引、正排索引、fielddata、_source、store 一网打尽!
ElasticSearch 索引 VS MySQL 索引
ElasticSearch 索引 VS MySQL 索引
Elasticsearch 运维实战常用命令清单
Elasticsearch 运维实战命令清单,你用过哪些?
滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析
滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务,包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点,5PB 的数据存储,超过万亿条数据。平台写入的峰值写入TPS达到了2000w/s,每天近 10 亿次检索查询。为了承接这么大的体量和丰富的使用场景,滴滴ElasticSearch需要解决稳定性、易用性、性能、成本等诸多问题。我们在4年多的时间里,做了大量优化,积攒了非常丰富的经验。通过建设滴滴搜索平台,打造滴滴ES引擎,全方位提升用户使用ElasticSearch体验。这次给大家分享的是滴滴在写入性能优化的实践,优化后,我们将ES索引的写入性能翻倍,结合数据冷热分离场景,支持大规格存储的物理机,给公司每年节省千万左右的服务器成本。
How We Improved Our Performance Using ElasticSearch Plugins: Part 2
Written By: Daniel Geng, Software Engineer | Pierre Poitevin, Senior Software Engineer| Xiaohu Li, Engineering Manager
Elasticsearch 常见的 8 种错误及最佳实践
Elasticsearch 实战经常遇到的错误,本文给出了详尽的剖析和解读 \x26gt;\x26gt;
99.999%,提升ElasticSearch稳定性的秘密
以微信支付为例
Elasticsearch 聚合数据结果不精确,怎么破?
Elasticsearch 提升聚合精度的 N 种方案,猛戳\x26gt;\x26gt;