Elasticsearch 写入优化探索：是什么影响了refresh 耗时？

原创铭毅天下铭毅天下Elasticsearch

1、问题背景：

数据写入后，refresh耗时过长，能达到1s-5s。

想通过测试，探索确认影响refresh的因素，比如：写入操作是新增还是更新，deleted文档占比是否有影响，是否有其他索引配置，等等。

旧索引：24主分片，1副本，经过长期forcemerge，最大segmeng 33gb，镜像后deleted占比 8%左右。

noforcemerge 索引：24主分片，1副本，reindex后最大segmeng 5gb，deleted占比0%。

nosoftedelete 索引：关闭softdelete策略，24主分片，0副本，reindex后最大segmeng 5gb，deleted占比0%。

	旧索引更新	旧索引新增	旧索引forcemerge后新增(带少量更新)	noforcemerge索引更新	旧索引低更新	noforcemerge索引低更新	nosoftedelete索引更新
时间段	2023-10-12 21:30:00至2023-10-13 15:00:00	2023-10-13 15:55:00至2023-10-13 16:10:00	2023-10-13 20:40:00至2023-10-13 22:00:00	2023-10-16 10:40:00至2023-10-17 11:00:00	2023-10-17 16:20:00至2023-10-17 17:15:00	2023-10-17 17:20:00至2023-10-17 18:30:00	2023-10-19 11:00:00至今
写入速度	2k/s	2k/s	2k/s	2k/s	2k/s	2k/s	2k/s
deleted占比增长	最大 32%，最小 8%	22%左右	0%-2%	0%-9%	1.5%-2%	7%-6%	0%-8%
refresh耗时	最大12s，最低3s	200ms-400ms	300ms-800ms	1s-3s	50ms-250ms	500ms-1.5s	200ms-300ms
refresh_external耗时	最大12s，最低3s	200ms-400ms	300ms-800ms	1s-3s	50ms-250ms	500ms-1.5s	基本无
cpu使用	50%-100%	50%-100%	50%-100%	50%-100%	30%-60%	30%-60%	10%-40%（查询条件优化）

1. 纯更新操作会导致明显的 refresh 高耗时。

2. 降低索引中 deleted文档的占比也能降低refresh的高耗时。

3. noforcemerge 索引的更新测试中，通过es热线程的抓取，refresh 的出现降低了（但依旧是100%），merge线程出现增多了不少。

4. soft delete 关闭的索引，refresh 耗时明显下降了，并且与 deleted 文档占比明显无关联。

large segment 策略的修改对索引日常的查询和写入没有额外的资源占用。

同时也达到了预期自动清理deleted文档的效果。

用于分片间数据同步和恢复，属于 ES 分布式基础实现。

具体内容详见：

https://www.elastic.co/guide/en/elasticsearch/reference/7.10/index-modules-history-retention.html

soft delete详解：默认为开启，只能在索引创建时设定，不可通过开关索引操作修改。官方后期准备把这个参数去掉，这也是不建议修改soft_delete参数的一个原因。

在测试过程以及社区文档中，均发现了soft_delete索引下 update 操作增加了refresh耗时的现象。

https://mp.weixin.qq.com/s/_l8JAtqK_NOSP8b7OqSVDg

金多安，Elastic 认证专家，Elastic资深运维工程师，死磕Elasticsearch知识星球嘉宾，星球Top活跃技术专家，搜索客社区日报责任编辑

铭毅天下审稿并做了部分微调。