Elasticsearch 8让企业更快更好落地RAG应用

1. 朱杰 Elastic中国首席解决方案架构师

2.

3. 160K+ Commits 120亿+ Elastic Cloud 每天搜索的量 200K+ Pull Requests 110K+ GitHub Stars 46亿+ 累计下载量

4. 向量搜索语义搜索过去需求全文搜索聚合统计分词结构化搜索复杂混合搜索排序调优向量和经典搜索的混合模型重排序 RAG 现在需求

5. 文档加工切片 Query理解改写扩充 LLM Prompt 重排序评测指标 RAG定制模型索引构建 Elasticsearch 多路召回

6. 文档加工切片 Query理解改写扩充 LLM Prompt 重排序评测指标 RAG定制模型索引构建 Elasticsearch 多路召回

7. 大多数的向量数据库混合搜索 (文本 + 向量) 存储和搜索向量一些向量数据库 Elasticsearch ● 基于HNSW的索引 ● 原生向量数据库，并非是插件 ● 与现有ES搜索功能高度融合进行混合搜索 embedding 模型过滤 & 切面创建 Embeddings 开箱即用的训练模型文档级别安全自动提示搜索分析聚合文本, 地理位置搜索数据摄取 (web crawler, connectors, Beats, Agent, API framework) 自部署 / 云 / 混合云

8. 增加单个查询并发硬件加速利用CPU硬件指令加速向量索引和计算速度增加查询并发度，充分利用更多的计算核心更快更强向量量化并发查询间协同向量有损压缩，float到 int8、int4来平衡精度、速度和成本一个查询的多个并发线程间协同共享信息，提前终止一些查询线程

9. 利用更多硬件能力并全面应用到其它搜索和计算 Panama Vector API 实现确定的向量化 SIMD指令 FMA指令编译器自动向量化 Panama Foreign Function Interface (FFI) 调用本地代码 Elasticsearch会更多利用 ARM 本地优化代码本地代码 X86 本地优化代码 Elasticsearch进一步利用本地代码进行加速 Lucene利用硬件加速阿里云ES 8.13 将会全面启用硬件加速能力

10. 以前 • 集群整体吞吐优先 • 限制单个查询的资源 • 每个查询每个分片一个查询线程现在 • 每个查询每个分片中的段一个查询线程 • 改进了搜索延迟 • 可以重复利用更多核心数 • 应用到其它搜索领域 • 并发间协调

11. ● ● ● ● ● 转化向量的数据类型 float32 to Int8 Int4 ○ 大多数模型输出 float32 类型的向量 ○ Int8 Int4 可以更好的在精度、性能、成本之间平衡对精度有一定影响 ○ 通过增加候选数量来缓解优化了索引的大小增强搜索性能、降低搜索延迟增强索引性能

12. BM25 文本搜索第三方Embedding模型密集向量 text embeddings 密集向量 image embeddings RRF Elasticsearch Search APIs 强大的语义和混合搜索稀疏向量

13.

14. • 一个文档确定的多个向量字段 ○ 标题、摘要 • 不确定数量的一组向量 ○ 每个段落一个向量 • 语义搜索，融合 • 文档切片的需要 Document X 1 X 2 X 3 … X n X 1 X 2 X 3 … X n X 1 X 2 X 3 … X n

15. $ eland_import_hub_model --url https://Cluster_URL --hub- model-id bert_model --task-type text_embedding --start Huggingface eland

16. 阿里云 Elasticsearch Inference API embedding、chat、rerank Elasticsearch 直接部署模型私有化部署的模型例如：阿里云 PAI 在线推理服务例如：阿里云 DashScope

17. 企业认证服务集成精细化权限控制基于规则的关键词过滤精细化控制索引级别通过构建规则需要有和集中认证字段级别混合搜索中精确过滤掉敏服务整合的能力文档级别感信息

18. 阿里云 Elasticsearch 8.13 +

19. 全新的计算引擎 ES|QL 全面的Search AI 能力更强更快更简单的向量引擎云原生 Serverless化

20. elastic.co/search-labs elastic.co/observability-labs elastic.co/security-labs

21.