微信群里的线上实战问题:
诸位大哥,es中:
keyword类型的字段进行高亮查询,值为 123asd456,查询 sd4,高亮结果是 em 123asd456 em
有没有办法只对我查询的sd4高亮?
明明查询id的一部分,却高亮结果是整个id串,怎么办?
死磕Elasticsearch技术微信群
注:本文示例DSL在7.2版本运行ok,6.X之前早期版本可能需要微调。
PUT findex
{
"mappings": {
"properties": {
"aname":{
"type":"text"
},
"acode":{
"type":"keyword"
}
}
}
}
POST findex/_bulk
{"index":{"_id":1}}
{"acode":"160213.OF","aname":"X泰纳斯达克100"}
{"index":{"_id":2}}
{"acode":"160218.OF","aname":"X泰国证房地产"}
POST findex/_search
{
"highlight": {
"fields": {
"acode": {}
}
},
"query": {
"bool": {
"should": [
{
"wildcard": {
"acode": "*1602*"
}
}
]
}
}
}
高亮检索结果,
"highlight" : {
"acode" : [
"<em>160213.OF</em>"
]
}
也就是说整个串都被高亮了,没有达到预期。
实际需求:搜索1602,相关数据:160213.O、160218.OF都能召回,且仅高亮搜索字段1602。
而实际业务需求:
一方面:要求输入子串召回全串;
另一方面:要求高亮检索的子串。
只能更换一种分词Ngram来实现了!
Ngram是一种基于统计语言模型的算法。
Ngram基本思想:是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。
该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。
这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram(二元语法)和三元的Tri-Gram(三元语法)。
中文句子:“你今天吃饭了吗”,它的Bi-Gram(二元语法)分词结果为:
你今
今天
天吃
吃饭
饭了
了吗
无分隔符语言文本的切分
等。PUT findex_ext
{
"settings": {
"index.max_ngram_diff": 10,
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "ngram",
"min_gram": 4,
"max_gram": 10,
"token_chars": [
"letter",
"digit"
]
}
}
}
},
"mappings": {
"properties": {
"aname": {
"type": "text"
},
"acode": {
"type": "text",
"analyzer": "my_analyzer",
"fields": {
"keyword": {
"type": "keyword"
}
}
}
}
}
}
POST findex_ext/_bulk
{"index":{"_id":1}}
{"acode":"160213.OF","aname":"X泰纳斯达克100"}
{"index":{"_id":2}}
{"acode":"160218.OF","aname":"X泰国证房地产"}
# 查看分词结果
POST findex_ext/_analyze
{
"analyzer": "my_analyzer",
"text":"160213.OF"
}
POST findex_ext/_search
{
"highlight": {
"fields": {
"acode": {}
}
},
"query": {
"bool": {
"should": [
{
"match_phrase": {
"acode": {
"query": "1602"
}
}
}
]
}
}
}
注意:三个核心参数
返回结果截取片段如下:
"highlight" : {
"acode" : [
"<em>1602</em>13.OF"
]
}
已经能满足检索和高亮的双重需求。
为讨论解决线上问题,引申出Ngram的原理和使用逻辑,并指出了wildcard和Ngram的适用业务场景。希望对实战中的你有所启发和帮助!
你在业务中遇到子串匹配和高亮的情况吗?你是如何分词和检索的?欢迎留言讨论。
参考:
1、https://zhuanlan.zhihu.com/p/32829048
2、http://blog.sciencenet.cn/blog-713101-797384.html
3、https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html
4、https://elasticsearch.cn/article/171
更多推荐:
1、Elasticsearch实战|如何从数千万手机号中识别出情侣号?
3、95后运维小哥20天+通过Elastic认证考试经验分享
中国通过Elastic认证工程师考试人数最多的圈子!
更短时间更快习得更多干货!