ES模糊查询wildcard的替代方案,nGram + match_phrase
ES模糊查询wildcard的替代方案,nGram + match_phrase背景1.ES模糊查询wildcard查询极耗机器CPU资源,查询耗时高,当并发量高时影响ES其它进程。2.用户实际的模糊查询需求大多是左右模糊匹配。可行性分析match_phrase能够实现词组查询。比如brown fox会返回匹配…brown fox…的结果,此结果与wildcard查询传入brown fox的查询结
背景
1.ES模糊查询wildcard查询极耗机器CPU资源,查询耗时高,当并发量高时影响ES其它进程。
2.用户实际的模糊查询需求大多是左右模糊匹配。
可行性分析
match_phrase能够实现词组查询。
比如brown fox会返回匹配…brown fox…的结果,此结果与wildcard查询传入brown fox的查询结果一致。相当于我们通过match_phrase实现wildcard查询效果,但此时只满足一些特许的模糊查询需求。
那如何对match_phrase的功能进行增强,让其能够满足所有条件?
从上面的查询示例可以看出,brown fox会返回匹配…brown fox…的结果,其根本原因在于索引时ES将…brown fox…分词成了brown,fox等单词。所以只要我们能够控制ES分词效果,将会最终满足我们的需求。而ES提供了丰富的分词功能。
nGram分词能够实现按指定长度对文本进行分词。
nGram可以指定min_gram,max_gram参数实现不同的分词效果。
例如:min_gram,max_gram配置为5时,quick.brown.fox分词后会产生quick,uick.,ick.b,ck.br,k.bro,.brow,brown,rown.,own.f,wn.fo,n.fox。
这时match_phrase会达到什么效果了?
a.用户输入quick,brown,k.bro等都能够返回quick.brown.fox。
b.用户输入brown.fox,brown.fox会被分词成brown,rown.,own.f等,此时同样会返回quick.brown.fox。
c.用户输入fox(长度小于nGram分词配置的分词长度时),不会返回任何结果。
如何正确返回查询条件长度小于5时的结果
利用nGram分词 + term查询可以实现所需查询效果。
nGram分词配置:min_gram配置为1,max_gram配置为4。例如quick将会被分词为q,u,i,… quic,uick。
term查询会对用户输入的条件进行精确匹配,比如输入uic,会返回quick。
方案
查询条件长度小于5时:使用nGram分词 + term查询
查询条件长度大于等于5时:使用nGram分词 + match_phrase查询
实施
创建索引
PUT index_text_1
{
"settings": {
"analysis": {
"analyzer": {
"ngram_analyzer_short": {
"filter": "lowercase",
"tokenizer": "ngram_tokenizer_short"
},
"ngram_analyzer_long": {
"filter": "lowercase",
"tokenizer": "ngram_tokenizer_long"
}
},
"tokenizer": {
"ngram_tokenizer_short": {
"type": "nGram",
"min_gram": "1",
"max_gram": "4"
},
"ngram_tokenizer_long": {
"type": "nGram",
"min_gram": "5",
"max_gram": "5"
}
}
}
},
"mappings": {
"title": {
"properties": {
"char": {
"type": "keyword",
"fields": {
"long_char": {
"type": "text",
"analyzer": "ngram_analyzer_long"
},
"short_char": {
"type": "text",
"analyzer": "ngram_analyzer_short"
}
}
}
}
}
}
}
新增数据
POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"}
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}
查询语句
查询条件长度大于等于5时
GET index_text_1/_search
{
"query": {
"match_phrase": {
"char.long_char": {
"query": "UsmRbRBFQY"
}
}
}
}
查询条件长度小于5时
GET index_text_1/_search
{
"query": {
"term": {
"char.short_char": {
"value": "fox"
}
}
}
}
思考
查询条件长度该设置成多少?
值太大,占用的存储资源就多(主要是short_char字段);值太小,long_char字段分词被分的太细,match_phrase查询耗时就会增加。
更多推荐
所有评论(0)