背景

1.ES模糊查询wildcard查询极耗机器CPU资源,查询耗时高,当并发量高时影响ES其它进程。
2.用户实际的模糊查询需求大多是左右模糊匹配。

可行性分析

match_phrase能够实现词组查询。

比如brown fox会返回匹配…brown fox…的结果,此结果与wildcard查询传入brown fox的查询结果一致。相当于我们通过match_phrase实现wildcard查询效果,但此时只满足一些特许的模糊查询需求。
那如何对match_phrase的功能进行增强,让其能够满足所有条件?
从上面的查询示例可以看出,brown fox会返回匹配…brown fox…的结果,其根本原因在于索引时ES将…brown fox…分词成了brown,fox等单词。所以只要我们能够控制ES分词效果,将会最终满足我们的需求。而ES提供了丰富的分词功能。

nGram分词能够实现按指定长度对文本进行分词。

nGram可以指定min_gram,max_gram参数实现不同的分词效果。
例如:min_gram,max_gram配置为5时,quick.brown.fox分词后会产生quick,uick.,ick.b,ck.br,k.bro,.brow,brown,rown.,own.f,wn.fo,n.fox。
这时match_phrase会达到什么效果了?
a.用户输入quick,brown,k.bro等都能够返回quick.brown.fox。
b.用户输入brown.fox,brown.fox会被分词成brown,rown.,own.f等,此时同样会返回quick.brown.fox。
c.用户输入fox(长度小于nGram分词配置的分词长度时),不会返回任何结果。

如何正确返回查询条件长度小于5时的结果

利用nGram分词 + term查询可以实现所需查询效果。
nGram分词配置:min_gram配置为1,max_gram配置为4。例如quick将会被分词为q,u,i,… quic,uick。
term查询会对用户输入的条件进行精确匹配,比如输入uic,会返回quick。

方案

查询条件长度小于5时:使用nGram分词 + term查询
查询条件长度大于等于5时:使用nGram分词 + match_phrase查询

实施

创建索引
PUT index_text_1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ngram_analyzer_short": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_short"
        },
        "ngram_analyzer_long": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_long"
        }
      },
      "tokenizer": {
        "ngram_tokenizer_short": {
          "type": "nGram",
          "min_gram": "1",
          "max_gram": "4"
        },
        "ngram_tokenizer_long": {
          "type": "nGram",
          "min_gram": "5",
          "max_gram": "5"
        }
      }
    }
  },
  "mappings": {
    "title": {
      "properties": {
        "char": {
          "type": "keyword",
          "fields": {
            "long_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_long"
            },
            "short_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_short"
            }
          }
        }
      }
    }
  }
}
新增数据
POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}  
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} 
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}
查询语句

查询条件长度大于等于5时

GET index_text_1/_search
{
    "query": {
        "match_phrase": {
            "char.long_char": {
                "query": "UsmRbRBFQY"
            }
        }
    }
}

在这里插入图片描述

查询条件长度小于5时

GET index_text_1/_search
{
    "query": {
        "term": {
            "char.short_char": {
                "value": "fox"
            }
        }
    }
}

在这里插入图片描述

思考

查询条件长度该设置成多少?
值太大,占用的存储资源就多(主要是short_char字段);值太小,long_char字段分词被分的太细,match_phrase查询耗时就会增加。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐