Elastic：如何查询特殊字符

0 引言使用keyword来查询mapping替换，防止过滤转义

wu@55555

11649人浏览 · 2022-03-06 21:18:17

wu@55555 · 2022-03-06 21:18:17 发布

0 引言

某些业务场景下我们需要使用特殊符号来进行查询，但是es的默认分词器以及ik分词器等大多数分词器都会将特殊符号过滤掉，导致后续无法通过特殊符号查询到数据。

那么我们如何来解决这个问题呢，下面列举出几种处理方案

1 问题复现

1、设置mapping

PUT test_special
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

2、插入带有特殊符号的数据

PUT test_special/_doc/1
{"name":"55555@#!sina.com"}

3、通过‘@’去查询原数据

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

4、结果为空

"hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }

2 解决方案

2.1 使用keyword查询

首先从业务层考虑，是否需要单个的特殊符号查询，还是说是带上特殊符号的查询词搜索，所以先从最简单的用keyword+term查询试试看能够满足业务需求

GET test_special/_search
{
  "query": {
    "term": {
      "name.keyword": "55555@#!sina.com"
    }
  }
}

2.2 mapping映射，防止过滤

这里的特殊字符的别名用两个点隔开，并且加上了xxx前缀，点的作用是为了让其被单独分词，也可以替换成逗号，前缀的目的是为了让特殊字符的别名唯一，后续插入的数据不会和这个重复。xxx可以是你公司的名称或者其他含义的前缀。

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "standard",
          "char_filter": [
            "special_mapping"
          ]
        }
      },
      "char_filter": {
        "special_mapping":{
          "type": "mapping",
          "mappings": [
            "@=>.xxxAt.",
            "#=>.xxxJin.",
            "!=>.xxxSigh.",
            "*=>.xxxXing."
          ]
        }
      }
    }
  }, 
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

如上方法的原理是将特殊字符转换为能识别的普通字符组合，只是这个字符组合具备唯一性，我们单独查看下分词结果就能一目了然

GET test_special/_analyze
{
  "analyzer": "special_analyzer", 
  "text": [
    "55555@#*sina.com"
  ]
}

分词结果

"tokens" : [
    {
      "token" : "55555",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "xxxAt",
      "start_offset" : 5,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "xxxJin",
      "start_offset" : 6,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "xxxXing.sina.com",
      "start_offset" : 7,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 3
    }
  ]

查询测试

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#*"
    }
  }
}

结果中可以将数据查询出来，查询词在查询时因为使用的match查询，因此也会被分词，并且调用的分词器就是查询字段的分词器，因此特殊符号就被替换且分词为了：xxxAt,xxxJin,xxxXing，通过这些分词是可以查询到结果的

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.5098253,
        "_source" : {
          "name" : "55555@#!sina.com"
        }
      }
    ]

后续如果有新的特殊字符如何更新呢？
官方文档中有介绍，mapping char filter中除了直接写mappings外，还可以通过mappings_path，将mappings内容写到文本文件中，然后在mappings_path中配置这个文件的路径，就可以直接从这个文件中读取，下次更新时就更新文件，然后重启集群即可。这里需要注意的是该文本必须是UTF-8编码的，同时mappings_path路径要么是绝对路径要么是基于es config路径的相对路径

2.2 ngram分词器，设置min_gram为1

es中还提供了一个ngram分词器，可以将字段按照指定的长度进行分词

我们先通过一个实例来体会它的作用，比如字符串“12345”，设置了如下的分词器，那么分词结果就是1,12,2,23,3,34,4,45,5

也就是说它会将其按照最小长度为1，最大长度为2的范围进行分词。同时如何字符串中包含特殊字符或者空格也会保留，将其按照一个字符处理

"tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }

因此，我们创建索引，这里的min_gram必须设置为1，max_gram可以根据业务情况设置

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }
    }
  },
 "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

插入数据，并查询测试

PUT test_special/_doc/1
{"name":"55555@#!sina.com"}
 
GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

结果

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.4384104,
        "_source" : {
          "name" : "55555@#!sina.com"
        }
      }
    ]

优缺点：
这种方式分隔的粒度很小，能够很准确的查询到我们要的数据，但是同时也因为其粒度很小，所以会占用很多空间，因此使用时需要综合考虑，是否真的需要这种空间换取时间的做法