原文网址：ElasticSearch--线程池(ThreadPool)--使用/设置_IT利刃出鞘的博客-CSDN博客

简介

说明

        本文介绍ElasticSearch的线程池的配置。

        ES每个node都有多个线程池来管理内存占用，线程池都有一个queue来缓存需要处理的request而不是直接丢弃。

        ES的线程池有点儿类似于Java中的线程池。

官网网址

Thread pools | Elasticsearch Guide [8.4] | Elastic

粉丝福利：有很多粉丝私信问我有没有Java的面试及PDF书籍等资料，我整理一下，包含：真实面试题汇总、简历模板、PDF书籍、PPT模板等。这些是我自己也在用的资料，面试题是面试官问到我的问题的整理，其他资料也是我自用的，真正实用、靠谱。资料可以从这里免费获取：资料地址

线程池的类型

1. fixed

        fixed线程池是有固定线程数量的线程池，它有一个固定大小的queue来缓存处理不过来的任务。

设置一个fixed线程池：

thread_pool:
    write:
        size: 30
        queue_size: 1000

        queue_size的值如果不设置的话默认为-1，代表无限大。当queue被填满的时候请求就会被丢弃掉。

2. fixed_auto_queue_size

        这是实验性的类型特性，fixed_auto_queue_size的thread的数量是fixed，但是queue的大小是根据一些规则进行变动的。

设置一个fixed_auto_queue_size线程池:

thread_pool:
    search:
        size: 30
        queue_size: 500
        min_queue_size: 10
        max_queue_size: 1000
        auto_queue_frame_size: 2000
        target_response_time: 1s

• queue_size
  • 初始化的queue的size数量
• auto_queue_frame_size
  • 衡量是否需要扩容的请求数。
• target_response_time
  • 当任务的处理时间（加上排队时间）大于1s的时候会对queue进行缩容，来避免大量的超时处理。

3. scaling

        这类线程池的thread的数量是可以基于负载的大小动态变化的。

设置一个scaling的线程池：

thread_pool:
    warmer:
        core: 1
        max: 8
        keep_alive: 2m

keep_alive 指定了闲置的线程池达到2m会被回收。

重要的线程池

1. generic线程池

        普通线程池，一般用来运行后台任务或者discovery等，是一个大小可以scaling的线程池。

2. search线程池

        针对 count/search/suggest 操作。

        线程池的类型是 fixed_auto_queue_size 线程池的大小是固定值 int((# of available_processors * 3) / 2) + 1, 有一个可以伸缩的queue， queue size 初始值是 1000。

3. search_throttled线程池

        应对count/search/suggest/get 操作，但是这些对应的索引是search_throttled indices。

        线程池的类型是 fixed_auto_queue_size，thread 的size 是 1, queue_size 的初始值为 100.

4. get线程池

        get操作对应的线程池。

        Thread pool 的类型是 fixed，size 是 available processors，queue_size 是 1000.

5. analyze线程池

        analyze 请求对应的线程池。

        Thread pool 的类型是 fixed，size 是1，queue size 是16.

6. write线程池

        这个线程池对应处理的是index/delete/update请求和bulk请求。

        Thread pool 的类型是 fixed，size 是 available processors，queue size 是 200。thread pool最大的可设置的值为1+ available processors

7. snapshot线程池

        这个线程池对应处理的是snapshot/restore操作。

        Thread pool 的类型是 scaling，size 最大值是min(5, (# of available processors)/2)，每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

8. warmer线程池

        这个线程池对应处理的是segment warm-up 操作。

        Thread pool 的类型是scaling，size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

9. refresh线程池

        这个线程池对应处理的是refresh 操作。

        Thread pool 的类型是scaling，size 最大值是min(10, (# of available processors)/2)，每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

10. listener线程池

        这个线程池对应处理的是java client的操作。

        Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m，如果5m都是空闲的，那么该线程就会别回收。

Processors setting

        设置elasticsearch动态监测到的processor的数量。

        这个一般情况下不用设置，只有由于操作系统的原因可能导致检测不准，或者因为对应的服务器上还有其他服务，想要缩小ES使用的cpu核数才会使用。