Filebeat 自定义索引名

文章目录1、加载外部配置文件1.1 Input config1.2 Module config2、Elasticsearch output2.1 配置模板加载2.2 自定义索引名2.2.1 配置filebeat2.2.2 查看es是否增加了新的索引2.2.3 在kibana上关联es索引1、加载外部配置文件1.1 Input configfilebeat.config.inputs:enabled

咸蛋黄派

6866人浏览 · 2022-02-09 18:42:54

咸蛋黄派 · 2022-02-09 18:42:54 发布

文章目录

1、加载外部配置文件

1.1 Input config

filebeat.config.inputs:
  enabled: true
  path: inputs.d/*.yml

inputs.d目录下的配置文件示例：

- type: log
  paths:
    - /var/log/mysql.log
  scan_frequency: 10s

- type: log
  paths:
    - /var/log/apache.log
  scan_frequency: 5s

1.2 Module config

filebeat.config.modules:
  enabled: true
  path: ${path.config}/modules.d/*.yml

外部配置文件示例：

- module: apache
  access:
    enabled: true
    var.paths: [/var/log/apache2/access.log*]
  error:
    enabled: true
    var.paths: [/var/log/apache2/error.log*]

2、Elasticsearch output

2.1 配置模板加载

默认情况下，如果启用了Elasticsearch输出，Filebeat会自动加载推荐的模板文件fields.yml，如果要使用默认索引模板，则不需要其他配置，否则，你可以将filebeat.yml配置文件中的默认值更改为：

加载不同的模板
```
setup.template.name: "your_template_name"
setup.template.fields: "path/to/fields.yml"
```
如果模板已存在，则除非你配置Filebeat，否则不会覆盖该模板。
覆盖现有模板
```
setup.template.overwrite: true
```
禁用自动模板加载
```
setup.template.enabled: false
```
如果禁用自动模板加载，则需要手动加载模板。
更改索引名称

如果要将事件发送到支持索引生命周期管理的集群，请参阅配置索引生命周期管理以了解如何更改索引名称。

默认情况下，当禁用或不支持索引生命周期管理时，Filebeat使用时间系列索引，索引名为filebeat-7.3.0-yyyy.MM.dd，其中yyyy.MM.dd是事件索引的日期，要使用其他名称，请在Elasticsearch输出中设置index选项。你指定的值应包括索引的根名称以及版本和日期信息，你还需要配置setup.template.name和setup.template.pattern选项以匹配新名称，例如：
```
output.elasticsearch.index: "customname-%{[agent.version]}-%{+yyyy.MM.dd}"
setup.template.name: "customname"
setup.template.pattern: "customname-*"
```
如果你使用的是预先构建的Kibana仪表板，请同时设置setup.dashboards.index选项，例如：
```
setup.dashboards.index: "customname-*"
```

2.2 自定义索引名

2.2.1 配置filebeat

如果我们不配置则默认会生成，如下类格式的索引，且如果检测到有的话，会默认一直使用这个日期

# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  hosts: ["https://myEShost:9200"]
  
# 输出到es的索引格式
filebeat-8.0.0-rc1-2022-01-20

从上面的配置中我们可以看到，数据会送到ES里去，但是只会送到ES的filebeat-*的索引里去，这显然不是我们想要的。

使用默认索引时要写入事件的索引名称。默认为“filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”，例如“filebeat-8.0.0-rc1-2022-01-20”。如果更改此设置，还需要配置 setup.template.name 和 setup.template.pattern 选项。

要想送到指定索引，我们对filebeat.yml的更改配置如下：


# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access*
  fields:
    source: access
- type: log
  paths:
    - /var/log/nginx/error*
  fields:
    source: error
# ============================== Filebeat modules ==============================
filebeat.config.modules:
  enabled: true
  path: ${path.config}/modules.d/*.yml
setup.template.enabled: false
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.overwrite: true
setup.ilm.enabled: false
#  ============================== Elasticsearch Output ==============================
output.elasticsearch:
  hosts: ["192.168.197.130:9200"]
  # 这里的index前缀nginx与模板的pattern匹配，中间这一串设置为field.source变量，如果下面indices格式没有匹配上，则使用该index格式
  index: "nginx-%{[fields.source]}-*"  
  indices:
  # 这里的前缀nginx同为与模板的pattern匹配，中间为field.source具体的值，当前面的input的field.source值与这里的匹配时，则index设置为定义的格式
    - index: "nginx-access-%{[agent.version]}-%{+yyyy.MM.dd}" 
      when.equals:                                            
      fields:
          source: "access"
    - index: "nginx-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "error"
# ============================== Processors ==============================
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

when.contains: 包含
when.equals: 等于

# 相关模板字段意义：
setup.template.name: “nginx”      # 设置一个新的模板，模板的名称
setup.template.pattern: “nginx-*” # 模板匹配那些索引，这里表示以nginx开头的所有的索引
setup.template.enabled: false     # 关掉默认的模板配置
setup.template.overwrite: true    # 开启新设置的模板
setup.ilm.enabled: false      # 索引生命周期管理ilm功能默认开启，开启的情况下索引名称只能为filebeat-*， 通过setup.ilm.enabled: false进行关闭；如果要使用自定义的索引名称，同时又需要启用ilm，可以修改filebeat的模板