Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。基本步骤：输入input 数据过滤处理filter 数据输出output

1、下载安装包
官网下载地址：https://elasticsearch.cn/download/#seg-3
网盘下载地址：链接：https://pan.baidu.com/s/1D0yzul1jAawPq9haOcaNIA
提取码：6m9v

2、解压后，在bin目录下创建：logstash.conf 文件，内容如下:

input {
    stdin{
    }
} 
output {
    stdout{
    }
}

过滤器：实时解析和转换数据 安装filter插件

./logstash-plugin install logstash-filter-multiline

注意：以上安装需要等待10分钟左右

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段

输出：选择你的存储，导出你的数据
3、logstash启动以及验证
bin目录下输入命令： ./logstash -f logstash.conf

浏览器输入http://localhost:9600/ 验证logstash是否启动成功

logstash常用命令

-n 指定logstash实例名称，如果没有指定，默认是本地主机名
-f 从指定的文件或文件夹中加载logstash的配置；如果是一个文件夹，它会加载里面所有的文件，或者可以加上通配符只加载特定格式的文件
-w 允许filter和output的pipeline线程数量，默认是CPU核数
-b 每个 Logstash pipeline 线程，在执行具体的 filter 和 output 函数之前，最多能累积的日志条数，默认是 125 条。越大性能越好，同样也会消耗越多的 JVM 内存
-u 每个 Logstash pipeline 线程，在打包批量日志的时候，最多等待几毫秒。默认是 5 ms
-l 指定日志输出位置
-r 监控配置配置文件，如果有变化则自动重载logstash
-e 使用给定的命令行字符串作为配置，直接运行bin/log/logstash -e 配置默认是"input { stdin { type => stdin } }" "output { stdout { codec => rubydebug } }"
-t 检查配置文件是否有语法错误
-V 打印logstash版本
--log.level 指定日志等级，包括trace、debug、info、warn、error、fatal，默认info
--http.host 指定web API绑定的主机，默认127.0.0.1
--http.port 指定web API的http端口，默认9600至9700