介绍
Logstash是elastic技术栈中的一个技术。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步。

id：假设现在有1000条数据，Logstatsh识别后会进行一次同步，同步完会记录这个id为1000，以后数据库新增数据，那么id会一直累加，Logstash会有定时任务，发现有id大于1000了，则增量加入到es中。
时间：同理，一开始同步1000条数据，每条数据都有一个字段，为time，初次同步完毕后，记录这个time，下次同步的时候进行时间对比，超过这个时间的，那么就可以做同步，这里可以同步新增数据，或者修改元数据，因为同一条数据的时间更改会被识别，而id则不会。
安装Logstash
官方链接：https://www.elastic.co/cn/downloads/past-releases/logstash-6-4-3

注：使用Logstatsh的版本号与elasticsearch版本号需要保持一致
插件 logstash-input-jdbc
本插件用于同步，es6.x起自带，这个是集成在了 logstash中的。所以直接配置同步数据库的配置文件即可

配置
input {
    jdbc {
        # 设置mysql数据库url以及数据库名称，从项目直接复制即可
        jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/test"
        # 用户名密码
        jdbc_user => "root"
        jdbc_password => "root"
        # jdbc驱动所在位置
        jdbc_driver_library => "/usr/local/logstash/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量
        jdbc_page_size => "10000"
        # 执行的sql文件路径
        statement_filepath => "/user/loacl/logstash/sync/item.sql"
        # 设置定时任务 corn
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path
        user_column_value => true
        # 记录上次的追踪的结果值
        last_run_metadata_path => "/user/loacl/logstash/sync/track_time"    
        # 如果 use_column_value 为true，配置本参数，追踪的column名,可以是自增Id或者时间
        tracking_column => "updated_time"
        # tracking_column对应的字段类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output    {
    elasticsearch {
        # es地址
        hosts => ["192.168.1.111:9200"]
        # 同步的索引名
        index => "items"
        # 设置_docId和数据相同
        document_id => "%{id}"

        # 解决分词器问题
        # 自定义模版名称
        template_name => "myik"
        # 模版所在位置
        template => "/user/loacl/logstash/sync/logstash-ik.json"
        # 重写模版
        template_overwrite => true
        # logstash自动管理模版功能，默认为true，自定义模版改为false
        manage_template => false
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}