logstash数据同步

以id作为同步边界，比如主键是自增的，刚开始的时候数据库中有1千条数据，会把这1000条数据全部同步到ES中，然后定时任何隔了一段时间，发现数据库中id>1000,会把大于1000的数据同步到ES中，这样会有弊端，更新操作不知道。

所以推荐使用update_time

下载上传

上面那3个都会用到

• 解压文件
• 进入到目录中，创建一个sync文件夹
• 在文件夹里新建个文件，比如llogstash-db-sync.conf,后缀是.conf
• 拷贝数据库驱动到当前文件夹sync
  
• 配置logstash-db-sync.conf

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://localhost:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "10000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["localhost:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和数据相同。itemId与sql同步脚本中的itemId保持一致
        document_id => "%{itemId}"
        #document_id => "%{id}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

• sql同步脚本

SELECT
    i.id as itemId,
    i.item_name as itemName,
    i.sell_counts as sellCounts,
    ii.url as imgUrl,
    tempSpec.price_discount as price,
    i.updated_time as updated_time
FROM
    items i
LEFT JOIN
    items_img ii
on
    i.id = ii.item_id
LEFT JOIN
    (SELECT item_id,MIN(price_discount) as price_discount from items_spec GROUP BY item_id) tempSpec
on
    i.id = tempSpec.item_id
WHERE
    ii.is_main = 1
    and
    i.updated_time >= :sql_last_value
--:sql_last_value是记录的最后的一个值

• 启动
  

./logstash -f /usr/local/logstash/sync/logstash-db-sync.conf

删除不能同步

• 自定义模板
  
• 查看Logstash默认模板

GET /_template/logstash