Datax+ES 心得
参考:https://xiaozhuanlan.com/topic/7860594132
·
参考:https://xiaozhuanlan.com/topic/7860594132
1、关闭ES索引实时刷新,这个可以提高写入速度
PUT ws_guangdong/_settings
{
"refresh_interval": -1
}
2、大数据量写入时,先关闭索引副本同步机制,主分片写入完成后,可以再设置副本数
3、不需要分析的字段用keyword类型,减少索引分词所消耗的时间和空间
4、可适当调整datax的channel数
注意:es自动生成id不适用于通过datax大批量导入数据,最好将id同步过去。否则datax在导数过程中如果某一批数据插入时连接超时或其他异常,datax进行重试后,es中会存在重复数据。
更多推荐
已为社区贡献3条内容
所有评论(0)