参考:https://xiaozhuanlan.com/topic/7860594132

 


1、关闭ES索引实时刷新,这个可以提高写入速度


PUT ws_guangdong/_settings
{
    "refresh_interval": -1
}

2、大数据量写入时,先关闭索引副本同步机制,主分片写入完成后,可以再设置副本数

 

3、不需要分析的字段用keyword类型,减少索引分词所消耗的时间和空间

4、可适当调整datax的channel数

注意:es自动生成id不适用于通过datax大批量导入数据,最好将id同步过去。否则datax在导数过程中如果某一批数据插入时连接超时或其他异常,datax进行重试后,es中会存在重复数据。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐