hadoop性能调优的一些笔记
1、同构机器表现优于异构，即使在良好集群中添加差的机器也会整个拖慢集群的效率，可能有些方法进行调整，但是作为私有云最好不用异构2、入库机器需要大于datanode节点的数量，实测的数据是单节点100MB/s ，2节点实测数据是136MB/s，由于总共就5台机器，所以无法测3节点入库速率。3、job执行的时候，当跑1.3T的数据时总共耗时3小时40分钟。在5台节点机的情况下相当理想
·
1、同构机器表现优于异构，即使在良好集群中添加差的机器也会整个拖慢集群的效率，可能有些方法进行调整，但是作为私有云最好不用异构
2、入库机器需要大于datanode节点的数量，实测的数据是单节点100MB/s ，2节点实测数据是136MB/s，由于总共就5台机器，所以无法测3节点入库速率。
3、job执行的时候，当跑1.3T的数据时总共耗时3小时40分钟。在5台节点机的情况下相当理想
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)