Hadoop集群datanode磁盘不均衡的解决方案

所需积分/C币:5 2021-02-25 23:29:12 486KB PDF
6
收藏 收藏
举报

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,具体如下:上图中可以看出max是94.18%,而min是0.37%,其中有600多台是

...展开详情
试读 5P Hadoop集群datanode磁盘不均衡的解决方案
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
Hadoop集群datanode磁盘不均衡的解决方案 5积分/C币 立即下载
1/5
Hadoop集群datanode磁盘不均衡的解决方案第1页

试读结束, 可继续读1页

5积分/C币 立即下载 >