登录 / 注册
IT168大数据频道
IT168首页 > 大数据 > 大数据评论 > 正文

HDFS系列之DataNode磁盘管理解析及实践!

2018-08-14 09:21    it168网站 原创  作者: 赵钰莹 编辑: 赵钰莹

  【IT168 评论】在单一DataNode管理多个磁盘的情况下,执行普通写操作时的每个磁盘用量比较平均。但是,添加或者更换磁盘将会导致DataNode磁盘用量严重不均衡,传统的HDFS均衡器关注点是DataNode之间(inter-)而不是intra-,但是Hadoop 3.0及以上版本中,新的HDFS Intra-DataNode磁盘平衡器可以很好得解决上述问题。

  HDFS现在包括(在CDH 5.8.2及更高版本中提供)全面的存储容量管理方法,用于跨节点移动数据。熟悉Hadoop简单配置的同学应该都知道hdfs-site.xml,在HDFS中,DataNode将数据块扩展到本地文件系统目录,可以使用hdfs-site.xml中的dfs.datanode.data.dir指定。在一个典型的安装过程中,每个目录(在HDFS术语中称作卷)位于不同的设备上(例如,在单独的HDD和SSD上)。

  当我们将新块写入HDFS时,DataNode使用卷选择策略为块选择磁盘。目前支持两种策略类型:轮询(round-robin)和可用空间(available space)(HDFS-1804)。

  简而言之,如上图所示,轮询策略在可用磁盘上均匀分配新块,而可用空间策略优先将数据写入具有最多可用空间(按百分比)的磁盘。

  默认情况下,DataNode使用基于轮询的策略来编写新块。但是,在长时间运行的集群中,由于HDFS中的大量文件删除或通过磁盘热交换功能添加新的DataNode磁盘等事件,DataNode仍然可能创建了显著不平衡的卷。即使使用基于可用空间的卷选择策略,卷不平衡现象仍然会导致磁盘I/O效率降低:例如,每个新的写入都转到新添加的空磁盘而其他磁盘空闲,这会给新磁盘造成瓶颈。

  Apache Hadoop社区开发了服务器脱机脚本以缓解数据不平衡问题。但是,由于在HDFS代码库之内,这些脚本要求DataNode在磁盘间移动数据前处于脱机状态。因此,HDFS-1312引入了在线磁盘平衡器,旨在根据各种指标重新平衡正在运行的DataNode上的卷。与HDFS Balancer类似,HDFS磁盘平衡器作为DataNode中的线程运行,以跨具有相同存储类型的卷移动块文件。

  磁盘平衡器101

  让我们使用示例逐步探索该功能。首先,确认所有DataNode上的dfs.disk.balancer.enabled配置都设置为true。从CDH 5.8.2开始,用户可以通过Cloudera Manager中的HDFS安全阀片段指定此配置:

  在此示例中,我们将向预加载的HDFS DataNode(/ mnt / disk1)添加新磁盘,并将新磁盘装入/mnt/disk2。在CDH中,每个HDFS数据目录都在一个单独的磁盘上,因此用户可以使用df来显示磁盘使用情况:

  # df -h …. /var/disk1 5.8G 3.6G 1.9G 66% /mnt/disk1 /var/disk2 5.8G 13M 5.5G 1% /mnt/disk2

  显然,是时候让磁盘再次平衡!传统的磁盘平衡器任务涉及三个步骤(通过HDFS diskbalancer命令实现):计划,执行和查询。在第一步中,HDFS客户端从NameNode读取有关指定DataNode的必要信息,以生成执行计划:

  # hdfs diskbalancer -plan lei-dn-3.example.org 16/08/19 18:04:01 INFO planner.GreedyPlanner: Starting plan for Node : lei-dn-3.example.org:20001 16/08/19 18:04:01 INFO planner.GreedyPlanner: Disk Volume set 03922eb1-63af-4a16-bafe-fde772aee2fa Type : DISK plan completed.Th 16/08/19 18:04:01 INFO planner.GreedyPlanner: Compute Plan for Node : lei-dn-3.example.org:20001 took 5 ms 16/08/19 18:04:01 INFO command.Command: Writing plan to : /system/diskbalancer/2016-Aug-19-18-04-01

  从输出中可以看出,HDFS 磁盘平衡器通过数据节点将磁盘使用信息报告给NameNode,并计算指定DataNode上的数据移动步骤。每个步骤都指定要移动数据的源卷和目标卷,以及预期要移动的数据量。

  在撰写本文时,HDFS支持的唯一规划器是GreedyPlanner,它不断地将数据从最常用的设备移动到最少使用的设备,直到所有数据均匀分布在所有设备上。用户还可以在plan命令中指定空间利用率的阈值,如果空间利用率的差异低于阈值,则规划人员会认为磁盘是平衡的。(另一个值得注意的选择是通过在规划过程中指定--bandwidth来限制磁盘平衡器任务I / O,以免磁盘平衡器I/O影响前台工作。)

  磁盘平衡器执行计划生成为存储在HDFS中的JSON文件。默认情况下,计划文件存储在/system/diskbalancer目录中:

  # hdfs dfs -ls /system/diskbalancer/2016-Aug-19-18-04-01 Found 2 items -rw-r--r-- 3 hdfs supergroup 1955 2016-08-19 18:04 /system/diskbalancer/2016-Aug-19-18-04-01/lei-dn-3.example.org.before.json -rw-r--r-- 3 hdfs supergroup 908 2016-08-19 18:04 /system/diskbalancer/2016-Aug-19-18-04-01/lei-dn-3.example.org.plan.json

  要在DataNode上执行计划,请运行:

  $ hdfs diskbalancer -execute /system/diskbalancer/2016-Aug-17-17-03-56/172.26.10.16.plan.json 16/08/17 17:22:08 INFO command.Command: Executing "execute plan" command

  此命令用于将JSON计划文件提交给DataNode,后者在BlockMoverthread线程的后台执行。

  要检查DataNode上diskbalancer任务的状态,请使用query命令:

  # hdfs diskbalancer -query lei-dn-3:20001 16/08/19 21:08:04 INFO command.Command: Executing "query plan" command. Plan File: /system/diskbalancer/2016-Aug-19-18-04-01/lei-dn-3.example.org.plan.json Plan ID: ff735b410579b2bbe15352a14bf001396f22344f7ed5fe24481ac133ce6de65fe5d721e223b08a861245be033a82469d2ce943aac84d9a111b542e6c63b40e75 Result: PLAN_DONE

  输出(PLAN_DONE)表示磁盘平衡任务已完成。如果要验证磁盘平衡器的有效性,可以再次使用df -h查看跨两个本地磁盘的数据分布情况:

  # df -h Filesystem Size Used Avail Use% Mounted on …. /var/disk1 5.8G 2.1G 3.5G 37% /mnt/disk1 /var/disk2 5.8G 1.6G 4.0G 29% /mnt/disk2

  只要输出确认磁盘平衡器成功地将磁盘空间使用量差异减少到10%以下,那就意味着任务完成了。

  结论

  凭借HDFS-1312中的DataNode内部磁盘平衡器功能,CDH 5.8.2及更高版本中的HDFS提供了一个全面的存储容量管理解决方案,该解决方案能够跨越节点(balancer),存储类型(mover), 在单个DataNode的磁盘(Disk Balancer)移动数据。

关键字: hdfs , hadoop , 大数据
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

  • 推荐文章
  • 推荐产品
行车视线文章推荐

首页 评论 返回顶部