代码之家  ›  专栏  ›  技术社区  ›  Djeah

知道hadoop中数据节点的磁盘空间吗?

  •  3
  • Djeah  · 技术社区  · 7 年前

    我试过这个命令

    dfs -du -h /
    

    但我似乎没有权限对许多目录执行它,因此无法获得实际的磁盘空间。

    4 回复  |  直到 7 年前
        1
  •  4
  •   PradeepKumbhar    7 年前

    http://namenode:50070/dfshealth.html#tab-datanode

    ---&燃气轮机;这将为您提供有关datanode的所有详细信息。

    从命令行:

    要获取每个数据节点的磁盘空间,请执行以下操作:

    sudo -u hdfs hdfs dfsadmin -report

    sudo -u hdfs hdfs dfs -du -h /

    / 目录

        2
  •  1
  •   Rahul    7 年前

    您可以在namenode UI的datanodes选项卡中查看有关所有DataNode及其磁盘使用情况的信息。

    http://namenode-ip:50070

    enter image description here

        3
  •  0
  •   SachinJose    7 年前

    如果您使用的是配置为简单安全的Hadoop集群,则可以执行以下命令来获取数据节点的使用情况。

    export HADOOP_USER_NAME=hdfs ; 
    

    *上述命令可用于在简单安全中获得管理权限,如果您使用任何其他用户进行hdfs管理,请使用相应的hdfs管理用户替换hdfs。

    hadoop dfsadmin -report 
    

    另一种选择是登录到相应的datanode并执行以下unix命令以获得该服务器的磁盘利用率。

    df -h
    
        4
  •  0
  •   Eugene Gr. Philippov    5 年前

    hduser@hadoop-node1:~$ hdfs dfs -df
    Filesystem                          Size          Used     Available  Use%
    hdfs://hadoop-node1:54310  3000457228288  461352007680  821808787456   15%
    hduser@hadoop-node1:~$
    

    对于可读数字,请使用:

    hduser@hadoop-node1:~$ hdfs dfs -df -h
    Filesystem                  Size     Used  Available  Use%
    hdfs://hadoop-node1:54310  2.7 T  429.7 G    765.4 G   15%
    hduser@hadoop-node1:~$