Hadoop中HDFS 的常用命令

大数据技术 潘老师 3年前 (2021-02-24) 1550 ℃ (0) 扫码查看

我们已经知道 HDFS 是分布式存储,可以存放大批量的文件,如果要对文件进行操作,可以通过下面的命令来完成,如读取文件、上传文件、删除文件和建立目录等。

1.对文件的操作

HDFS 的命令都在 Hadoop 的 bin 目录下,如果已经设置好 Hadoop 的环境变量,可以直接输入 HDFS 命令行,常见的相关命令如下。

1.1.列出 HDFS 下的文件
hdfs -ls [-d] [-h] [-R] [<path> ...]

·-d:显示目录。
·-h:以易读的方式显示文件的大小。
·-r:递归列出目录的内容。

1.2.上传文件
hdfs -put [-f] [-p] <localsrc> ... <dst>

·-p:保留访问和修改时间、所有权和模式。
·-f:如果文件已存在,可以覆盖。

1.3.文件被复制到本地系统中

当复制多个文件时,目标必须是一个目录。代码如下:

hdfs -get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>

·-p:保留访问和修改时间、所有权和模式。

1.4.删除文档
hdfs -rm [-f] [-r|-R] [-skipTrash] <src> ... 

·-f:如果该文件不存在,则不显示诊断消息或修改退出状态以反映错误。
·-r:递归列出目录的内容。

1.5.查看文件
hdfs -cat [-ignoreCrc] <src> ... 
1.6.建立目录
hdfs -mkdir [--ignore-fail-on-non-empty] <dir> ... 
1.7.复制文件
hdfs -copyFromLocal [-f] [-p] <localsrc> ... <dst> 

·-p:保留访问和修改时间、所有权和模式。
·-f:如果文件已存在,可以覆盖。

2.管理与更新

上面的命令是对文件的操作,接下来介绍关于 HDFS 的常见情景和管理步骤。

2.1.执行基本信息

查看 HDFS 的基本统计信息。代码如下:

hdfs dfsadmin -report [-live] [-dead] [-decommissioning] 

2.2.退出安全模式
NameNode 在启动时会自动进入安全模式。
安全模式是 NameNode 的一种方式,在这个阶段,文件系统不允许有任何修改,系统显示 Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可。也可以通过下面的命令退出安全模式。代码如下:

hdfs dfsadmin -safemode leave 

版权声明:本站文章,如无说明,均为本站原创,转载请注明文章来源。如有侵权,请联系博主删除。
本文链接:https://www.panziye.com/java/bigdata/1935.html
喜欢 (1)
请潘老师喝杯Coffee吧!】
分享 (0)
用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi,您需要填写昵称和邮箱!

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】