hadoop fs 命令大全（解析和例子）

太戊真人

10549人浏览 · 2021-12-08 15:33:03

太戊真人 · 2021-12-08 15:33:03 发布

hadoop fs [generic options]
hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录
---------------------------------------------------------------------------------------
[-appendToFile <localsrc> ... <dst>]
将本地文件的内容追加到给定的dst文件。
hadoop fs -appendToFile <localsrc> <dst>
---------------------------------------------------------------------------------------
[-cat [-ignoreCrc] <src> ...]
用控制台查看文件内容，

hadoop fs -cat -ignoreCrc /tmp/luan/test1.txt

---------------------------------------------------------------------------------------
[-checksum <src> ...]
将<src>的文件校验和信息转储到标准输出。

hadoop fs -checksum /tmp/luan/test1.txt

MD5-of-0MD5-of-512CRC32C 00000200000000000000000083e021bffeef941323d094d386551844
-----------------------------------------------------------------------------------------
[-chgrp [-R] GROUP PATH...]
hadoop fs -chgrp [-R] GROUP URI [URI …]
改变文件所属的组。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
----------------------------------------------------------------------------
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

hadoop fs -chmod 755 /tmp/luan/test1.txt

改变文件的权限。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
----------------------------------------------------------------------------------
[-chown [-R] [OWNER][:[GROUP]] PATH...]

hadoop fs -chown [-R] hadoop:hadoop /tmp/luan/test1.txt

改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是超级用户。
----------------------------------------------------------------------------------
[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
从本地系统拷贝文件到 HDFS。

hadoop fs -copyFromLocal /hadoop/test1.txt  /tmp/luan
-p  保留访问和修改时间，所有权和模式                              
-f  如果目标已经存在，则覆盖目标。
-t <thread count> 要使用的线程数，默认为1。
-l 允许DataNode将文件延迟持久化到磁盘。复制因子为1。
-d 跳过临时文件的创建

----------------------------------------------------------
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
从 HDFS 拷贝文件到本地文件系统，文件匹配 pattern，若是多个文件，则 dst 必须是目录
hadoop fs –copyToLocal <localsrc> … <dst>
-----------------------------------------------------------------------------------------------
统计文件(夹)数量
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]

hadoop fs -count /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit

-q 显示详细的配额和对配额的使用
hadoop fs -count -q /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- none inf none inf 1 11 610568088 /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 大小以M显示
hadoop fs -count -h /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-v 显示标题行。
hadoop fs -count -v /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-t 选项显示按存储类型划分的配额。它应该与-q或-u选项一起使用，否则它将被忽略。
hadoop fs -count -t /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-u 选项显示配额和对配额的使用
hadoop fs -count -u /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- none inf none inf /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-x 选项将不计算快照
hadoop fs -count -x /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-e 显示擦除编码策略。
hadoop fs -count -e /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- 1 11 610568088 EC: /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-------------------------------------------------------------------------------------------------
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]

hadoop fs -cp /tmp/luan/test1.txt /tmp/luantest

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。
-p 保留访问和修改时间，所有权和模式
-f 如果目标已经存在，则覆盖目标。
-d 跳过临时文件的创建
----------------------------------------------------------------------------------------------
[-createSnapshot <snapshotDir> [<snapshotName>]]
在目录上创建快照
hadoop fs -createSnapshot <snapshotDir> test1
[-deleteSnapshot <snapshotDir> <snapshotName>]
删除目录下的快照
hadoop fs -createSnapshot <snapshotDir> test1
[-renameSnapshot <snapshotDir> <oldName> <newName>]
将快照从oldName重命名为newName
hadoop fs -renameSnapshot <snapshotDir> <oldName> <newName>
-------------------------------------------------------------------------
[-df [-h] [<path> ...]]
显示文件系统的容量、空闲空间和已用空间。如果文件系统有多个分区，
并且没有指定到特定分区的路径根分区的状态将会显示出来。
hadoop fs -df /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 转化为M为单位
hadoop fs -df -h
hdfs://nameservice1 17.1 T 12.6 T 3.6 T 73%
---------------------------------------------------------------------------
查看文件所占空间大小
-du [-s] [-h] [-v] [-x] <path> ..
原始命令
hadoop fs -du /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-s 目录下所有文件总和大小
hadoop fs -du -s /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 转化为M为单位
hadoop fs -du -h /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-v 增加字段目录
hadoop fs -du -v /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-x 不统计快照。
hadoop fs -du -x /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-------------------------------------------------
[-expunge]
从垃圾中删除比保留阈值更老的文件
hadoop fs -expunge
--------------------------------------------------------------------------------------------------
[-find <path> ... <expression> ...]
hadoop fs -find /tmp/luan test
查找与指定表达式和匹配的所有文件，将选定的操作应用于它们。
如果没有指定</path>然后默认为当前工作目录。
如果没有表达式，则默认为-print。
--------------------------------------------------------------------------------------------------
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
从 DFS 拷贝文件到本地文件系统，文件匹配 pattern，若是多个文件，则 dst 必须是目录。
hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>：
-f       如果目标已经存在，则覆盖目标
hadoop fs –get -f <src> <localdst>：
-p       保留访问和修改时间、所有权和方式。
hadoop fs –get -p <src> <localdst>：
----------------------------------------------------------------------
[-getfacl [-R] <path>]
显示文件和目录的访问控制列表，如果一个目录中有默认的ACL，那么getfacl也显示默认的ACL。
-R 递归列出所有文件和目录的acl。
hadoop fs -getfacl -R /tmp/luan
ACL：访问控制列表
--------------------------------------------------------------------------------
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
设置文件和目录的访问控制列表。

hadoop fs -setfattr -n hadoop -v 755 /tmp/luan/test.txt
----------------------------------------------------------------------
[-getfattr [-R] {-n name | -d} [-e en] <path>]
显示文件的扩展属性名称和值(如果有的话)
hadoop fs -getfattr -d /tmp/luan/test1.txt

-R 递归列出所有文件和目录的属性。
-n name 指定扩展属性名称
-d 指定扩展属性值
-e <encoding> 指定扩展属性编码 eg："text","hex", and "base64".
---------------------------------------------------------------------------------------
[-setfattr {-n name [-v value] | -x name} <path>]
设置文件或目录的扩展属性名称和值。
hadoop fs -setfattr -n "user.test" -v f1000 /tmp/luan/test1.txt
-n name   name扩展属性名称。
hadoop fs -setfattr -n name /tmp/luan/test.txt
-v value 如果参数用双引号括起来，
那么这个值就是引号内的字符串。如果参数是
前缀为0x或0x，则将其作为十六进制数。如果
参数以0或0s开头，然后将其作为base64
编码。
hadoop fs -setfattr -v value /tmp/luan/test.txt
-x name 移除扩展属性。

----------------------------------------------------------------------
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
hadoop fs –getmerge <src> <localdst>：顾名思义，从 DFS 拷贝多个文件、合并排序
-nl 在每个文件末尾添加一个换行符。
-skip-empty-file 不为空文件添加新行字符。
----------------------------------------------------------------------
[-help [cmd ...]]
hadoop fs -help
-------------------------------------------------
查看目录：hadoop fs -ls /
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
hadoop fs -ls /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
[-C] C只显示文件和目录的路径。
hadoop fs -ls -C /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-d 目录以普通文件的形式列出。
hadoop fs -ls -d /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-h 大小以M显示
hadoop fs -ls -h /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-q 去掉不可打印字符
hadoop fs -ls -q /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-R 递归，显示当前目录下包含的子目录中的文件
hadoop fs -ls -R /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-t 根据修改时间排序文件(最近的第一个)。
hadoop fs -ls -t /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-S 文件由大到小排列
hadoop fs -ls -S /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-r 按文件序号倒排，倒序排序。
hadoop fs -ls -r /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-u 时间为最近一次访问时间
hadoop fs -ls -u /user/hive/warehouse/dw.db/dw_zssys_web_fin_cav_ridoc
-e 显示文件和目录的擦除编码策略
hadoop fs -ls -e /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-------------------------------------------------------------------------------------
[-mkdir [-p] <path> ...]
-p参数可以根据需要创建缺失的父目录。
hadoop fs -mkdir /luuu
hadoop fs -mkdir -p tmp/luan/ru
-------------------------------------------------------------------------------------
[-moveFromLocal <localsrc> ... <dst>]
从本地系统剪切文件到 HDFS。
hadoop fs –moveFromLocal <localsrc> … <dst>：
---------------------------------------------------------
[-moveToLocal <src> <localdst>]
从HDFS剪切文件到本地系统。
hadoop fs –moveToLocal <src> <localdst>
-------------------------------------------------------------
[-mv <src> ... <dst>]
将匹配指定文件模式<src>的文件移动到目标<dst>。</dst></src>
当移动多个文件时，目标必须是一个目录。
hadoop fs –mv <src> ... <dst>：
---------------------------------------------------------------------------------------
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
将本地文件系统中的文件复制到fs中。如果文件已经存在，复制将失败
hadoop fs –put <localsrc> … <dst>：
-p 保留访问和修改时间，所有权和模式。
-f 如果目标已经存在，则覆盖目标。
-l 允许DataNode将文件延迟持久化到磁盘。
-d 跳过临时文件的创建
---------------------------------------------------------------------------------------

---------------------------------------------------------------
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
hadoop fs -rm -rR /tmp/luan/   递归删除文件目录及文件
hadoop fs -rm -f /tmp/luan/   删除文件文件,不能删除目录
-skipTrash 选项如果启用，将绕过垃圾，并立即删除
hadoop fs -rm -skipTrash /tmp/luan/
-safely 选项需要安全确认
hadoop fs -rm -safely /tmp/luan/
---------------------------------------------------------------------
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
移除由每个目录参数指定的目录项，前提是它是空的。
hadoop fs -rmdir /tmp/luan/

---------------------------------------------------------------------------------------
[-setrep [-R] [-w] <rep> <path> ...]
设置文件的备份级别。如果是一个目录，则命令</path>递归地更改目录树下所有文件的复制因子
EC文件在这里将被忽略。
hadoop fs -setrep 3 /tmp/luan/test.txt
-w请求命令等待复制完成。这可能要花很长时间。
hadoop fs -setrep -w 3 /tmp/luan/test.txt
-R被接受为向后兼容。后台运行
hadoop fs -setrep -R 3 /tmp/luan/test.txt
--EC文件：EC文件格式是易语言的模块文件，易语言模块包括子程序、常量、自定义数据类型等，
--可以在程序中直接调用，但调用时必须遵守模块使用的要求，EC文件必须使用易语言才可以打开查看。
---------------------------------------------------------------------------------------
[-stat [format] <path> ...]
以指定格式,打印文件/目录在<路径>的统计信息
%A %a 权限
文件大小 (%b)，类型(%F)，所有者的组名称(%g)，
名称(%n)，块大小(%o)，复制(%r)，用户名
所有者(%u)，访问日期(%x， %X)。
修改日期(%y， %Y)。
%x和%y显示UTC日期为“yyyy-MM-dd HH:mm:ss”和
%X和%Y显示自1970年1月1日UTC以来的毫秒数。
如果没有指定格式，默认使用%y。
hadoop fs -stat %A /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
---------------------------------------------------------------------------------------
[-tail [-f] <file>]
显示文件的最后1KB。
hadoop fs -tail /tmp/luan/test1.txt
-f 显示在文件增长时附加的数据。
hadoop fs -tail -f /tmp/luan/test1.txt
---------------------------------------------------------------------------------------
[-test -[defsz] <path>]
回答关于的各种问题，并通过退出状态给出结果。</path>
hadoop fs -test /tmp/luan/test.txt
-d如果是一个目录则返回0。</path>
hadoop fs -test -d /tmp/luan/test.txt
-e如果<路径>存在，返回0。
hadoop fs -test -e /tmp/luan/test1.txt
-f如果是一个文件则返回0。</path>
hadoop fs -test -f /tmp/luan/test.txt
-s如果文件<路径>的大小大于零字节则返回0。
hadoop fs -test -s /tmp/luan/test.txt
-w如果文件存在并且授予了写权限，则返回0。</path>
hadoop fs -test -w /tmp/luan/test.txt
-r如果文件存在并且授予读权限，则返回0。</path>
hadoop fs -test -r /tmp/luan/test.txt
-z如果文件<路径>的大小为零则返回0，否则返回1。
hadoop fs -test -z /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-text [-ignoreCrc] <src> ...]
获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream和Avro。
hadoop fs -text /tmp/luan/test1.txt
---------------------------------------------------------------------------------------
[-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
更新<路径> to指定的文件的访问和修改时间为当前时间。
如果文件不存在，则创建一个零长度的文件，当前时间作为<路径>的时间戳。
hadoop fs -touch /tmp/luan/test.txt
-a 只修改访问时间
hadoop fs -touch -a /tmp/luan/test.txt
-m 只修改修改时间
hadoop fs -touch -m /tmp/luan/test.txt
-t TIMESTAMP使用指定的时间戳(格式为yyyyMMddHHmmss)代替
hadoop fs -touch -t /tmp/luan/test.txt
-c 不创建任何文件
hadoop fs -touch -c /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-touchz <path> ...]
在<路径>处创建一个长度为零的文件，并以当前时间作为时间戳<路径>。如果文件存在且长度不为零，则返回错误
hadoop fs -touchz /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-truncate [-w] <length> <path> ...]
将匹配指定文件模式的所有文件截断到指定的长度。
-w 请求命令等待块恢复完成，如果必要的。
hadoop fs -truncate -w 100 /tmp/luan/test.txt
---------------------------------------------------------------------------------------




[-usage [cmd ...]]