第七章 Hadoop 常用的 shell 命令

<code># 启动 HDFS 集群
[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-dfs.sh
​
# 启动 YARN 集群 

[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-yarn.sh
​
# 查看 HDFS 系统根目录
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -ls /
​
# 创建文件夹
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mkdir /user
​
# 级联创建文件夹
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mkdir /user/bigdata/input
​
# 查看hsdf系统根目录下的所有文件包括子文件夹里面的文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -ls -R /user
​
# 上传文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -put wcinput/wc.input /user/bigdata/input
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -copyFromLocal wcinput/wc.input /user/bigdata/input
​
# 下载文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -get /user/bigdata/input/wc.input ./
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -get /user/bigdata/input/wc.input ./new_wc.input
​
# 合并下载
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -getmerge /user/bigdata/input/wc.input /user/bigdata/word.txt ./words.txt
​
# 从HDFS一个路径拷贝到HDFS另一个路径
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -cp /user/bigdata/input/wc.input /user
​
# 在HDFS目录中移动文件
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -mv /user/bigdata/input/wc.input /user/bigdata
​
# 删除文件或文件夹
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rm /user/bigdata/input/wc.input
​
# 删除空目录
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rmdir /user/bigdata/input/
​
# 强制删除
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -rm -r /user/bigdata/input/
​
# 从本地剪切文件到HDFS上 

[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -moveFromLocal hello.txt /user/bigdata/input
​
# 查看文件内容
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -cat /user/bigdata/input/wc.input
​
# 显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du /user/bigdata/input
​
# 显示文件的大小
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du -s /user/bigdata/input
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -du -s -h /user/bigdata/input
​
# 清空回收站（慎用，跟开发沟通好，以免不能恢复）
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -expunge
​
# 改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
# 这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -setrep -w 3 -R /user/hadoop/dir1
​
# 将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。
[bigdata@bigdata101 hadoop-2.7.5]$ hadoop fs -tail /user/bigdata/input/wc.input
​
# test
# 使用方法：hadoop fs -test -[ezd] URI
# 选项：
    -e 检查文件是否存在。如果存在则返回0。
    -z 检查文件是否是0字节。如果是则返回0。  

    -d 如果路径是个目录，则返回1，否则返回0。
​
# 关闭安全模式
[bigdata@bigdata101 hadoop-2.7.5]$ hdfs dfsadmin -safemode leave/<code>

閱讀更多 大數據漫路求索 的文章

關鍵字: Hadoop HDFS 台时