Hadoop常用指令 - twilighthook/BigDataNote GitHub Wiki

1. 執行Hadoop hdfs

• 初始化namenode，並執行

hdfs namenode -format
{HADOOP_PATH}/sbin/start-all.sh

• 停止運行

{HADOOP_PATH}/sbin/stop-all.sh

---

2. 列出文件 ls

• 列出hdfs系統下面的文件

hadoop fs -ls /

• 列出hdfs所有文件

hadoop fs -ls -R /

---

3. 資料新增刪除

• 在hdfs新建資料夾

hadoop fs -mkdir /folder_name

• 在hdfs移除資料(或資料夾)

hadoop fs -rm (-r) {filename}

• 把資料放的hdfs系統

hadoop fs -put {local file or dir} {hdfs dir}

---

4. hdfs之間檔案的複製

• 複製檔案從A到B

hadoop fs -cp {hdfsFrom} {hdfsTo}

*平行複製檔案

hadoop distcp {hdfsFrom} {hdfsTo}