在Hadoop上執行MapReduce - twilighthook/BigDataNote GitHub Wiki

在上篇文章我們寫好了MapReduce的文章，且準備好了一份txt資料來執行 這篇就是要來實作在Hadoop下如何運用寫好的code

---

1. 配置資料hdfs上

首先你必須有一個Hadoop環境(單節點Hadoop建置教學)，並將txt放置到hdfs上面

hadoop fs -mkdir /MapReduce /MapReduce/Input 
hadoop fs -put LasTempData.txt /MapReduce/Input

---

我們可以到console看一下檔案是否有配置上去

http://{your_ip}:9870/explorer.html#/<br>

這是Hadoop內建的console，提供了蠻多hdfs內的狀態

2. 執行MapReduce

接下來可以開始執行MapReduce了 (假如class在某個package之下要指定，EX : com.test.DoTempMapReduce)

hadoop jar DoTempMapReduce.jar DoTempMapReduce /MapReduce/Input/LasTempData.txt /MapReduce/Result

3. 執行完畢

執行完畢後，可以回到console發現MapReduce裡有新的Result 在裡面可以看到有兩個文檔，一個是success還有一個內容是

 2013	105
 2014	101
 2015	102
 2016	103
 2017	104
 2018	103
 2019	58

這就是我們主要要輸出的內容，歷年溫度的最高溫