一般而言，常在windows 上開發hadoop 的程式，會用的方法都是: 先開發程式，打包成jar，丟到 linux 平台 run ，有錯再回來修改，打包，run ，無限循環 以下的方法可以讓你直接在 eclipse 上直接run ，並立馬看結果與錯誤訊息等，都可以在 eclipse 上直接看，並且可使用 debug 模式了解每一行程式運作的過程

1. 加速開發!
在windows開發hadoop程式
直接運行 map/reduce
陳威宇

2. 狀況!!
• 一般而言，常在windows 上開發hadoop 的程式，會用的方法都是，先開發
程式，打包成jar，丟到 linux 平台 run ，有錯再回來修改，打包，run ，無限
循環
• 以下的方法可以讓你直接在 eclipse 上直接run ，並立馬看結果與錯誤訊息等，
都可以在 eclipse 上直接看，並且可使用 debug 模式了解每一行程式運作的
過程
開發/修正
hadoop map-
reduce 程式
Export/Build
package 成 jar
上傳 hadoop 平
台
執行 hadoop jar
等待運作結果
找log 察錯誤
驗證結果
正
確
(15s) (5s) (1min~) (1min~)
(1min~)
開發/修正
hadoop map-
reduce 程式
執行 hadoop jar
等待運作結果
找log 察錯誤
驗證結果
正
確
(2s)
(10s) (10s)
eclipse eclipse linux linux linux
linux
eclipse eclipse eclipse
eclipse
Windows 上開發 map reduce 程式 => 需跨兩個平台，run一次至少 3分鐘以上
直接運行 => 直接在編輯器上，run 一次 22 秒 左右完成
節省 87%以上
的執行時間

3. 四步驟，即可在windows 上編譯運作hadoop
mapreduce 程式
此方法可以提升在
windows 上開發
mapreduce 程式的
productivity
Ps : Linux 上用
eclipse 開發，用原
生的hadoop source
即可配置，直接運
行

4. • 下載 http://crawlzilla.nchc.org.tw/hadoop/hadoop_lib_workspace.zip
• 到指定的目錄下，如 D:waue
• 解壓縮後，D:wauehadoop_lib_workspace 多了兩個資料夾 bin , lib
1. 設定 hadoop windows library
╚ 1.1下載 hadoop windows lib 編譯檔
注意!! 在此提供的是 windows 7 / 64 bit 編譯後的 hadoop.dll 與 winutils.exe ，win 7 /
32bit 應該無法使用，請自行在網路上找別人編譯過檔案來放

5. • 將剛剛下載的 D:wauehadoop_lib_workspacebin 加入到 user path 中
1. 設定 hadoop windows library
╚ 1.2 設定 user path
此步驟可以解決 Error
Message : .NativeIO$Windows.access0(Ljava/lang/String;I)Z

6. • 建立 java專案 ( Source code 可參考以下，則一即可)
– https://dzone.com/articles/hadoop-basics-creating
– https://hadoop.apache.org/docs/current/hadoop-
mapreduce-client/hadoop-mapreduce-client-
core/MapReduceTutorial.html
2. 建立 eclipse hadoop project
╚ Build project

7. • Add external jars => D:wauehadoop_lib_workspacelib
2. 建立 eclipse hadoop project
╚ Add external jars (1)

8. • Add external jars => D:wauehadoop_lib_workspacelib
2. 建立 eclipse hadoop project
╚ Add external jars (2)

9. • Add external class => D:wauehadoop_lib_workspacebin
2. 建立 eclipse hadoop project
╚ Add external class (1)

10. • Add external class => D:wauehadoop_lib_workspacebin
2. 建立 eclipse hadoop project
╚ Add external class (2)

11. • HADOOP_HOME => D:wauehadoop_lib_workspace
3. run config 中 設定
╚ 設定 hadoop_home

12. 4. run java application

13. 結果
可以達到跟編寫一般java 程式般，簡單開發map
reduce 程式