介紹 FileSpilt Mapping Reducing Hadoop HDFS分散式檔案系統

1. Github：https://github.com/a192921/MapReduce
MapReduce

2. 1. 介紹
2. FileSpilt
3. Mapping
4. Reducing
5. Hadoop
6. HDFS分散式檔案系統
CONTENTS

3. 介紹
• MapReduce基本介紹
• MapReduce流程圖
• FileSpilt
• Mapping
• Reducing

4. 介紹
www.islide.cc 4
雲端技術
MapReduce，最早是由 Google 提
出，後來也運用在開源的雲端技
術 Hadoop 中。
分散式
雲算
MapReduce 是雲端運算的關鍵技術，
將要執行的問題，拆解
成 Map 和 Reduce 的方式來執行，
以達到分散運算的效果。

5. 介紹
www.islide.cc 5
MapReduce流程圖
input
FileSpilt Mapping Reducing
Result

6. FileSpilt
www.islide.cc 6
• 將檔案切割。
• 原始檔案resourceFile (test.txt)

7. Mapping
www.islide.cc 7
• 從主節點(master node)輸入一組input，此input是一組key/value，將這
組輸入切分成好幾個小的子部分，分散到各個工作節點(worker nodes)
去做運算。
Input(value) Output(key=>value)
C D C D C D => 2
D C => 1
B C D A B C =>1
C D =>1
D A => 1
C D A B C D => 1
D A => 1
A B =>1

8. Reducing
www.islide.cc 8
• 主節點(master node)收回處理完的子部分，將子部分重新組合產生輸出。
input(key=>value) Output(key => value)
A B =>1 A B => 1
B C =>1 B C => 1
C D =>1 C D => 4
C D => 1
C D => 2
D C => 1 D C => 1
D A => 1 D A => 2
D A => 1

9. Hadoop
• Hadoop基本介紹
• HDFS分散式檔案系統

10. Hadoop基本介紹
www.islide.cc 10
• 可以儲存超過一個伺服器所能容納的超大檔案，還能同時儲存、處理、分析幾千
幾萬份這種超大檔案，所以每每提到大數據，便會提到 Hadoop 這套技術。
• 能夠儲存並管理大量資料的雲端平台，為 Apache 軟體基金會底下的一個開放原
始碼、社群基礎、而且完全免費的軟體。

11. HDFS分散式檔案系統
www.islide.cc 11
• Hadoop Distributed File System
• 在分散式儲存環境中，提供單一的目錄系統。
• 資料以Write-once-read-many 存取，一旦建立、寫入，就不允許修改。
• 每個檔案被分割成許多block，每個block複製許多複本(replica)，並分散儲存於不
同的DataNode上。

12. HDFS分散式檔案系統
www.islide.cc 12
• NameNode：負責維護HDFS的檔案名
稱空間 (File System Namespace)。
• DataNode：實際儲存檔案區塊(Blocks)
的伺服器。

13. 資料來源
www.islide.cc 13
1. Jewel，2015年3月12日。大數據、數位學習、雲端運算、 數據、科技、網路、網路技術、
雲端運算，認識大數據的黃色小象幫手-Hadoop 。2018年8月25日，取自
https://www.inside.com.tw/2015/03/12/big-data-4-hadoop
2. Wea，2008年9月25日。5. MapReduce, Hadoop。2018年8月25日，取自
https://sls.weco.net/CollectiveNote20/MR
3. 顏孜羲，2015年5月19日。MapReduce 簡單介紹與練習。2018年8月26日，取自
https://www.slideshare.net/d2207197/mapreduce-48359655

14. Email:ac192921@gmail.com