SlideShare a Scribd company logo
組員:林子皓/4010D029/電通三B
陳銘鴻/4010D016/電通三B
陳書玄/4010D087/電通三B
陳郁明/4010D107/電通三B
使用Ubuntu架設Hadoop
目錄
 一.主題
 二.Hadoop 簡介
 三Hadoop架設環境
 三.系統架構
 四.預定成果
 五.分工與時程
主題
 我們將採用四台Ubuntu作業系統之電腦架設
Hadoop,達到架設雲端計算系統的目的,並以網
頁監控其運作狀況 ,Hadoop的優點在於可將處理
資料分散到各電腦同時處理,讓使用者可以快速得
到回應,另外因為Hadoop具有Hadoop Distributed
File System(HDFS)的機制,它將運算資料在每一
個可運行的電腦間複製並備份,可以避免資料因為
電腦硬體或系統的故障而遺失或損壞。
Hadoop簡介
 Hadoop是Apache軟體基金會所研發的開放源碼平
行運算編程工具和分散式檔案系統。
 Hadoop包含兩大部分1.HDFS(Hadoop Distributed
File System) 2.MapReduce。
 1.HDFS:分散式檔案系統。
 2.MapReduce:分散式資料處理模式及執行環境。
Hadoop架設環境
 四台使用Ubuntu作業系統電腦
 四台電腦都須建立SSH金鑰安全連線
 須架設一個LAN使電腦都能互通
 設定HDFS與MapReduce的環境變數
系統架構
系統架構一HDFS
 將分散的儲存資源整合成一個具容錯能力、高效率
且超大容量的環境
 Hadoop運算產生的資料都是存放在HDFS
1.NameNode:為系統中Master,負責各檔案的屬性
權限管理,記錄DataNodes檔案存放位置並負責
DataNode對檔案的讀寫
2.DataNode:多台Slave,負責執行檔案的讀寫與運
算
系統架構一HDFS
系統架構一MapReduce
1.Jobtracker:程序規劃,將工作分派給數個
TaskTracker
2.Tasktracker:執行Jobtracker所分配的工作並回報
運算結果給Jobtracker
系統架構一MapReduce
預定成果
 我們將使用virtualbox來模擬四台電腦,並安裝
Ubuntu作業系統來架設Hadoop,四台電腦必須設
定同一個LAN,並建立SSH金鑰安全連線,於
Master進行環境設定並複製到其他三台Slave,之
後設定HDFS及MapReduce的環境變數。
 當使用者於Master輸入欲運算之資料時,
MapReduce會決定由哪幾台Slave做運算,HDFS
將該運算資料切割後分配到指定的Slave做運算並
同時備份,運算完畢回報給Master,使用者即可得
到運算結果。
分工與時程
林子皓 陳銘鴻 陳書玄 陳郁明
簡報製作 . . .
彙整資料 . . .
成品實作 . .
心得感想
 這是我們第一次接觸並動手架設有關雲端的東西,
Ubuntu與Hadoop都是第一次使用的狀態,為了瞭
解其環境設定花費了不少時間,也學習到了如何架
設一個雲端運算系統,雖然目前還不太熟悉,不過
我們會繼續研究,謝謝老師指導。

More Related Content

What's hot

Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档
xuebao_zx
 
HDInsight for Hadoopers
HDInsight for HadoopersHDInsight for Hadoopers
HDInsight for Hadoopers
Kuo-Chun Su
 
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)acqua young
 
Use Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in SuningUse Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in Suning
Alluxio, Inc.
 
Hadoop程式開發環境
Hadoop程式開發環境Hadoop程式開發環境
Hadoop程式開發環境立鼎 蘇
 
Mysql企业备份发展及实践
Mysql企业备份发展及实践Mysql企业备份发展及实践
Mysql企业备份发展及实践
maclean liu
 
Nosql三步曲
Nosql三步曲Nosql三步曲
Nosql三步曲
84zhu
 
分区表基础知识培训
分区表基础知识培训分区表基础知识培训
分区表基础知识培训maclean liu
 
架設Hadoop叢集以及mapreduce開發環境
架設Hadoop叢集以及mapreduce開發環境架設Hadoop叢集以及mapreduce開發環境
架設Hadoop叢集以及mapreduce開發環境
Phate334
 
TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例
maclean liu
 
Hue使用及规范
Hue使用及规范Hue使用及规范
Hue使用及规范
edwardsbean
 
Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)
家雋 莊
 
Cloudera introduction
Cloudera introductionCloudera introduction
Cloudera introduction
Phate334
 
Ceph in UnitedStack
Ceph in UnitedStackCeph in UnitedStack
Ceph in UnitedStack
Rongze Zhu
 
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
maclean liu
 
Big Java, Big Data
Big Java, Big DataBig Java, Big Data
Big Java, Big Data
Kuo-Chun Su
 
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
maclean liu
 
基于Ubuntu 12.04 LTS Server的无盘工作站
基于Ubuntu 12.04 LTS Server的无盘工作站基于Ubuntu 12.04 LTS Server的无盘工作站
基于Ubuntu 12.04 LTS Server的无盘工作站Shawn Zhung
 
Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享
alipay
 

What's hot (20)

Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档
 
HDInsight for Hadoopers
HDInsight for HadoopersHDInsight for Hadoopers
HDInsight for Hadoopers
 
Asm+aix
Asm+aixAsm+aix
Asm+aix
 
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)
Install oracle ebs r12.1.1 on OEL5.6 x86(include demo)
 
Use Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in SuningUse Alluxio to Unify Storage Systems in Suning
Use Alluxio to Unify Storage Systems in Suning
 
Hadoop程式開發環境
Hadoop程式開發環境Hadoop程式開發環境
Hadoop程式開發環境
 
Mysql企业备份发展及实践
Mysql企业备份发展及实践Mysql企业备份发展及实践
Mysql企业备份发展及实践
 
Nosql三步曲
Nosql三步曲Nosql三步曲
Nosql三步曲
 
分区表基础知识培训
分区表基础知识培训分区表基础知识培训
分区表基础知识培训
 
架設Hadoop叢集以及mapreduce開發環境
架設Hadoop叢集以及mapreduce開發環境架設Hadoop叢集以及mapreduce開發環境
架設Hadoop叢集以及mapreduce開發環境
 
TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例TomCat迁移步骤简述以及案例
TomCat迁移步骤简述以及案例
 
Hue使用及规范
Hue使用及规范Hue使用及规范
Hue使用及规范
 
Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)
 
Cloudera introduction
Cloudera introductionCloudera introduction
Cloudera introduction
 
Ceph in UnitedStack
Ceph in UnitedStackCeph in UnitedStack
Ceph in UnitedStack
 
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
【诗檀软件 郭兆伟-技术报告】跨国企业级Oracle数据库备份策略
 
Big Java, Big Data
Big Java, Big DataBig Java, Big Data
Big Java, Big Data
 
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
dbdao.com 汪伟华 my-sql-replication复制高可用配置方案
 
基于Ubuntu 12.04 LTS Server的无盘工作站
基于Ubuntu 12.04 LTS Server的无盘工作站基于Ubuntu 12.04 LTS Server的无盘工作站
基于Ubuntu 12.04 LTS Server的无盘工作站
 
Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享
 

Similar to 使用Ubuntu架設hadoop

What could hadoop do for us
What could hadoop do for us What could hadoop do for us
What could hadoop do for us
Simon Hsu
 
Hadoop 簡介 教師 許智威
Hadoop 簡介 教師 許智威Hadoop 簡介 教師 許智威
Hadoop 簡介 教師 許智威
Awei Hsu
 
Hdfs
HdfsHdfs
Hdfs
baggioss
 
Hdfs
HdfsHdfs
Hdfs
baggioss
 
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWHadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWJazz Yao-Tsung Wang
 
Hdfs原理及实现
Hdfs原理及实现Hdfs原理及实现
Hdfs原理及实现
baggioss
 
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
Anna Yen
 
Hadoop-分布式数据平台
Hadoop-分布式数据平台Hadoop-分布式数据平台
Hadoop-分布式数据平台
Jacky Chi
 
Hadoop 設定與配置
Hadoop 設定與配置Hadoop 設定與配置
Hadoop 設定與配置
鳥 藍
 
Introduction to Hadoop
Introduction to HadoopIntroduction to Hadoop
Introduction to Hadoop
TechParty@UIC
 
打開窗,讓大象跨進來 - Microsoft HDInsight
打開窗,讓大象跨進來 - Microsoft HDInsight打開窗,讓大象跨進來 - Microsoft HDInsight
打開窗,讓大象跨進來 - Microsoft HDInsight
Kuo-Chun Su
 
Hadoop开发者入门专刊
Hadoop开发者入门专刊Hadoop开发者入门专刊
Hadoop开发者入门专刊
liangxiao0315
 
Introduction to big data
Introduction to big dataIntroduction to big data
Introduction to big data
YuHsuan Chen
 
Hdfs introduction
Hdfs introductionHdfs introduction
Hdfs introduction
baggioss
 
Azure HDInsight 介紹
Azure HDInsight 介紹Azure HDInsight 介紹
Azure HDInsight 介紹
Herman Wu
 
HDFS與MapReduce架構研討
HDFS與MapReduce架構研討HDFS與MapReduce架構研討
HDFS與MapReduce架構研討
Billy Yang
 
Zh tw introduction_to_hadoop and hdfs
Zh tw introduction_to_hadoop and hdfsZh tw introduction_to_hadoop and hdfs
Zh tw introduction_to_hadoop and hdfsTrendProgContest13
 

Similar to 使用Ubuntu架設hadoop (20)

What could hadoop do for us
What could hadoop do for us What could hadoop do for us
What could hadoop do for us
 
Hadoop 簡介 教師 許智威
Hadoop 簡介 教師 許智威Hadoop 簡介 教師 許智威
Hadoop 簡介 教師 許智威
 
Hdfs
HdfsHdfs
Hdfs
 
Hdfs
HdfsHdfs
Hdfs
 
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWHadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TW
 
IT03
IT03IT03
IT03
 
Hdfs原理及实现
Hdfs原理及实现Hdfs原理及实现
Hdfs原理及实现
 
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
Apache hadoop and cdh(cloudera distribution) introduction 基本介紹
 
Hadoop-分布式数据平台
Hadoop-分布式数据平台Hadoop-分布式数据平台
Hadoop-分布式数据平台
 
Hadoop 設定與配置
Hadoop 設定與配置Hadoop 設定與配置
Hadoop 設定與配置
 
Introduction to Hadoop
Introduction to HadoopIntroduction to Hadoop
Introduction to Hadoop
 
打開窗,讓大象跨進來 - Microsoft HDInsight
打開窗,讓大象跨進來 - Microsoft HDInsight打開窗,讓大象跨進來 - Microsoft HDInsight
打開窗,讓大象跨進來 - Microsoft HDInsight
 
Hadoop开发者入门专刊
Hadoop开发者入门专刊Hadoop开发者入门专刊
Hadoop开发者入门专刊
 
Hadoop 介紹 20141024
Hadoop 介紹 20141024Hadoop 介紹 20141024
Hadoop 介紹 20141024
 
Hadoop
HadoopHadoop
Hadoop
 
Introduction to big data
Introduction to big dataIntroduction to big data
Introduction to big data
 
Hdfs introduction
Hdfs introductionHdfs introduction
Hdfs introduction
 
Azure HDInsight 介紹
Azure HDInsight 介紹Azure HDInsight 介紹
Azure HDInsight 介紹
 
HDFS與MapReduce架構研討
HDFS與MapReduce架構研討HDFS與MapReduce架構研討
HDFS與MapReduce架構研討
 
Zh tw introduction_to_hadoop and hdfs
Zh tw introduction_to_hadoop and hdfsZh tw introduction_to_hadoop and hdfs
Zh tw introduction_to_hadoop and hdfs
 

使用Ubuntu架設hadoop