1. 快速部署 Hadoop 環境
2014/04/11 OSDC.TW
Jazz Wang
<jazzwang＠etusolution．com>

2. • 王耀聰 Jazz Yao-Tsung Wang
• jazzwang＠etusolution．com
• Etu 首席架構師 暨 Hadoop 傳教士
• Hadoop.TW 共同創辦人
• Hadoop The Definitive Guide 譯者
• Hadoop Operations 譯者
• 自由軟體愛好者 / 推廣者 / 開發者
• http://about.me/jazzwang - slideshare, github, etc.
• http://trac.3du.me/cloud - 原 http://trac.nchc.org.tw/cloud
2
Who AM I

3. 3
今天為什麼要講這個題目？
因為我們想要認識台灣
熟悉系統管理的高手！

4. 高手總是藏在
我們不知道的
偏僻角落….
有時候得設法
鼓勵這些人上
新的舞台揮灑
http://zh.wikipedia.org/wiki/功夫_(電影)

5. 5
今天為什麼要講這個題目？
因為我們想要認識台灣
熟悉系統管理的高手！
所以我們辦了個競賽…

6. 6
Etu Hadoop Competition 2014
http://ehc.etusolution.com

7. 鄉野調查(1)
巨量資料?!

8. 巨量資料的現況 …
Current Status of Big Data …..
'' Big data is like teenage sex:
everyone talks about it,
nobody really knows how to do it,
everyone thinks everyone else is doing it,
so everyone claims they are doing it .. ''
– Dan Ariely, Professor at Duke University
and Professor at Center for Advanced Hindsight

9. 鄉野調查(2)
Hadoop?!
能吃嗎?

10. 糗~俺不會耶…XD
沒關係~最近流行
懶人包

11. 快速部署 Hadoop 環境
Hadoop 的部署模型現況
2014/04/11 OSDC.TW
Jazz Wang
<jazzwang＠etusolution．com>

12. 12
Spectrum of Hadoop Deployment 2013
On-premise full custom : 完全自建的 Hadoop 叢集，高度客制化，例子：Yahoo!
Hadoop Appliance：購買廠商提供的 Hadoop 叢集硬體與軟體
Hadoop Hosting：類似主機代管（Hosting）概念，依需求租賃實體 Hadoop 節點
Hadoop as a Service：由雲服務廠商提供的虛擬化 Hadoop 運算環境(Ex. EMR)
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Hadoop Deployment Comparison Study -- Price-performance comparison between a bare-metal Hadoop cluster and Hadoop-as-a-Service
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf

13. 13
On-premise full custom
Hadoop Cluster
高手級 苦工 手刻 全自幹
的 Hadoop 叢集
天底下沒有兩台哈雷是一樣的！！

14. 14
On-premise full custom
Hadoop Cluster
高手級 苦工 手刻 全自幹
的 Hadoop 叢集
天底下沒有兩台哈雷是一樣的！！
兩座 Hadoop 叢集

15. 15
火雲邪神：
天下武功，無堅不破，唯快不破！

16. 16
金鐘罩=Security
打不趴=ＨA
http://heartbleed.com/
最新時事
OpenSSL
CVE-2014-0160
有用到SSL的
趕快修吧!!
王羲之 臨鍾繇千字文 http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=47326

17. 17
裝得快=Automation
跑得快=Optimization
Performance Tuning
王羲之 - 快雪時晴帖 -
http://www.cns11643.gov.tw/AIDB/fm_view.do?font=cns_0000&id=25650
標準化
自動化
隨需響應

18. 18
Spectrum of Hadoop Deployment 2013
On-premise full custom : 完全自建的 Hadoop 叢集，高度客制化，例子：Yahoo!
Hadoop Appliance：購買廠商提供的 Hadoop 叢集硬體與軟體
Hadoop Hosting：類似主機代管（Hosting）概念，依需求租賃實體 Hadoop 節點
Hadoop as a Service：由雲服務廠商提供的虛擬化 Hadoop 運算環境(Ex. EMR)
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Hadoop Deployment Comparison Study -- Price-performance comparison between a bare-metal Hadoop cluster and Hadoop-as-a-Service
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf

19. 自建實體叢集
懶人包
DRBL-Hadoop Live

20. DRBL-Hadoop – 2010 的老東西了 (羞)
http://drbl-hadoop.sf.net
強項：
• 一張光碟，可以快速把接在同一個交換器(Switch)上
的電腦快速串成 Hadoop 叢集，適用於短期實驗。
限制：
• 網路環境中不可以有第二台 DHCP Server
原理：
[COSCUP 2011] 運用企鵝龍打造多人 Hadoop 叢集
https://www.youtube.com/watch?v=DyJ1bXZJOyo
狀態：
很久沒更新了….有想要用的，一人一信轟炸台上的作者
請他花點力氣更新並寫點教學文件。

21. 21
Spectrum of Hadoop Deployment 2013
On-premise full custom : 完全自建的 Hadoop 叢集，高度客制化，例子：Yahoo!
Hadoop Appliance：購買廠商提供的 Hadoop 叢集硬體與軟體
Hadoop Hosting：類似主機代管（Hosting）概念，依需求租賃實體 Hadoop 節點
Hadoop as a Service：由雲服務廠商提供的虛擬化 Hadoop 運算環境(Ex. EMR)
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Hadoop Deployment Comparison Study -- Price-performance comparison between a bare-metal Hadoop cluster and Hadoop-as-a-Service
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf

22. 商用實體叢集
懶人包
Etu Appliance (EA)

23. http://www.etusolution.com/index.php/tw/product-and-services/etu-product/etu-appliance

24. 俺不是爺們
買不起
Hardware Appliance

25. 試用包
Etu Virtual Appliance
簡稱 EVA

26. https://www.facebook.com/paragraph09/photos/a.114636561936363.10657.114500091950010/452363961496953/?type=1
EVA …. 請問是幾號機？
搭載柴油引擎，
歡迎試乘~~

27. http://www.etusolution.com/index.php/tw/download/eva/eva-overview-tw

28. 俺想用自家的硬體
實用包Etu Software Appliance
簡稱 ESA, 2013年9月隆重上市
請參考JumpStart Kit

29. ESA
光碟
主節點
Master
硬碟
授
權
網路
設定
工作節點
Slave
開機映像
Step 1
Step 3
Step 2
Step 5
PXE Boot
Step 4
Reoot

30. Etu Software Appliance
http://www.etusolution.com
現況：2.0 版本 ( based on GenToo GNU/Linux )
強項：
• 堅 – 資訊安全 – 預設採用 Kerberos 身分驗證
• 堅 – 高可用性 – 支援多項功能的 HA 機制
• 快 – 開機飛快 – 精簡調校過的 Linux 內核
• 快 – 執行效率 – 有進行效能最佳化調校
限制：
• 網路環境中不可以有第二台 DHCP Server
• 硬體支援列表 (?) – 在商言商，真的有測過才敢說支援

31. Spectrum of Hadoop Deployment 2013
On-premise full custom : 完全自建的 Hadoop 叢集，高度客制化，例子：Yahoo!
Hadoop Appliance：購買廠商提供的 Hadoop 叢集硬體與軟體
Hadoop Hosting：類似主機代管（Hosting）概念，依需求租賃實體 Hadoop 節點
Hadoop as a Service：由雲服務廠商提供的虛擬化 Hadoop 運算環境(Ex. EMR)
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Hadoop Deployment Comparison Study -- Price-performance comparison between a bare-metal Hadoop cluster and Hadoop-as-a-Service
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf

32. 台灣：hadoop.nchc.org.tw 勉強算一個…
具備隨需自助服務雲端特徵的 Hadoop Hosting
國際上至少找到 5 個 Hadoop Hosting 服務…..
[1] http://www.rackspace.com/big-data/
[2] https://www.softlayer.com/cloudera-hosting
[3] http://bitrefinery.com/hadoop-hosting.html
[4] http://www.stratogen.com/products/hadoop-hosting.html
[5] https://www.liquidweb.com/services/database-hadoop.html

33. 遺漏的一塊拼圖：計價模組
http://www.brainfrez.com/wp-content/uploads/2010/08/puzzle-missing-piece.jpg
The Missing Pluzzle of
Hadoop Hosting:
Usage Accounting
- By Machine ?
- By Computing Power ?
- By Storage Usage ?
危機?? 商機??
市場需求??

34. 34
「堅」跟「快」不是唯一的考量
Source: Accenture Technology Labs , “Four Options for Enterprise IT when Deploying the Big Data System Hadoop”, June 24, 2013
http://www.accenture.com/us-en/Pages/insight-hadoop-deployment-comparison.aspx
Where to deploy your Hadoop clusters? Executive Summary
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Technology-Labs-Where-To-Deploy-Your-Hadoop-CLusters-Executive-Summary.pdf
ROIReturn on investment
投資回報率

35. 35
小龍女：你還記不記得有一招從天而降的掌法？
打趴火雲邪神的如來神掌…

36. 重點一
雲前幾年不都在炒虛擬化
你現在又說要另外買OOXX?

37. 重點二
包容心好的軟體架構應該是
可以跑在不同環境的呀!!

38. 38
Spectrum of Hadoop Deployment 2014
On-premise full custom : 完全自建的 Hadoop 叢集，高度客制化，例子：Yahoo!
Hadoop Appliance：購買廠商提供的 Hadoop 叢集硬體與軟體
Hadoop Hosting：類似主機代管（Hosting）概念，依需求租賃實體 Hadoop 節點
Hadoop on the Cloud：用戶自己建 Hadoop 叢集在雲服務上 (Ex. AWS, GCE)
Hadoop as a Service：由雲服務廠商提供的虛擬化 Hadoop 運算環境(Ex. EMR)
Source: Accenture Technology Labs , “Cloud-Based Hadoop: The Future of Big Data?”, January 8, 2014
http://www.accenture.com/us-en/Pages/insight-cloud-based-hadoop-future-big-data.aspx
Cloud-based Hadoop Deployments: Benefits and Considerations
http://www.accenture.com/SiteCollectionDocuments/PDF/Accenture-Cloud-Based-Hadoop-Deployments-Benefits-and-Considerations.pdf

39. 重點三
搶獎金這次比賽跑在雲端服務(AWS)上
先學著怎麼在上面花小錢作練習

40. 40
Jazz 考前放送 (1) ：
https://github.com/jazzwang/vagrant-hadoop
使用 Vagrant 在 AWS 上建立
一台 Ubuntu 12.04 的Apache BigTop 環境
也就是包含以下初賽應該安裝的軟體
- Apache Hadoop HDFS
- Apache Hadoop YARN (MapReduce v2)
- Apache ZooKeeper
- Apache HBase
- Apache Pig
- Apache Hive
為什麼只有 Ubuntu ??
因為比賽用 CentOS 6.4 ……. XD

41. 41
Jazz 考前放送 (2) ：
https://github.com/jazzwang/vagrant-hadoop
給不想花錢租 AWS 作練習，
想用Vagrant 在 VirtaulBox 上
建立一個 Cloudera Manager 的環境
一樣可以建立符合初賽規則的要求
有 DEMO 才有真相!!

42. 42
http://www.slideshare.net/ihower/vagrant-osdc
沒聽過
Vagrant
請回顧
OSDC.TW
2013

43. 43
每個 e-mail 帳號，
在一定用量下，
註冊第一年有 Free-Tier 可以用
不過限制是用量最小的
Standard Micro (t1.micro)
其他多數都要算錢
請備好信用卡….

44. 44
申請 e-mail
與登入密碼

45. 45
填寫聯絡資料
最好填
信用卡帳單地址

46. 46
一張可以扣錢用的信用卡
必須可以小額扣款 USD$1

47. 47
接聽電話
並輸入第二步的
授權碼

48. 48
申請完成
已經具備 Free-Tier 資格

49. 49
收到 e-mail
代表帳號申請完成

50. 50
前往管理介面建立 Access Key …. 等一下用得到
https://console.aws.amazon.com/iam/home?#se
curity_credential

51. 51
Etu Hadoop Competition 2014
http://ehc.etusolution.com
OSDC 當天報名競賽經確認成功者
有機會抽得 3000 元誠品禮卷
方法：請在隊名後面加上 _OSDC
事不宜遲，懶人包都洩題了~
最近流行跟旁邊的六個人要電話
組好隊，就趕快報名囉!!

52. 想找到巨量資料的終極祕寶 ONE PIECE
來當我們的夥伴吧!!
http://www.books.com.tw/img/N00/029/53/N000295364_t_01.jpg

53. Etu Big Data
SYSTEX Coroperation
318, Rueiguang Rd., Taipei 114, Taiwan
T: +886 2 7720 1888
F: +886 2 8798 6069
www.etusolution.com
流 轉 智 慧 ● 聚 合 價 值