SlideShare a Scribd company logo
Ceasar Sun, Steven Shiau, Thomas Tsai
Free Software Lab, NCHC
文件自由日 - 台中場
Q1, 2016
再生龍於雲端環境之應用
備份服務與大資料平台佈署
2
Outline
 雲端服務模式
– 再生龍簡介 / 新增功能
– 服務模式之概念
– 需求與實行
– 範例
 大資料平台之佈署
 Clonezilla-BD
 Q&A
Free Software Lab, NCHC, Taiwan 3
孫振凱 (Ceasar Sun)
●
現職 國家高速網路與計算中心 副研究員
●
學歷
– 中山大學資訊管理研究所
– 彰化師大數學系
●
經歷
– DRBL/Clonezilla 課程講師 / 叢集環境計算課程講師
– K12 自由軟體課程講師
– 2008 年行政院傑出科技貢獻獎得主
– 2008 年黃金企鵝獎得主
– 2009 年開放原始碼創新應用開發大賽得主
●
參與專案
– DRBL/Clonezilla/DRBL-winroll/Tux2live/Tuxboot/Clz-BD
●
其他
– Red Hat Certified Engineer (RHCE): Red Hat Enterprise Linux 4. October 15, 2006
– Network Security Packet Analysis Class C, 網路封包互動判讀 , 1-14, August 2006
– Principles of Project Management (36PDU) 專案管理法則 , November 24-December 3, 2008
4
自由軟體實驗室 (Free Software Lab)
Taiwan image source: wikipedia.org
From Taiwan, working for the NPO NCHC (National
Center for High-Performance Computing)
Developers of the free software DRBL, Clonezilla and
more...
Maintenance of mirror sites:
– Linux/packages mirror : http://free.nchc.org.tw
– OSM cache server, OSDN, ..
5
Outline
 雲端服務模式
– 再生龍簡介 / 新增功能
– 服務模式之概念
– 需求與實行
– 範例
 大資料運算平台之佈署
– Clonezilla-BD
 Q&A
6
需求:系統備援 / 備份
image source: maggiesfarm.anotherdotcom.com
www.compsults.com, and jervisdabreo.com
7
需求:大量系統佈署
8
再生龍 (Clonezilla)
●
使用映像檔模式的硬碟或分割區備份 / 再生工具,類似
於 True image® 或 Ghost®
●
適用於裸機還原與系統備份
Logo source: (1) Larry Ewing, Simon Budig and Anja Gerwinski (2) Apple (3) Microsoft (4) Marshall Kirk McKusick (5) VMWare (6) Distrowatch.com
*2 *3 *4 *5
VMFSVMFS
VMware
ESX/ESXi
*6
*1
9
特點
● Free (GPL) Software
●
檔案系統支援
– Ext2/3/4, ReiserFS, Reiser4, XFS, JFS, HFS+, BtrFS, F2fs, UFS, Minix, VMFS,
F2FS, NILFS2, FAT and NTFS
– Supports LVM2
– 支援部分 hardware RAID chips (by kernel)
– 支援的檔案系統以 smart copying 方式;未支援檔案系統則使用 dd
●
開機載入處理 : syslinux, grub 1/2 ; MBR and hidden data (if exist)
● Serial console
●
支援全自動模式
●
支援單一映像檔同時佈署至多個本機裝置
●
於伺服器版本 (Clonezilla SE) 上支援群播 (Multicast)
●
映像檔格式是以開放、透明、具可彈性調整特性
Free Software Lab, NCHC, Taiwan 10
模式 1 :伺服器 (Server) 模式
● DRBL live
– i.e. Clonezilla Server Edition
●
適用:大量佈署、產線自動化、電腦教室、
叢集計算
Free Software Lab, NCHC, Taiwan 11
模式 2 :單機 (Live) 模式
• Clonezilla live
• 適用:
– 單機或個人使用、即插即用
– 搭配伺服器版本
12
使用者分佈
>>13,000,00013,000,000 downloads>>13,000,00013,000,000 downloads
13
新增功能 (2015, Q3~)
●
新增支援檔案系統 NILFS2 (Log-Structure).
●
新增支援裝置 NVMe (Non-Volatile Memory Express)
device
– e.g. /dev/nvme0n1 → /dev/sda
●
支援傳統開機裝置中 bios_boot with GPT 混合模式
●
預設還原前先檢查映像檔
●
還原後支援使用 md5sum/sha1sum/sha256sum/sha512sum
演算法對檔案進行檢查 (testing release, i.e. >= Clonezilla
live 2.4.5-26)
14
雲端備份服務
●
系統需求
– 在本地、網路 / 雲端儲存裝置上進行
– 安全性
– 彈性
– 支援裸機還原
●
以映像檔為基礎之備份
– 映像檔儲存 : local, NFS, CIFS, SSHFS, WebDAV
– 加密: AES 128 bits (or 256 bits)
Images source: wikipedia.org
15
備份即服務 (Backup as a Service) - 伺服器端
● BaaS server
– Server provides one of the following service
● WebDAV
● SSHFS
● CIFS
● NFS
● OpenStack Swift
● Amazon S3
● FOSS solutions:
– GNU/Linux + Apache WebDAV/SSHFS/CIFS/NFS
– OwnCloud
– FreeNAS
– OpenStack Swift
– ...
16
備份即服務 (BaaS) - 用戶端 ( 互動式 )
● Clonezilla live >= 2.4.2-10
– Boot Clonezilla live on the machine you want to backup
– Configure network connection
– Choose image repository:
● SSHFS
● CIFS
● NFS
● WebDAV
● S3
● Swift
– Choose encryption
● Not ready for S3 &
Swift
17
備份即服務 (BaaS) - 用戶端 ( 自動化 )
●
Clonezilla live >= 2.4.2-10 ,
– 以備份至 WebDAV 為例
– Pre-seed configuration in the boot parameters, e.g:
● locales=zh_TW.UTF-8
● keyboard-layouts=NONE
● ocs_prerun1=”dhclient -v eth0”
● ocs_prerun2=”ocs-tune-conf-for-webdav”
● ocs_prerun3=”mount -t davfs -o noexec
http://webdav.server:8080/share/ /home/partimag”
● ocs_live_run=”ocs-sr -q2 -j2 -z1p -enc -p true savedisk
myimg sda”
//NOTE// volume size is based on the free memory due to
davfs2 cache mechanism limitation.
18
開機參數
19
開機測試
WebDAV
authorization
passphrase
for
encryption
20
開放式格式 - 以加密映像檔為例
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkdev.list
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkid.list
-rw-r--r-- 1 www-data www-data 16K Feb 20 21:29 clonezilla-img
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 dev-fs.list
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 disk
-rw-r--r-- 1 www-data www-data 141 Feb 20 21:29 ecryptfs.info
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 parts
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-chs.sf
-rw-r--r-- 1 www-data www-data 1.1M Feb 20 21:27 sda-hidden-data-after-mbr
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-mbr
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.parted
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 sda-pt.parted.compact
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.sf
-rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aaa
-rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aab
-rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aac
-rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aad
-rw-r--r-- 1 www-data www-data 73M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aae
-rw-r--r-- 1 www-data www-data 760K Feb 20 21:29 sda5.ext4-ptcl-img.gz.aaa
-rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 swappt-sda6.info
以明碼文字存檔之檔案
其餘皆已加密處理
# This image was saved with ecryptfs
disk_of_img="sda"
parts_of_img="sda1 sda5"
time_of_img="2016-0220-1329"
disks_size_all_of_img="_8590MB"
AES is not currently known to
be susceptible to known­plaintext
attacks.
分片大小需重設
ocs­tune­conf­for­webdav
21
Outline
 雲端服務模式
– 再生龍簡介 / 新增功能
– 服務模式之概念
– 需求與實行
– 範例
 大資料運算平台之佈署
– Clonezilla-BD
 Q&A
Free Software Lab, NCHC, Taiwan
大資料計算之佈署
●
數量 : 節點眾多 -> 需要能夠支援大量佈署系統
●
複雜度 : 系統安裝調整、資料計算所需軟體之安裝設定
Variant Apache CDH HDP MapR
Description
Hadoop original
project
Cloudera Distribution
Hadoop
Hortonworks Data
Platform
(Yahoo subsidiary)
MapR Inc.
License Apache license Apache license Apache license Proprietary
Depl
oym
ent
from
scrat
ch
tools Apache Ambari Cloudera Manager Apache Ambari
(customized)
Proprietary
OS
● RHEL 5/6
● CentOS 5/6
● Oracle Linux 5/6
● SLES 11
● Ubuntu 12.04/14
● Debian 7
● RHEL 5.7/6.4~6.6
● Oracle Linux 5.6/6.4~6.6
● SLES 11
● Ubuntu 12.04/14.04
● Debian 6/7.0/7,1
● RHEL 6x/7x
● CentOS 6x/7x
● Oracle Linux 6.x/7.x
● SLES 11
● Ubuntu 12.04/14.04
● Debian 7x
● RHEL
● SLES
● Ubuntu
Notes
● Older GNU/Linux
● Apache Ambari
2.1.1.
● Newer GNU/Linux
● License fee is
required for
deploying
● Newer GNU/Linux
● Apache Ambari
2.1.1.(customized)
Proprietary
Free Software Lab, NCHC, Taiwan
Clonezilla-BD 簡介
●
以映像檔佈署為基礎的大資料平台佈署工具
●
適用於佈署 Hadoop 計算平台
●
優點
– 易用性 (Easy) :自動設定,含軟體安裝、設定、金鑰交換、服務啟動… 等
– 相容性 (Compatible) :
●
可用於實體設備、虛擬環境或混合模式。
●
適用任何以映像檔模式的佈署工具,如 Clonezilla, True Image, …
等
●
兩種模式
– Node-mode
– Server-mode ( 需搭配 Clonezilla SE 環境 )
●
需求
– All MAC addresses for computing nodes should be record in a file
for deployment use
Free Software Lab, NCHC, Taiwan
Install clz­bd
模式 1 : 節點式( Node-mode )
Mac addresses
Finial template
Setup network
packagesInstall packages
System config 
Use image cloning tool
 to deploy
Start
NN    
DN­1
DN­2
DN­n
DN­3
Post­tune
Config system
Config packages
Start service
….
Basic OS Support:
● Debian x32/x64
● Ubuntu x32/x64
Hadoop Cluster
Free Software Lab, NCHC, Taiwan
Install clz­bd
模式 2 :伺服器 (Server-mode)
packages
Prepare
packages
Multicast deploy via Clonezilla
Start
NN    
DN­1
DN­2
DN­n
DN­3
Post­tune
Config system
Config packages
Start service
….
Clonezilla Server
Mac addresses
Clonezila
 Image
 Basic OS Support:
● Debian x32/x64
● Ubuntu x32/x64
Free Software Lab, NCHC, Taiwan
專案截圖
github.com/ceasar­sun/clz­bd
Free Software Lab, NCHC, Taiwan
未來工作
● 加入更多 Hadoop Eco-system 套件
● 加入資源監視與佈署通知功能
● 模組化
– Allow users to decide Hadoop version and related packages
● 集中式管理功能
– 動態新增或移除節點
– 使用 Ansible :
● Lighter automatic deployment tools
● Python + SSH only
28
結論
●
安全性需從多方著手,如:映像檔加密、使用者存取驗
證、傳輸通道加密、 .. 等。
●
再生龍提供映像檔加密功能,則能提供更有保障之備份
服務,在多人同時使用儲存空間時,亦更有保障。
●
在部分檔案系統對於加密整合需持續改善: s3fs (for
S3) and cloudfuse file (for Swift) systems.
●
WebDAV 相較於更具彈性,不過根據伺服器端可能具有
一些限制,如:單一檔案容量, ... 等,需在使用時注意 .
●
透過 Clonezilla-BD ,管理者能更彈性、更容易來建置
Hadoop 叢集提供大資料計算平台
29
Reference
● Clonezilla:
– clonezilla.nchc.org.tw
– clonezilla.org
● DRBL:
– drbl.org
– drbl.nchc.org.tw
● Clonezilla-BD:
– github.com/ceasar-sun/clz-bd
30
Question / SuggestionQuestion / Suggestion
31
附錄
32
Developers
● Steven Shiau
● K. L. Huang
● Ceasar Sun
● Jazz Wang
● Thomas Tsai
● Jean-Francois Nifenecker
● Louie Chen
● Nagappan Alagappan
33
Language file contributors
● English (en_US): Dylan Pack.
● German (de_DE): Michael Vinzenz.
● Hungarian (hu_HU): Greg Marki
● Spanish (es_ES): Juan Ramón Martínez and Alex Ibáñez López.
● French (fr_FR): Jean-Francois Nifenecker and Jean Francois
Martinez.
● Italian (it_IT): Gianfranco Gentili.
● Japanese (ja_JP): Akira Yoshiyama and Annie Wei.
● Brazilian Portuguese (pt_BR): Marcos Pereira da Silva Cruz.
● Russian (ru_RU): Anton Pryadko and Igor Melnikov.
● Slovak (sk_SK): Ondrej Dzivy Balucha
● Turkish (tr_TR): Ömer YILDIZ
● Simplified Chinese (zh_CN): Zhiqiang Zhang and Liang Qi.
● Traditional Chinese (zh_TW): T. C. Lin.
34
Partners
● The following companies either embed Clonezilla in
their products or promote Clonezilla:
– Linmin
– eRacks Open Source Systems
– Miracle Linux
35
● Server side:
– WebDAV, provided by the running Ubuntu 14.04 system with
enabled Apahce2 WebDAV
– URL: http://192.168.56.1/share/
● Client side:
– Use Clonezilla live to 2.4.5-23 with preseeded boot parameters
to save a local disk as an image
● locales=en_US.UTF-8 keyboard-layouts=NONE
● ocs_prerun1=”dhclient -v eth0”
● ocs_prerun2=”ocs-tune-conf-for-webdav”
● ocs_prerun3=”mount -t davfs -o noexec
http://192.168.56.1/share/ /home/partimag”
● ocs_live_run=”ocs-sr -q2 -j2 -z1p -enc -p true savedisk
myimg sda”
Demo - Save an image to WebDAV

More Related Content

What's hot

主库自动切换 V2.0
主库自动切换 V2.0主库自动切换 V2.0
主库自动切换 V2.0
jinqing zhu
 
Java Crash分析(2012-05-10)
Java Crash分析(2012-05-10)Java Crash分析(2012-05-10)
Java Crash分析(2012-05-10)
Kris Mok
 
Gdb principle
Gdb principleGdb principle
Gdb principle
libfetion
 
Docker實務
Docker實務Docker實務
Docker實務
國昭 張
 
Docker基礎
Docker基礎Docker基礎
Docker基礎
國昭 張
 
前端工程師一定要知道的 Docker 虛擬化容器技巧
前端工程師一定要知道的 Docker 虛擬化容器技巧前端工程師一定要知道的 Docker 虛擬化容器技巧
前端工程師一定要知道的 Docker 虛擬化容器技巧
Chu-Siang Lai
 
Golang 高性能实战
Golang 高性能实战Golang 高性能实战
Golang 高性能实战
rfyiamcool
 
Linux network monitoring hands-on pratice
Linux network monitoring hands-on praticeLinux network monitoring hands-on pratice
Linux network monitoring hands-on pratice
Kenny (netman)
 
Sheepdog内部实现机制
Sheepdog内部实现机制Sheepdog内部实现机制
Sheepdog内部实现机制
Liu Yuan
 
基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案Louis liu
 
20150604 docker 新手入門
20150604 docker 新手入門20150604 docker 新手入門
20150604 docker 新手入門
azole Lai
 
DAE 新变化介绍
DAE 新变化介绍DAE 新变化介绍
DAE 新变化介绍
Tianwei Liu
 
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
Will Huang
 
認識那條鯨魚 Docker 初探
認識那條鯨魚   Docker 初探認識那條鯨魚   Docker 初探
認識那條鯨魚 Docker 初探
仲昀 王
 
Linux Network Monitoring
Linux Network MonitoringLinux Network Monitoring
Linux Network Monitoring
Kenny (netman)
 
Docker一期培训
Docker一期培训Docker一期培训
Docker一期培训
青帅 常
 
线上问题排查交流
线上问题排查交流线上问题排查交流
线上问题排查交流
简放 视野
 
Docker Compose
Docker ComposeDocker Compose
Docker Compose
Miles Chou
 
Software Engineer Talk
Software Engineer TalkSoftware Engineer Talk
Software Engineer Talk
Larry Cai
 
Traffic server overview
Traffic server overviewTraffic server overview
Traffic server overview
qianshi
 

What's hot (20)

主库自动切换 V2.0
主库自动切换 V2.0主库自动切换 V2.0
主库自动切换 V2.0
 
Java Crash分析(2012-05-10)
Java Crash分析(2012-05-10)Java Crash分析(2012-05-10)
Java Crash分析(2012-05-10)
 
Gdb principle
Gdb principleGdb principle
Gdb principle
 
Docker實務
Docker實務Docker實務
Docker實務
 
Docker基礎
Docker基礎Docker基礎
Docker基礎
 
前端工程師一定要知道的 Docker 虛擬化容器技巧
前端工程師一定要知道的 Docker 虛擬化容器技巧前端工程師一定要知道的 Docker 虛擬化容器技巧
前端工程師一定要知道的 Docker 虛擬化容器技巧
 
Golang 高性能实战
Golang 高性能实战Golang 高性能实战
Golang 高性能实战
 
Linux network monitoring hands-on pratice
Linux network monitoring hands-on praticeLinux network monitoring hands-on pratice
Linux network monitoring hands-on pratice
 
Sheepdog内部实现机制
Sheepdog内部实现机制Sheepdog内部实现机制
Sheepdog内部实现机制
 
基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案基于MHA的MySQL高可用方案
基于MHA的MySQL高可用方案
 
20150604 docker 新手入門
20150604 docker 新手入門20150604 docker 新手入門
20150604 docker 新手入門
 
DAE 新变化介绍
DAE 新变化介绍DAE 新变化介绍
DAE 新变化介绍
 
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
 
認識那條鯨魚 Docker 初探
認識那條鯨魚   Docker 初探認識那條鯨魚   Docker 初探
認識那條鯨魚 Docker 初探
 
Linux Network Monitoring
Linux Network MonitoringLinux Network Monitoring
Linux Network Monitoring
 
Docker一期培训
Docker一期培训Docker一期培训
Docker一期培训
 
线上问题排查交流
线上问题排查交流线上问题排查交流
线上问题排查交流
 
Docker Compose
Docker ComposeDocker Compose
Docker Compose
 
Software Engineer Talk
Software Engineer TalkSoftware Engineer Talk
Software Engineer Talk
 
Traffic server overview
Traffic server overviewTraffic server overview
Traffic server overview
 

Viewers also liked

2steptosuccess
2steptosuccess2steptosuccess
2steptosuccess
wattana072
 
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
Dave McClure
 
Framtidens samhälle Del2 - Allt hänger på vad vi eldar
Framtidens samhälle Del2 - Allt hänger på vad vi eldarFramtidens samhälle Del2 - Allt hänger på vad vi eldar
Framtidens samhälle Del2 - Allt hänger på vad vi eldar
Mälarenergi AB
 
ESWC\'09
ESWC\'09ESWC\'09
ESWC\'09
stardmitry
 
Operation Dry Water Presentation
Operation Dry Water PresentationOperation Dry Water Presentation
Operation Dry Water Presentation
NASBLA
 
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Jamal Mirza
 
Bear With Me: 20 Tips for Writing Effective Persuasive Web Content
Bear With Me: 20 Tips for Writing Effective Persuasive Web ContentBear With Me: 20 Tips for Writing Effective Persuasive Web Content
Bear With Me: 20 Tips for Writing Effective Persuasive Web Content
Jeffrey Stevens
 
Startup Metrics for Pirates (Chicago, Aug 2010)
Startup Metrics for Pirates (Chicago, Aug 2010)Startup Metrics for Pirates (Chicago, Aug 2010)
Startup Metrics for Pirates (Chicago, Aug 2010)
Dave McClure
 
PNAS-2006-Davis-2953-8
PNAS-2006-Davis-2953-8PNAS-2006-Davis-2953-8
PNAS-2006-Davis-2953-8
Svetlana Gaidarova
 
Рій "ХАРАКТЕРНИКИ", СШ №25
Рій "ХАРАКТЕРНИКИ", СШ №25Рій "ХАРАКТЕРНИКИ", СШ №25
Рій "ХАРАКТЕРНИКИ", СШ №25
Управління освіти Мелітополя
 
Viral Strategy Pres
Viral Strategy PresViral Strategy Pres
Viral Strategy Pres
Dave McClure
 
Social Graph Platform Wars
Social Graph Platform WarsSocial Graph Platform Wars
Social Graph Platform Wars
Dave McClure
 
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Jamal Mirza
 
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
Krakowskie Biuro Festiwalowe
 
Sociala Medier i Statens Tjänst Informationsföreningen 20100121
Sociala Medier i Statens Tjänst Informationsföreningen 20100121Sociala Medier i Statens Tjänst Informationsföreningen 20100121
Sociala Medier i Statens Tjänst Informationsföreningen 20100121
Jacob Lapidus
 
Zippsi | Uzun Donem Arac Kiralama Platformu
Zippsi | Uzun Donem Arac Kiralama PlatformuZippsi | Uzun Donem Arac Kiralama Platformu
Zippsi | Uzun Donem Arac Kiralama Platformu
Zippsi
 
GSP East 2008 - Intro & Welcome
GSP East 2008 - Intro & WelcomeGSP East 2008 - Intro & Welcome
GSP East 2008 - Intro & Welcome
Dave McClure
 
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Jamal Mirza
 
Japan diary-2013
Japan diary-2013Japan diary-2013
Japan diary-2013
muzaffertahir9
 
Herramientas
Herramientas Herramientas
Herramientas
UPAEP Online
 

Viewers also liked (20)

2steptosuccess
2steptosuccess2steptosuccess
2steptosuccess
 
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
The Lean Investor: Lots of Little Bets (Boston, Dec 2014)
 
Framtidens samhälle Del2 - Allt hänger på vad vi eldar
Framtidens samhälle Del2 - Allt hänger på vad vi eldarFramtidens samhälle Del2 - Allt hänger på vad vi eldar
Framtidens samhälle Del2 - Allt hänger på vad vi eldar
 
ESWC\'09
ESWC\'09ESWC\'09
ESWC\'09
 
Operation Dry Water Presentation
Operation Dry Water PresentationOperation Dry Water Presentation
Operation Dry Water Presentation
 
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Aurat aur Islam - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
 
Bear With Me: 20 Tips for Writing Effective Persuasive Web Content
Bear With Me: 20 Tips for Writing Effective Persuasive Web ContentBear With Me: 20 Tips for Writing Effective Persuasive Web Content
Bear With Me: 20 Tips for Writing Effective Persuasive Web Content
 
Startup Metrics for Pirates (Chicago, Aug 2010)
Startup Metrics for Pirates (Chicago, Aug 2010)Startup Metrics for Pirates (Chicago, Aug 2010)
Startup Metrics for Pirates (Chicago, Aug 2010)
 
PNAS-2006-Davis-2953-8
PNAS-2006-Davis-2953-8PNAS-2006-Davis-2953-8
PNAS-2006-Davis-2953-8
 
Рій "ХАРАКТЕРНИКИ", СШ №25
Рій "ХАРАКТЕРНИКИ", СШ №25Рій "ХАРАКТЕРНИКИ", СШ №25
Рій "ХАРАКТЕРНИКИ", СШ №25
 
Viral Strategy Pres
Viral Strategy PresViral Strategy Pres
Viral Strategy Pres
 
Social Graph Platform Wars
Social Graph Platform WarsSocial Graph Platform Wars
Social Graph Platform Wars
 
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Rasool (saww) ka Martabaey Fasahat - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
 
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
Synergy is The King, czyli jak skutecznie promować wydarzenia kulturalne i fe...
 
Sociala Medier i Statens Tjänst Informationsföreningen 20100121
Sociala Medier i Statens Tjänst Informationsföreningen 20100121Sociala Medier i Statens Tjänst Informationsföreningen 20100121
Sociala Medier i Statens Tjänst Informationsföreningen 20100121
 
Zippsi | Uzun Donem Arac Kiralama Platformu
Zippsi | Uzun Donem Arac Kiralama PlatformuZippsi | Uzun Donem Arac Kiralama Platformu
Zippsi | Uzun Donem Arac Kiralama Platformu
 
GSP East 2008 - Intro & Welcome
GSP East 2008 - Intro & WelcomeGSP East 2008 - Intro & Welcome
GSP East 2008 - Intro & Welcome
 
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
Hayat e Qaumi - Syedul Ulema Syed Ali Naqi Naqvi Sahab t.s.
 
Japan diary-2013
Japan diary-2013Japan diary-2013
Japan diary-2013
 
Herramientas
Herramientas Herramientas
Herramientas
 

Similar to 再生龍於雲端環境之應用

Mysql企业备份发展及实践
Mysql企业备份发展及实践Mysql企业备份发展及实践
Mysql企业备份发展及实践
maclean liu
 
Clonezilla tutorial.v7
Clonezilla tutorial.v7Clonezilla tutorial.v7
Clonezilla tutorial.v7hs1250
 
Full Stack Monitoring with Prometheus and Grafana (Updated)
Full Stack Monitoring with Prometheus and Grafana (Updated)Full Stack Monitoring with Prometheus and Grafana (Updated)
Full Stack Monitoring with Prometheus and Grafana (Updated)
Jazz Yao-Tsung Wang
 
Puppet安装总结
Puppet安装总结Puppet安装总结
Puppet安装总结Yiwei Ma
 
Bypat博客出品-利用cent os快速构建自己的发行版
Bypat博客出品-利用cent os快速构建自己的发行版Bypat博客出品-利用cent os快速构建自己的发行版
Bypat博客出品-利用cent os快速构建自己的发行版redhat9
 
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
YingSiang Geng
 
Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)
家雋 莊
 
Continuous Delivery - Opening
Continuous Delivery - OpeningContinuous Delivery - Opening
Continuous Delivery - Opening
Rick Hwang
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
 
Oracle dba必备技能 使用os watcher工具监控系统性能负载
Oracle dba必备技能   使用os watcher工具监控系统性能负载Oracle dba必备技能   使用os watcher工具监控系统性能负载
Oracle dba必备技能 使用os watcher工具监控系统性能负载
maclean liu
 
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
dbabc
 
DRBL-live-hadoop at TSLC
DRBL-live-hadoop at TSLCDRBL-live-hadoop at TSLC
DRBL-live-hadoop at TSLC
Yu-Chin Tsai
 
Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档
xuebao_zx
 
Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享
alipay
 
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
Alex Lau
 
Introduction to FreeBSD commands
Introduction to FreeBSD commandsIntroduction to FreeBSD commands
Introduction to FreeBSD commands郁凱 黃
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践drewz lin
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践Wensong Zhang
 
Taobao base
Taobao baseTaobao base
Taobao base
mysqlops
 

Similar to 再生龍於雲端環境之應用 (20)

Mysql企业备份发展及实践
Mysql企业备份发展及实践Mysql企业备份发展及实践
Mysql企业备份发展及实践
 
Clonezilla tutorial.v7
Clonezilla tutorial.v7Clonezilla tutorial.v7
Clonezilla tutorial.v7
 
Full Stack Monitoring with Prometheus and Grafana (Updated)
Full Stack Monitoring with Prometheus and Grafana (Updated)Full Stack Monitoring with Prometheus and Grafana (Updated)
Full Stack Monitoring with Prometheus and Grafana (Updated)
 
Puppet安装总结
Puppet安装总结Puppet安装总结
Puppet安装总结
 
Bypat博客出品-利用cent os快速构建自己的发行版
Bypat博客出品-利用cent os快速构建自己的发行版Bypat博客出品-利用cent os快速构建自己的发行版
Bypat博客出品-利用cent os快速构建自己的发行版
 
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
 
Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)Bigdata 大資料分析實務 (進階上機課程)
Bigdata 大資料分析實務 (進階上機課程)
 
Continuous Delivery - Opening
Continuous Delivery - OpeningContinuous Delivery - Opening
Continuous Delivery - Opening
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
 
Oracle dba必备技能 使用os watcher工具监控系统性能负载
Oracle dba必备技能   使用os watcher工具监控系统性能负载Oracle dba必备技能   使用os watcher工具监控系统性能负载
Oracle dba必备技能 使用os watcher工具监控系统性能负载
 
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
 
DRBL-live-hadoop at TSLC
DRBL-live-hadoop at TSLCDRBL-live-hadoop at TSLC
DRBL-live-hadoop at TSLC
 
Asm+aix
Asm+aixAsm+aix
Asm+aix
 
Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档Oraliux+mysql5单机多实例安装文档
Oraliux+mysql5单机多实例安装文档
 
Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享Spark在苏宁云商的实践及经验分享
Spark在苏宁云商的实践及经验分享
 
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
 
Introduction to FreeBSD commands
Introduction to FreeBSD commandsIntroduction to FreeBSD commands
Introduction to FreeBSD commands
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
Taobao base
Taobao baseTaobao base
Taobao base
 

再生龍於雲端環境之應用

  • 1. Ceasar Sun, Steven Shiau, Thomas Tsai Free Software Lab, NCHC 文件自由日 - 台中場 Q1, 2016 再生龍於雲端環境之應用 備份服務與大資料平台佈署
  • 2. 2 Outline  雲端服務模式 – 再生龍簡介 / 新增功能 – 服務模式之概念 – 需求與實行 – 範例  大資料平台之佈署  Clonezilla-BD  Q&A
  • 3. Free Software Lab, NCHC, Taiwan 3 孫振凱 (Ceasar Sun) ● 現職 國家高速網路與計算中心 副研究員 ● 學歷 – 中山大學資訊管理研究所 – 彰化師大數學系 ● 經歷 – DRBL/Clonezilla 課程講師 / 叢集環境計算課程講師 – K12 自由軟體課程講師 – 2008 年行政院傑出科技貢獻獎得主 – 2008 年黃金企鵝獎得主 – 2009 年開放原始碼創新應用開發大賽得主 ● 參與專案 – DRBL/Clonezilla/DRBL-winroll/Tux2live/Tuxboot/Clz-BD ● 其他 – Red Hat Certified Engineer (RHCE): Red Hat Enterprise Linux 4. October 15, 2006 – Network Security Packet Analysis Class C, 網路封包互動判讀 , 1-14, August 2006 – Principles of Project Management (36PDU) 專案管理法則 , November 24-December 3, 2008
  • 4. 4 自由軟體實驗室 (Free Software Lab) Taiwan image source: wikipedia.org From Taiwan, working for the NPO NCHC (National Center for High-Performance Computing) Developers of the free software DRBL, Clonezilla and more... Maintenance of mirror sites: – Linux/packages mirror : http://free.nchc.org.tw – OSM cache server, OSDN, ..
  • 5. 5 Outline  雲端服務模式 – 再生龍簡介 / 新增功能 – 服務模式之概念 – 需求與實行 – 範例  大資料運算平台之佈署 – Clonezilla-BD  Q&A
  • 8. 8 再生龍 (Clonezilla) ● 使用映像檔模式的硬碟或分割區備份 / 再生工具,類似 於 True image® 或 Ghost® ● 適用於裸機還原與系統備份 Logo source: (1) Larry Ewing, Simon Budig and Anja Gerwinski (2) Apple (3) Microsoft (4) Marshall Kirk McKusick (5) VMWare (6) Distrowatch.com *2 *3 *4 *5 VMFSVMFS VMware ESX/ESXi *6 *1
  • 9. 9 特點 ● Free (GPL) Software ● 檔案系統支援 – Ext2/3/4, ReiserFS, Reiser4, XFS, JFS, HFS+, BtrFS, F2fs, UFS, Minix, VMFS, F2FS, NILFS2, FAT and NTFS – Supports LVM2 – 支援部分 hardware RAID chips (by kernel) – 支援的檔案系統以 smart copying 方式;未支援檔案系統則使用 dd ● 開機載入處理 : syslinux, grub 1/2 ; MBR and hidden data (if exist) ● Serial console ● 支援全自動模式 ● 支援單一映像檔同時佈署至多個本機裝置 ● 於伺服器版本 (Clonezilla SE) 上支援群播 (Multicast) ● 映像檔格式是以開放、透明、具可彈性調整特性
  • 10. Free Software Lab, NCHC, Taiwan 10 模式 1 :伺服器 (Server) 模式 ● DRBL live – i.e. Clonezilla Server Edition ● 適用:大量佈署、產線自動化、電腦教室、 叢集計算
  • 11. Free Software Lab, NCHC, Taiwan 11 模式 2 :單機 (Live) 模式 • Clonezilla live • 適用: – 單機或個人使用、即插即用 – 搭配伺服器版本
  • 13. 13 新增功能 (2015, Q3~) ● 新增支援檔案系統 NILFS2 (Log-Structure). ● 新增支援裝置 NVMe (Non-Volatile Memory Express) device – e.g. /dev/nvme0n1 → /dev/sda ● 支援傳統開機裝置中 bios_boot with GPT 混合模式 ● 預設還原前先檢查映像檔 ● 還原後支援使用 md5sum/sha1sum/sha256sum/sha512sum 演算法對檔案進行檢查 (testing release, i.e. >= Clonezilla live 2.4.5-26)
  • 14. 14 雲端備份服務 ● 系統需求 – 在本地、網路 / 雲端儲存裝置上進行 – 安全性 – 彈性 – 支援裸機還原 ● 以映像檔為基礎之備份 – 映像檔儲存 : local, NFS, CIFS, SSHFS, WebDAV – 加密: AES 128 bits (or 256 bits) Images source: wikipedia.org
  • 15. 15 備份即服務 (Backup as a Service) - 伺服器端 ● BaaS server – Server provides one of the following service ● WebDAV ● SSHFS ● CIFS ● NFS ● OpenStack Swift ● Amazon S3 ● FOSS solutions: – GNU/Linux + Apache WebDAV/SSHFS/CIFS/NFS – OwnCloud – FreeNAS – OpenStack Swift – ...
  • 16. 16 備份即服務 (BaaS) - 用戶端 ( 互動式 ) ● Clonezilla live >= 2.4.2-10 – Boot Clonezilla live on the machine you want to backup – Configure network connection – Choose image repository: ● SSHFS ● CIFS ● NFS ● WebDAV ● S3 ● Swift – Choose encryption ● Not ready for S3 & Swift
  • 17. 17 備份即服務 (BaaS) - 用戶端 ( 自動化 ) ● Clonezilla live >= 2.4.2-10 , – 以備份至 WebDAV 為例 – Pre-seed configuration in the boot parameters, e.g: ● locales=zh_TW.UTF-8 ● keyboard-layouts=NONE ● ocs_prerun1=”dhclient -v eth0” ● ocs_prerun2=”ocs-tune-conf-for-webdav” ● ocs_prerun3=”mount -t davfs -o noexec http://webdav.server:8080/share/ /home/partimag” ● ocs_live_run=”ocs-sr -q2 -j2 -z1p -enc -p true savedisk myimg sda” //NOTE// volume size is based on the free memory due to davfs2 cache mechanism limitation.
  • 20. 20 開放式格式 - 以加密映像檔為例 -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkdev.list -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkid.list -rw-r--r-- 1 www-data www-data 16K Feb 20 21:29 clonezilla-img -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 dev-fs.list -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 disk -rw-r--r-- 1 www-data www-data 141 Feb 20 21:29 ecryptfs.info -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 parts -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-chs.sf -rw-r--r-- 1 www-data www-data 1.1M Feb 20 21:27 sda-hidden-data-after-mbr -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-mbr -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.parted -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 sda-pt.parted.compact -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.sf -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aaa -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aab -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aac -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aad -rw-r--r-- 1 www-data www-data 73M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aae -rw-r--r-- 1 www-data www-data 760K Feb 20 21:29 sda5.ext4-ptcl-img.gz.aaa -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 swappt-sda6.info 以明碼文字存檔之檔案 其餘皆已加密處理 # This image was saved with ecryptfs disk_of_img="sda" parts_of_img="sda1 sda5" time_of_img="2016-0220-1329" disks_size_all_of_img="_8590MB" AES is not currently known to be susceptible to known­plaintext attacks. 分片大小需重設 ocs­tune­conf­for­webdav
  • 21. 21 Outline  雲端服務模式 – 再生龍簡介 / 新增功能 – 服務模式之概念 – 需求與實行 – 範例  大資料運算平台之佈署 – Clonezilla-BD  Q&A
  • 22. Free Software Lab, NCHC, Taiwan 大資料計算之佈署 ● 數量 : 節點眾多 -> 需要能夠支援大量佈署系統 ● 複雜度 : 系統安裝調整、資料計算所需軟體之安裝設定 Variant Apache CDH HDP MapR Description Hadoop original project Cloudera Distribution Hadoop Hortonworks Data Platform (Yahoo subsidiary) MapR Inc. License Apache license Apache license Apache license Proprietary Depl oym ent from scrat ch tools Apache Ambari Cloudera Manager Apache Ambari (customized) Proprietary OS ● RHEL 5/6 ● CentOS 5/6 ● Oracle Linux 5/6 ● SLES 11 ● Ubuntu 12.04/14 ● Debian 7 ● RHEL 5.7/6.4~6.6 ● Oracle Linux 5.6/6.4~6.6 ● SLES 11 ● Ubuntu 12.04/14.04 ● Debian 6/7.0/7,1 ● RHEL 6x/7x ● CentOS 6x/7x ● Oracle Linux 6.x/7.x ● SLES 11 ● Ubuntu 12.04/14.04 ● Debian 7x ● RHEL ● SLES ● Ubuntu Notes ● Older GNU/Linux ● Apache Ambari 2.1.1. ● Newer GNU/Linux ● License fee is required for deploying ● Newer GNU/Linux ● Apache Ambari 2.1.1.(customized) Proprietary
  • 23. Free Software Lab, NCHC, Taiwan Clonezilla-BD 簡介 ● 以映像檔佈署為基礎的大資料平台佈署工具 ● 適用於佈署 Hadoop 計算平台 ● 優點 – 易用性 (Easy) :自動設定,含軟體安裝、設定、金鑰交換、服務啟動… 等 – 相容性 (Compatible) : ● 可用於實體設備、虛擬環境或混合模式。 ● 適用任何以映像檔模式的佈署工具,如 Clonezilla, True Image, … 等 ● 兩種模式 – Node-mode – Server-mode ( 需搭配 Clonezilla SE 環境 ) ● 需求 – All MAC addresses for computing nodes should be record in a file for deployment use
  • 24. Free Software Lab, NCHC, Taiwan Install clz­bd 模式 1 : 節點式( Node-mode ) Mac addresses Finial template Setup network packagesInstall packages System config  Use image cloning tool  to deploy Start NN     DN­1 DN­2 DN­n DN­3 Post­tune Config system Config packages Start service …. Basic OS Support: ● Debian x32/x64 ● Ubuntu x32/x64 Hadoop Cluster
  • 25. Free Software Lab, NCHC, Taiwan Install clz­bd 模式 2 :伺服器 (Server-mode) packages Prepare packages Multicast deploy via Clonezilla Start NN     DN­1 DN­2 DN­n DN­3 Post­tune Config system Config packages Start service …. Clonezilla Server Mac addresses Clonezila  Image  Basic OS Support: ● Debian x32/x64 ● Ubuntu x32/x64
  • 26. Free Software Lab, NCHC, Taiwan 專案截圖 github.com/ceasar­sun/clz­bd
  • 27. Free Software Lab, NCHC, Taiwan 未來工作 ● 加入更多 Hadoop Eco-system 套件 ● 加入資源監視與佈署通知功能 ● 模組化 – Allow users to decide Hadoop version and related packages ● 集中式管理功能 – 動態新增或移除節點 – 使用 Ansible : ● Lighter automatic deployment tools ● Python + SSH only
  • 28. 28 結論 ● 安全性需從多方著手,如:映像檔加密、使用者存取驗 證、傳輸通道加密、 .. 等。 ● 再生龍提供映像檔加密功能,則能提供更有保障之備份 服務,在多人同時使用儲存空間時,亦更有保障。 ● 在部分檔案系統對於加密整合需持續改善: s3fs (for S3) and cloudfuse file (for Swift) systems. ● WebDAV 相較於更具彈性,不過根據伺服器端可能具有 一些限制,如:單一檔案容量, ... 等,需在使用時注意 . ● 透過 Clonezilla-BD ,管理者能更彈性、更容易來建置 Hadoop 叢集提供大資料計算平台
  • 29. 29 Reference ● Clonezilla: – clonezilla.nchc.org.tw – clonezilla.org ● DRBL: – drbl.org – drbl.nchc.org.tw ● Clonezilla-BD: – github.com/ceasar-sun/clz-bd
  • 32. 32 Developers ● Steven Shiau ● K. L. Huang ● Ceasar Sun ● Jazz Wang ● Thomas Tsai ● Jean-Francois Nifenecker ● Louie Chen ● Nagappan Alagappan
  • 33. 33 Language file contributors ● English (en_US): Dylan Pack. ● German (de_DE): Michael Vinzenz. ● Hungarian (hu_HU): Greg Marki ● Spanish (es_ES): Juan Ramón Martínez and Alex Ibáñez López. ● French (fr_FR): Jean-Francois Nifenecker and Jean Francois Martinez. ● Italian (it_IT): Gianfranco Gentili. ● Japanese (ja_JP): Akira Yoshiyama and Annie Wei. ● Brazilian Portuguese (pt_BR): Marcos Pereira da Silva Cruz. ● Russian (ru_RU): Anton Pryadko and Igor Melnikov. ● Slovak (sk_SK): Ondrej Dzivy Balucha ● Turkish (tr_TR): Ömer YILDIZ ● Simplified Chinese (zh_CN): Zhiqiang Zhang and Liang Qi. ● Traditional Chinese (zh_TW): T. C. Lin.
  • 34. 34 Partners ● The following companies either embed Clonezilla in their products or promote Clonezilla: – Linmin – eRacks Open Source Systems – Miracle Linux
  • 35. 35 ● Server side: – WebDAV, provided by the running Ubuntu 14.04 system with enabled Apahce2 WebDAV – URL: http://192.168.56.1/share/ ● Client side: – Use Clonezilla live to 2.4.5-23 with preseeded boot parameters to save a local disk as an image ● locales=en_US.UTF-8 keyboard-layouts=NONE ● ocs_prerun1=”dhclient -v eth0” ● ocs_prerun2=”ocs-tune-conf-for-webdav” ● ocs_prerun3=”mount -t davfs -o noexec http://192.168.56.1/share/ /home/partimag” ● ocs_live_run=”ocs-sr -q2 -j2 -z1p -enc -p true savedisk myimg sda” Demo - Save an image to WebDAV