Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1©  Cloudera,  Inc.  All  rights  reserved.
クラウド上でのHadoop基盤
とCloudera  Director  2.0
嶋内  翔、Cloudera
2©  Cloudera,  Inc.  All  rights  reserved.
⾃自⼰己紹介
•  嶋内  翔(しまうち  しょう)
•  テクニカルエバンジェリスト
•  2011年年4⽉月にClouderaの最初の⽇日本⼈人社員とし...
6©  Cloudera,  Inc.  All  rights  reserved.
クラウド上でのHadoopはオンプレとは違う
最適なパフォーマンスのため
の区分化
コスト削減のための⼀一時的ク
ラスタの採⽤用
効率率率性のための、ストレ...
49©  Cloudera,  Inc.  All  rights  reserved.
Cloudera  Director
クラウド環境にエンタープライズデータハブをもたらす
Cloudera  Director  とは?
•  Cloud...
50©  Cloudera,  Inc.  All  rights  reserved.
Director  クライアント
•  サーバなし
•  コマンドラインで操作
Director  サーバ
•  環境、クラスタなどを⼀一元管理理
•  ...
51©  Cloudera,  Inc.  All  rights  reserved.
AWS  /  GCPの選択やリージョンの
選択など、クラウド環境を設定する
複数の環境を同時利利⽤用可能
環境設定
52©  Cloudera,  Inc.  All  rights  reserved.
•  インスタンスタイプなどを設定可
能
•  AWSスポットインスタンス・GCP
プリエンプティブルインスタンス
なども設定可
•  カスタムAMIも利...
53©  Cloudera,  Inc.  All  rights  reserved.
•  どのCDHコンポーネントを利利⽤用す
るか選択
•  インスタンス数も設定可能
•  HAクラスタ、Kerberos  環境など
も設定可能
•  ...
54©  Cloudera,  Inc.  All  rights  reserved.
複数のクラスタを1つの画⾯面で管理理
可能
ダッシュボード
55©  Cloudera,  Inc.  All  rights  reserved.
クラスタ稼働中にインスタンス数を
拡張・縮退可能
クラスタの動的拡張・縮退
56©  Cloudera,  Inc.  All  rights  reserved.
同⼀一のクラスタを作るなら、
「Clone  Cluster」で簡単に複製可
能
クラスタの複製
57©  Cloudera,  Inc.  All  rights  reserved.
•  カスタムスクリプト
• インスタンスプロビジョン後の
カスタムパッケージのインス
トール
• CM  APIを使った事前設定変更更
• クラスタ停⽌...
58©  Cloudera,  Inc.  All  rights  reserved.
Cloudera  Director  インストール⽅方法
•  qiitaに公開しました  
http://qiita.com/shiumachi/it...
59©  Cloudera,  Inc.  All  rights  reserved.
Get	
  Started	
  
AWS	
  Reference	
  Guide	
  
GCP	
  Reference	
  Guide	
 ...
60©  Cloudera,  Inc.  All  rights  reserved.
Thank	
  you	
  
Upcoming SlideShare
Loading in …5
×

クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt

2,443 views

Published on

2016/03/23 実施された「道玄坂LT祭り "LAST GIGS"」での講演で使った資料です。
https://atnd.org/events/67382

Published in: Technology
  • Be the first to comment

クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt

  1. 1. 1©  Cloudera,  Inc.  All  rights  reserved. クラウド上でのHadoop基盤 とCloudera  Director  2.0 嶋内  翔、Cloudera
  2. 2. 2©  Cloudera,  Inc.  All  rights  reserved. ⾃自⼰己紹介 •  嶋内  翔(しまうち  しょう) •  テクニカルエバンジェリスト •  2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社 •  お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの 仕事 •  email:  sho@cloudera.com •  twitter:  @shiumachi
  3. 3. 6©  Cloudera,  Inc.  All  rights  reserved. クラウド上でのHadoopはオンプレとは違う 最適なパフォーマンスのため の区分化 コスト削減のための⼀一時的ク ラスタの採⽤用 効率率率性のための、ストレージ と計算リソースの別個の拡張 Object  Store   STORE   COMPUTE  
  4. 4. 49©  Cloudera,  Inc.  All  rights  reserved. Cloudera  Director クラウド環境にエンタープライズデータハブをもたらす Cloudera  Director  とは? •  Cloudera  ユーザのためのインスタンスプロビジョ ニング・管理理ツール •  バッチ処理理のための⼀一時起動、BIのための⻑⾧長期稼 働、業務システムのためのHAクラスタなどを簡単 に構築、管理理可能 柔軟なデプロイ •  AWS  と  GCPをビルトインでサポート •  Open  Plugin  Frameworkで任意のクラウド環境に デプロイ可能 •  テンプレートを使ってクラスタを構築可能 簡単な管理理 •  ジョブ実⾏行行時の⼀一時的なクラスタ構築 •  複数のクラスタ・環境を1つの画⾯面で管理理可能 •  REST  API  サポート
  5. 5. 50©  Cloudera,  Inc.  All  rights  reserved. Director  クライアント •  サーバなし •  コマンドラインで操作 Director  サーバ •  環境、クラスタなどを⼀一元管理理 •  Web  UI  or  コマンドライン Cloudera  Director  アーキテクチャ
  6. 6. 51©  Cloudera,  Inc.  All  rights  reserved. AWS  /  GCPの選択やリージョンの 選択など、クラウド環境を設定する 複数の環境を同時利利⽤用可能 環境設定
  7. 7. 52©  Cloudera,  Inc.  All  rights  reserved. •  インスタンスタイプなどを設定可 能 •  AWSスポットインスタンス・GCP プリエンプティブルインスタンス なども設定可 •  カスタムAMIも利利⽤用可能 インスタンステンプレート
  8. 8. 53©  Cloudera,  Inc.  All  rights  reserved. •  どのCDHコンポーネントを利利⽤用す るか選択 •  インスタンス数も設定可能 •  HAクラスタ、Kerberos  環境など も設定可能 •  約15-‐‑‒30分ぐらいで構築可能 • カスタムAMIを使うともっと速 い クラスタ構築
  9. 9. 54©  Cloudera,  Inc.  All  rights  reserved. 複数のクラスタを1つの画⾯面で管理理 可能 ダッシュボード
  10. 10. 55©  Cloudera,  Inc.  All  rights  reserved. クラスタ稼働中にインスタンス数を 拡張・縮退可能 クラスタの動的拡張・縮退
  11. 11. 56©  Cloudera,  Inc.  All  rights  reserved. 同⼀一のクラスタを作るなら、 「Clone  Cluster」で簡単に複製可 能 クラスタの複製
  12. 12. 57©  Cloudera,  Inc.  All  rights  reserved. •  カスタムスクリプト • インスタンスプロビジョン後の カスタムパッケージのインス トール • CM  APIを使った事前設定変更更 • クラスタ停⽌止前のS3へのデータ コピー •  クラスタテンプレート • ノードタイプごとに異異なるセ キュリティグループの設定など も可能 その他の機能
  13. 13. 58©  Cloudera,  Inc.  All  rights  reserved. Cloudera  Director  インストール⽅方法 •  qiitaに公開しました   http://qiita.com/shiumachi/items/90649830cb9b45726d99 •  元⽂文書はこちら   http://www.cloudera.com/documentation/director/latest/topics/ director_̲get_̲started_̲aws.html
  14. 14. 59©  Cloudera,  Inc.  All  rights  reserved. Get  Started   AWS  Reference  Guide   GCP  Reference  Guide     Download  Cloudera  Director   www.cloudera.com/downloads     Try  It  Out     Cloudera  Live  (includes  step-­‐by-­‐step  tutorial)     AWS  Quickstart   Azure  Marketplace   Resources   API  IntegraLon  &  ScripLng   hOps://github.com/cloudera/director-­‐ sdk   hOps://github.com/cloudera/director-­‐ scripts     AddiLonal  Cloud  IntegraLon   hOps://github.com/cloudera/director-­‐spi   hOps://github.com/cloudera/director-­‐ google-­‐plugin    
  15. 15. 60©  Cloudera,  Inc.  All  rights  reserved. Thank  you  

×