• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
CDH4セミナー資料
 

CDH4セミナー資料

on

  • 3,250 views

2012年7月に開催したCDH4セミナー、説明会の資料です

2012年7月に開催したCDH4セミナー、説明会の資料です

Statistics

Views

Total Views
3,250
Views on SlideShare
2,890
Embed Views
360

Actions

Likes
2
Downloads
69
Comments
0

3 Embeds 360

http://www.cloudera.co.jp 355
http://tweetedtimes.com 3
https://twitter.com 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    CDH4セミナー資料 CDH4セミナー資料 Presentation Transcript

    • Cloudera: エンタープライズにおけるHadoopの標準川崎 達夫Cloudera株式会社 エデュケーションサービス
    • 本日のアジェンダ •  エンタープライズにおける –  ポジション とは –  イノベーション•  Cloudera University –  最新のトレーニングと認定資格 **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • 製品テーマ 2010 Cloudera は 2012 2011 エンタープライズに Cloudera は Cloudera は エンタープライズにおける Hadoop の Hadoop を リーダーです 提供します Hadoop の標準です
    • なぜ Cloudera がエンタープライズにおける なのか?ポジション イノベーション我々の完全なソリューションは全ての CDH4 + Cloudera Enterprise 4 は最領域においてリードしています 先端の Hadoop プラットフォームです
    • 完全なソリューションを持つ唯一のベンダーCDH4 Cloudera’s Distribution Including Apache Hadoop (CDH) ストレージ 計算処理 アクセス 統合 Apache Hadoop ベースのビッグデータ蓄積・処理・解析プラットフォーム – 100% オープンソースCloudera Enterprise 4.0 Cloudera Manager CDHの構築と運用のための完全な管理アプリ 構築 設定 監視 検査とレポート ケーション 製品サポート お客様のサービスレベル(SLA)維持を弊社エキス 問題解決 エスカレーション 最適化 ナレッジベース パートチームが強力に支援します Cloudera Universityパートナーエコシステム ビッグデータ要員への技術付与 - 12,000人以上をトレーニングハード、ソフト、プラットフォーム、サービスでの250社以上のパートナー プロフェッショナルサービス ユースケース分析、パイロット、プロセスとチーム立ち上げ
    • CDH: 最高のプラットフォーム – 100% オープンソースCDH4 CDH ストレージ 計算処理 アクセス インテグレーション 最も普及している Apache Hadoop ディストリビュー ション エンタープライズの本番環境での実績でスケーラビ リティは証明済み 100% オープンソースで、エンタープライズ向けに開 発されている 安心してHadoopをご使用いただけます
    • Cloudera Manager 4: 比類なく強力CDH4 CDH ストレージ 計算処理 アクセス インテグレーションCloudera Enterprise 4.0 Cloudera Manager 構築 設定 監視 検査とレポート エンタープライズで利用可能な唯一の Hadoop 管 理アプリケーション 組み込まれているベストプラクティスとノウハウ Cloudera サポートと密に連携している Hadoop を簡単かつ効率よく管理できます
    • 製品サポート: 専門性で比肩するものなしCDH4 CDH ストレージ 計算処理 アクセス インテグレーションCloudera Enterprise 4.0 Cloudera Manager 構築 設定 監視 検査とレポート 製品サポート 問題解決 エスカレーション 最適化 ナレッジベース 様々な産業分野における、1万ノード以上のクラスタ を管理してきた経験 CDHの全てのコンポーネントにおける専任エキス パート 全てのプロジェクトにコントリビュータとコミッタが存 在 性能の最適化と稼働時間の最大化を確実なものにします
    • パートナーエコシステム: 幅広い領域での統合CDH4 CDH ストレージ 計算処理 アクセス インテグレーションCloudera Enterprise 4.0 Cloudera Manager 構築 設定 監視 検査とレポート 製品サポート 問題解決 エスカレーション 最適化 ナレッジベースパートナーエコシステム あらゆる最先端のハードウェア、プラットフォーム、ハード、ソフト、プラットフォーム、サービスでの250社以上のパートナー データベース、データ統合基盤、BIソリューションと の連携を証明済み 業界唯一のHadoop技術認定プログラム あらゆる業界のトップ企業がCDH上で開発しています
    • なぜ Cloudera がエンタープライズにおける なのか?ポジション イノベーション我々の完全なソリューションは全ての CDH4 + Cloudera Enterprise 4 は最領域においてリードしています 先端の Hadoop プラットフォームです CDH Cloudera’s distribution including Apache Hadoop
    • CDHとは何か? Cloudera’s Distribution Including Apache Hadoop (CDH) はエンタープライズ対応の Hadoopディストリビューションです   ü  100%  ピュア Apache  Hadoop   ü  導入に必要な全てのコンポーネントを含んでいます ü  お客様の既存のインフラへの統合は簡単です ü  全てドキュメント化されていてサポートがあります 成功への最短距離 安定性と信頼性 完全なオープンソース        §  全てのコンポーネントバージョンと依存関 §  ClouderaのQAチームによって完璧にテ §  オープンソースコミュニティのメインライ 係が管理された完全なHadoopスタックを ストされています ンコンポーネントだけを含みます。 提供します §  多数のエンタープライズ環境でスケール フォークもなくプロプライエタリ基盤もあ りません §  様々なOS、ハードウェア、データベース、 することが証明されています データウェアハウス、BIツールと連携でき §  自由にダウンロードできます ます **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • CDH: Cloudera’s Distribution Including Apache Hadoop File System Mount UI Framework/SDK Data Mining Build/Test: APACHE BIGTOP FUSE-DFS HUE APACHE MAHOUT Workflow Scheduling Metadata APACHE OOZIE APACHE OOZIE APACHE HIVE Languages / Compilers APACHE PIG, APACHE HIVE Fast Read/Write Data Integration Access APACHE FLUME, APACHE SQOOP APACHE HBASE APACHE WHIRR Coordination APACHE ZOOKEEPER **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • MapReduceとHDFS Trunk development (source of new features) 0.23 0.23.1 2.0 0.20.1 0.20.2 0.21 0.22 “0.20.append” 0.20.203 0.20.205 “0.20.security” 0.20.204 1.0CDH development CDH1 CDH2 U1 U2 U3 CDH3 U1 U2 U3 CDH4 2009 2010 2011 2012 **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • なぜCDHなのか? ⻑⾧長所 ユーザのどういう部分に関係するかパッケージ化済み 他のどの形態のHadoopよりもはるかに簡単にインストールすることが できます。パッチ適⽤用済み Apacheブランチをただダウンロードするよりも安定かつセキュアにし てくれます。実績の証明済み 数千もの組織が既にCDHを使っているため、利利⽤用リスクが低くなって います。⾼高機能 CDHはより多くのユースケースをカバーし、ユーザはコアのHadoopだ けを使っていたときよりも⽣生産性を向上できます。統合済み 全体を把握するための時間を節約し、バージョン間あるいはパッチ間 依存に基づく障害のリスクを減らします。標準と認められている 既に多額の投資をしているRDBMS,  ETL,  そしてBIなどとCDHは最も うまく連携できます。サポートあり CDHは商業組織が⽀支援しているディストリビューションです。100%Apacheライセンス この技術への投資は保障されています。 **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • なぜ Cloudera がエンタープライズにおける なのか?ポジション イノベーション我々の完全なソリューションは全ての CDH4 + Cloudera Enterprise 4 は最領域においてリードしています 先端の Hadoop プラットフォームです
    • CDH4 + Cloudera Enterprise 4.0:"エンタープライズの要件とは…1 4 他のITとの統合 高可用性2 セキュリティ 5 設定と構築の単純化3 6 スケーラビリティと拡張性 グローバルサポートとサービス
    • CDH4 + Cloudera Enterprise 4.0:"もっとハードルを上げてみる…CDH4 §  高可用性 Cloudera’s Distribution Including Apache Hadoop (CDH) Apache Hadoop ベースのビッグデータ蓄積・処理・解析プラットフォーム §  セキュリティ – 100% オープンソース §  拡張性Cloudera Enterprise 4.0 Cloudera Manager 4 §  簡単 CDHの構築と運用のための完全な管理アプリケーション §  強力 §  統合 製品サポート お客様のサービスレベル(SLA)維持を弊社 エキスパートチームが強力に支援します
    • CDH4: 高可用性ミッションクリティカル領域における使いやすさを向上させる高可用性ネームノード ヘテロジニアスクラスタ機能: セカンダリネームノードをホットスタンバイとし、 機能: ユーザは異なるバージョンのHadoopノードを混フェイルオーバさせることができる 在させることができる利点: HDFSにおける唯一の単一障害点をなくすことが 利点: クラスタのノードを一つ一つ更新していくことでダできる ウンタイムを削減できる
    • CDH4: セキュリティCDHにより機密性の高いデータを保存し、マルチテナント実現のためのきめ細かいアクセスコントロールを提供するHBase のテーブル及びカラム FairスケジューラのACLのパーミッション 機能: グループが異なるFairスケジューラプールへジョ ブを送信したり制御したりできるようになる機能: ユーザ/グループのHBaseテーブルとカラムへのアクセス制御 利点: マルチテナントクラスタを管理しやすくなる利点: HBase に機密情報を保存できるようになる。マルチテナントを実現しやすくなる
    • CDH4: 拡張性CDHは他のデータ管理システムに比べて幅広い領域の問題を解決することができるようになるHBase コプロセッサ オープンリソースマネジメント機能: ユーザ独自のプログラムを使ってリアルタイムに (MapReduce2)データを処理できるようになる 機能: 単一のHadoopクラスタ上で複数のデータ処理フレー利点: 開発者はHBase上でより高度なリアルタイムアプリ ムワークを実行できるケーションを作成できるようになる 利点: 同一ストレージ及びクラスタリソース上で多くのアプリ ケーションを実行できるようになり、コストを削減できる
    • CDH4: その他の機能§  汎用圧縮コーデック(Snappy)§  汎用ファイルフォーマット(Avro)§  HDFS への REST over HTTP アクセス§  ネームノードフェデレーションによる無制限のファイル管理§  Web 上から Pig、HBase、Flumeを操作するシェル§  スロットレスリソースマネージャ§  Hive での並列クエリのサポート§  ファイルシステム I/O 性能が 100% 向上§  HBase のランダム読み込み速度が 100% 向上§  Flume のデータ処理速度が 200% 向上§  MapReduce のシャッフル速度が 30% 向上
    •   A MRv1のアーキテクチャ client submits a job to the JobTracker –  JobTracker assigns a job ID –  Client calculates the input splits for the job –  JobTrackerとTaskTracker •  Client adds job code and configuration to HDFS Client TaskTracker JobTracker TaskTracker TaskTracker TaskTracker Copyright © 2010-2012 Cloudera. All rights reserved. Not to be reproduced without prior written consent. **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** 04 Public use or redistribution prior to the embargo date is strictly prohibited.
    •   For each job, one slave node is Application Master –  MRv2のアーキテクチャ Manages application lifecycle –  Negotiates resource “containers” from Resource Manager –  Monitors tasks running on the other slave nodes •  Resource ManagerとNodeManager Node Manager Node Manager App Master - Job #2 Resource Manager Scheduler Application Manager App Master - Job #1 Node Manager Node Manager Copyright © 2010-2012 Cloudera. All rights reserved. Not to be reproduced without prior written consent. 0 **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • Cloudera Manager 4: 簡単 Cloudera Enterprise は構築と管理の最も簡単な Hadoop ソリューションです3ステップのHA設定 複数クラスタ管理 後方互換性機能: ネームノードの高可用設定を3ス 機能: 単一の Cloudera Manager イン 機能: Cloudera Manager 4 は CDH3テップで実行可能にする スタンスから複数のクラスタを管理 と CDH4 の両方をサポート利点: 10数ステップにわたる手動設定 利点: 全ての CDH 環境の管理を集約 利点: 管理の柔軟性を3ステップに削減
    • Cloudera Manager 4: 強力Cloudera Manager は巨大なクラスタを確実に管理するための様々な可視化機能と柔軟な自動化機能を提供しますヒートマップ ネームノードフェデレーションの管理機能: サーバステータスとメトリクスを可視化 機能: ネームノードフェデレーションの設定と管理利点: 巨大なクラスタにおいて問題のあるノードを高速に 利点: CDH が数千ノード、数十億ファイルの規模に成長しても特定 シンプルに管理できる
    • Cloudera Manager 4: 統合 Cloudera Enterprise は既存のインフラとプロセスとのシーム レスに連携しますCloudera Manager LDAP 認証 様々な環境のサポートAPI 機能: 管理ユーザログインを Active 機能: Cloudera Manager は Debian/Ubuntu Directory で認証 のパッケージも提供する。Oracle や機能: Cloudera Manager の全機能の PostgreSQL もバックエンドDBとしてサポートAPI を提供 する 利点: 管理者ユーザの認証情報管理を利点: Cloudera Manager とユーザの 容易にする 利点: 構築における柔軟性の向上システム上に既存のエンタープライズクラスの管理・監視ツールとの連携を簡単にする
    • Cloudera Manager 4: その他の機能§  プラットフォームを導入するのを簡単にする §  クライアント設定ファイルを生成する §  Hadoop システムとして問題ないか、パラメータチェックをする §  ローカルリポジトリからの CDH インストールのサポート §  複数のデータ処理フレームワークの管理と設定 §  HBase コプロセッサや HttpFS/Hoop など、CDH4 の新機能をサポート。§  管理と監視の強化 §  自動設定とパラメータチェックのアルゴリズムの強化 §  クォータ管理とファイルブラウザ §  新しいヘルスチェック §  ホスト監視の強化 §  サポートとの統合を強化 §  ユーザインタフェースの国際化(日本語対応!)
    • Cloudera Manager Free Edition Cloudera Manager Ent. Edition自動構築 Yes YesAPI Yes Yesサービス及び設定管理 HDFS, MapReduce, MR2, HBase, Hue, Oozie, Zookeeper の管理 Yes Yes 高可用性と名前空間管理のサポート Yes Yes 設定の自動化 Yes Yes クライアント設定管理 Yes Yes 監査と追跡 Yes Yes 追加/再起動/デコミッションロールインスタンス Yes Yes 設定のバージョン管理 Yesサービス監視 プロアクティブ・ヘルスチェック Yes ステータスサマリー Yes ヒートマップと性能監視 Yes ホスト監視 Yesセキュリティ LDAP 認証 Yes Kerberos 設定 Yesマルチクラスタ管理 Yesインテリジェント・ログ管理 Yesイベントマネジメントとアラート Yesアクティビティ監視 Yes運用レポート Yesファイルブラウザとクォータ管理 Yesグローバルタイムコントロール Yesサポート統合 Yes
    • なぜ Cloudera か? ビッグデータ管理のための統合された、ボタン一つで起動 できるぐらい簡単なシステム 全くの新機能を継続的に市場に提供しています 数年間にわたるスケジュール済みのリリースの元に第4世代の 製品を輩出しました。アップグレードのリスクを低く抑え、強い互 換性保証をしています CDH は 100% Apache ライセンスで、フォークもしていない しプロプライエタリパッチも一切含んでいません あらゆるソリューションのうち最も多くのエンタープライズ環 境で Cloudera が稼働し、最も多くのベンダーが Cloudera の認証を取得しています
    • Cloudera University:  トレーニングと認定資格
    • トレーニング ビジネスを成功に導くためのパブリックおよびプライベートトレーニング http://www.jp.cloudera.com/universityコース 説明Cloudera Apache Hadoop 開発者向け データを分析したいと考えているが、Apache Hadoopを新しトレーニング(4日間) く使い始めようとしている開発者向けの、ハンズオン形式のト レーニングと認定試験Cloudera Apache Hadoop 管理者向け Apache Hadoop クラスタのセットアップ、設定、監視を行うトレーニング (3日間) 管理者向けの、ハンズオン形式のトレーニングと認定試験Cloudera Apache HBase トレーニング HBaseのアーキテクチャ、データモデル、Java API、および(2日間) 追加のトピックとベストプラクティスを網羅Cloudera Apache Hive & Pig トレーニン Hive & Pig トレーニングはApache Hadoopがどのように動グ(2日間) − 開催予定 作しているかの基本的な知識があり、これらの言語を使って データを分析したい方向けに用意されたトレーニングCloudera Apache Hadoop エッセンシャル Apache Hadoopについての知識を得たい方向けに、座学形(1日) 式でのトレーニング
    • 認定資格 •  スキルを客観的に証明する認定資格•  トレーニングと独立した認定試験 –  PearsonVUEで日時、会場を予約 –  トレーニングを受講しなくても受験できる •  合計スコアおよびセクション毎のスコアが表示される –  トレーニングコースには試験のバウチャーが1回 分含まれる –  近日模擬テストを公開予定
    • トレーニング、認定資格最新情報 •  HBaseトレーニング(日本語)を開始 –  7月30日〜•  HBase認定資格開始(英語) –  日本語版は7月30日から開始予定•  CDH4対応 –  9月の実施コースから順次対応予定
    • メーリングリスト •  メーリングリスト(日本語) cdh-user-jp@cloudera.org •  CDH/Cloudera Managerに関するオープンなメーリン グリスト •  誰でも質問、回答、閲覧できます。 積極的にご参加 下さい!! **THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012** Public use or redistribution prior to the embargo date is strictly prohibited.
    • Thank ご質問はこちらまで: You! info-jp@cloudera.com 03(6228)7930 cloudera.co.jp twitter.com/ ClouderaJP facebook.com/ cloudera