Cloudera Seminar 2013/04/23
•Download as PPTX, PDF•
3 likes•1,417 views
2013/4/23に実施したセミナーの資料です
Recommended
Recommended
More Related Content
Similar to Cloudera Seminar 2013/04/23
Similar to Cloudera Seminar 2013/04/23 (20)
More from Cloudera Japan
More from Cloudera Japan (20)
Recently uploaded
Recently uploaded (12)
Cloudera Seminar 2013/04/23
- 1. 1 ビッグデータ時代到来！どうするデータ活用 〜Hadoopの導入事例から学ぶ〜 川崎 達夫 | Cloudera株式会社 エデュケーションサービス 2013年4月24日
- 2. 自己紹介 2 • 川崎 達夫 • シニアインストラクター＆研修全般の業務を担 当 • email: kawasaki@cloudera.com • Hadoopトレーニングに関するお問い合わせ先 • web: http://www.cloudera.co.jp/university • email: training-jp@cloudera.com
- 3. 後半のアジェンダ 3 • ビッグデータとは • Hadoop事例紹介 • Hadoopのアーキテクチャ • ビッグデータ時代の人材育成
- 5. Googleの課題 5 • Googleの課題 • Googleの重要なサービスのひとつ、検索サービス • インターネット上のコンテンツを集めて、検索イン デックスを作る必要があった • 2つの課題 • 大量のコンテンツを「蓄積」（保存）しなければならない • 大量のコンテンツを「加工」（処理）しなければならない インターネッ ト 蓄積 加工
- 6. 課題と解決（１） 6 • 一般的にデータはハードディスクに保存される • 利点 • GBあたりの単価が安い • 例）3TBのディスクは$0.05/GB • 欠点 • 読み書き速度が遅い • 例）転送レートが210MB/sのディスク • 3TBの読み込みに約4時間かかる → 複数のディスクを並列で使用す る
- 7. 課題と解決（２） 7 • データを一カ所に保存する • 処理時に共有ディスクからデータを読み込む • ボトルネックの要因 • 処理するデータのサイズが大きい • 多くの台数が同時にアクセス • ネットワークの帯域 → 処理をデータ側に持ってくる
- 8. 課題と解決（３） 8 • 一台で処理するのではなく、複数のマシンに処 理を分散する • 一方、分散処理は難しい • C言語、フォートラン、MPI、、、、 • 専門知識が必要 → 汎用言語と高レベルなAPIを使用して 複雑さを抽象化
- 9. 課題と解決（４） 9 • 分散システムには高価なコンポーネントが必要 • 障害の可能性を最小限に抑える → 障害は発生すると認識した設計
- 10. Googleの解決策: GFSとMapReduce 10 • GFS（分散ファイルシステム） • 多数のサーバ上に分散してデータを保存できるファ イルシステム • Google はGFSを使って大量 webページを多数のサー バの上に保存した • MapReduce（分散処理） • GFSで分散された多数のサーバの上でそのまま計算処 理を行うための分散フレームワーク • GoogleはMapReduceを使って検索インデックスを作成 した キーワードは「分散」
- 11. Hadoopの登場 11 • Hadoop = Googleが公開した論文を元にしてオー プンソースで開発されたクローン • GFS -> HDFS (Hadoop分散ファイルシステム） • MapReduce -> MapReduce （分散処理）
- 15. ここまでのまとめ 15 • Hadoopのアーキテクチャ • 「分散して蓄積」と「分散して処理」 • Hadoopが有効なケース • 大量のデータを蓄積したい • 比較的単純な処理を高速に行いたい →台数を増やすことで容易にスケールアウトできます • Hadoopに向いていないケース • RDBMSではありません（低遅延ではありません） • トランザクションのような複雑な処理はありません
- 17. ビッグデータと人材不足 17 • ‘ビッグデータ’を業務に活かす基盤は整って来た • 大きな課題は「人材不足」 • 関連記事 • 日経コンピュータ 2011年9月15日号 • ビッグデータ革命：最大の課題は人材不足 • COMPUTERWORLD（IDC調査） • Hadoop/MapReduce関連ソフトの世界市場、今後5年間の年平 均成長率は60.2%の見通し。（中略）その一方で、今後2〜3 年間、HadoopやMapReduceを使いこなせる人材の不足がこれ らの技術の普及拡大のネックになるだろうとも付け加えてい る
- 18. Hadoopエンジニアと給与 18 • 関連記事 • 10 Tech Skills That Will Instantly Net You A $100,000+ Salary • 第７位: “Haddop は尐なくとも $103,000の価値がある” • http://www.businessinsider.com/10-tech-skills-that-will-instantly- net-you-100000-salary-2012-8?op=1 • As Demand Keeps On Increasing, Hadoop And NoSQL Skills Pay Off • “HadoopとNoSQLを使用している社員の年収は$100,000以上で あり、IT業界平均年収の平均$85,619よりもかなり高い” • http://inside-bigdata.com/as-demand-keeps-on-increasing-hadoop- and-nosql-skills-pay-off/
- 19. なぜHadoopのトレーニングなのか？ 不足 エキスパートを雇用するよりも社員に研修を行う方が安価 速度 訓練されたプロフェッショナルは迅速でより効率的に業務を遂行 セキュリティ 認定資格はリーダーシップとスキルの明らかな証明 19 戦略 独自の利用事例と卓越した研究拠点の構築を開始
- 20. 25% $115K 20 Hadoopプロフェッショナル：育成か雇用 か？ Hadoopのスキルを持つエンジニアの給与は、尐なくとも一般 より多く必要 Hadoopの開発者は、現在技術職において賃金が最も高額であり、 この水準以上になっている Sources: Business Insider, “10 Tech Skills That Will Instantly Net You A $100,000+ Salary,” 11 August 2012. Business Insider, “30 Tech Skills That Will Instantly Net You A $100,000+ Salary,” 21 February 2013. GigaOm, “Big Data Skills Bring Big Dough,” 17 February 17 2012. $300K かなりシニアなデータサイエンティストの求人における賃金
- 21. 21 なぜClouderaのトレーニングなの か？ 1 広範囲なコース体系 開発,管理,HBase,Hive & Pig,データサイエンス 2 3 経験豊かな講師 2009年以降、15,000人以上が受講 5 世界各国で実施 ほとんどのコースが20カ国、およびバーチャルでも提 供 6 プラットフォームとコミュニティに密 接 CDHは他社のディストリビューションよりも展開され ている 7 詳しいトレーニング教材 ハンズオン演習と仮想マシンが実操作に役立つ 認定資格のリーダー Clouderaの認定取得者は5,000人以上 4 最高水準のカリキュラム Hadoopの進化に伴い定期的に更新 8 学習の継続 ビデオチュートリアルとe-learningでトレーニングを補 完
- 22. 55% 22 がClouderaの トレーニングを受講 Source: Fortune, “Fortune 500 “ and “Global 500,” May 2012. Clouderaはトップ企業への研修を提供 100% の企業の社員に対する 研修をClouderaで提供 Hadoopの導入を検討し ている世界のテクノロ ジー 企業のトップ20社のうち Fortune 100 企業の ビッグデータプロ フェッショナルのうち、
- 23. 94% 66% 23 がClouderaのトレーニングを同僚ま たは知人に推奨、または強く推奨 が尐なくとも毎月開催しているCloudera のトレーニングを当てにしている Source: Cloudera Past Public Training Participant Study, December 2012, n = 206 40% がClouderaのトレーニング後、新し いアプリケーションを開発、あるい はビジネスに重要な分析を実施 Clouderaのトレーニング受講者は現場のリーダー 88% がClouderaのトレーニングは受講 生の役割に求められるHadoopの専 門知識を提供していると示唆
- 25. 25 Cloudera Universityとは何か？ 役割ベースの トレーニングコー ス 開発者 管理者 分析者 専門的な 認定資格 プロジェクトベース のビデオチュートリ アル （英語） 製品ベースの E-Learning Hadoop クラスタの発展 Cloudera ナレッジベース
- 26. 26 Cloudera エッセン シャル 1 日 Hadoop 管理者向け 3 日間 & 認定試験 Cloudera Enterprise 1 日間 Hadoop 開発者向け 4 日間 & 認定試験 Proposed Company Training Timeline Proposed Evolution of Cloudera Enterprise Deployment Apache HBase 2 日間 & 認定試験 Apache Hive & Pig 2 日間 Data Science 3 日間 & 認定試験 最初の ユースケース 追加の ユースケース リアルタイムの ユースケース 広範囲な ユーザーが採択 Estimated Data in Production 最新の 分析 Hadoop選択のライフサイクル Hadoopで 何をすることが できるか？ 本番環境での Hadoopを準備
- 28. 28 ラーニングパス：システム管理者とITマネー ジャー Hive & Pig トレーニン グ Cloudera Enterprise トレーニン グ 迅速なクラスタのデプロイと拡大のためにCloudera Managerを使用 クラスタの性能向上のためにどのツールと技術を使用するかを学習 外部BIツールなしに大量データセットの完全な分析を実行 高い価値がある用途で扱うためにデータを変換して操作 管理者向け トレーニング 設定、インストール、最適なパフォーマンスのための監視 セキュリティ機能と複数ユーザを実現するための実装
- 29. 29 ラーニングパス：分析者&ビジネス情報スペシャリ スト Data Science トレーニン グ Cloudera エッセン シャル トレーニン グ Hive & Pig トレーニング 既存の技術と並行してHadoopの価値を創造 複数の構造化された大量な量のデータを分析するための方法を学習 大きすぎるデータセットに対してSQLとスクリプト言語を適用 Hadoopのアクセスの容易さを加速する高度なテクニックを取得 好機を生かすために業界固有のデータプラットフォームを構築 コスト削減、利益拡大、顧客維持のためにデータを使用
- 30. 30 Course Overview Cloudera Apache Hadoop エッセンシャル 1 日 なぜHadoopが存在しているのか、いつ利用するのが適切か、拡張を成功 させるために必要なリソースは何かを学習します。Hadoopの主要なコン ポーネントと広範囲なHadoopエコシステムを紹介します。 Cloudera Apache Hadoop 開発者向けトレーニング 4 日間 HDFSとMapReduceの基本と同様に、APIを使用してどのようにプログラム を記述するのか、デバッグと最適化のテクニック、大きなワークフローの 管理方法を学習します。関連するApacheプロジェクトの概要を紹介します。 Cloudera Apache Hadoop 管理者向けトレーニング 3日間 Hadoopシステム管理者のコンセプトと実務について、インストールと設 定、デプロイにおける問題の診断と解決するための負荷分散とチューニン グについて学習します。 Cloudera Enterprise トレーニング 1 日 大規模Hadoopクラスタを維持管理するために、Cloudera Managerを含む Cloudera Enterpriseの一部として提供されるアプリケーションの使用方法に ついて学習します。 Cloudera Apache HBase トレーニング 2日間 低遅延クエリと高スループットを実現するための分散データストアとして、 HBaseの使用方法を学習します。本コースではスキーマ設計、アプリケー ションの作成、設定とメンテナンスも網羅しています。 Cloudera Apache Hive & Pig トレーニング 2日間 Apache Hadoopで分析とデータ変換を行うための、2つの人気のあるApache プロジェクト、HiveとPigの使用方法について、フィルタ、結合、ユーザー 定義関数などを学習します。 データサイエンス入門：レコメンドシステムを構築する 3日間 データサイエンティストとは何か、解決できる問題は何か、異なる業界に おいてデータからビジネスの価値を導くために現実的な課題に適用する方 法について学習します。自動化されたレコメンダシステムを実装します。
- 33. 本日のまとめ 34 • ビッグデータとは何か • Hadoopの事例 • Hadoopのアーキテクチャ • ビッグデータ時代の人材育成 • 前半の資料は参加者のみに期間限定で公開しています
- 34. 35 CONFIDENTIAL - RESTRICTED
Editor's Notes
- There are three ah-ha moments here:Private training costs less when training a team, not only considering total cost (i.e., including productivity loss due to time off task) or total dollars spent (i.e., including travel and lodging expenses), but also when comparing base price (no discounting).Private training not only saves tons of time on task, but there are additional implicit savings involved in getting trained on the customer’s own schedule (i.e., sooner rather than later, when the entire team will be present to collaborate synchronously).Private training achieves economies of scale such that additional people can be trained at virtually no marginal cost – considering base price alone, it costs less to train 10 participants in a private training than it does to train nine in a public training. Including travel and lodging expenses and productivity loss, breakeven for public training is seven participants.