Hadoop基盤を知る
•
0 likes•590 views
- 企業活動とデータの在り方 - Hadoopクラスター構成 - データモデル - ビッグデータ向けサーバー
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Hadoop基盤を知る
Similar to Hadoop基盤を知る (20)
Hadoop基盤を知る
- 4. 4 先進企業は、なぜ積極的にWebサービスに取り組むのか？ – エンドユーザーによるサービスへのアクセス • データアクセス – メールを読む – ツイートを送信する – 本を買う – 友達をパーティーに招待する – 写真を表示する • パフォーマンスに対する厳格な制限 – エンドユーザー：「アクセスの際に、待ちたくない」 – Webサイトの応答性：重要な差別化要因！ – エンドユーザーに関するデータの整理 • データマイニングの容易さ • イントラネット検索のしやすさ • 膨大なデータへアクセスするスピード • 分析結果を得るまでの応答時間 • セキュリティの確保 Webで得られ る多種多様な データ 制したものが 生き残る時代 情報の真偽 商品評価 会話、流行 映像配信 エンタメ ニュース 購買情報
- 5. 企業活動とデータ –IT設備投資 • 所有している資産の価値は？ • 利用効率は？ • なぜ必要なのかの検討は？ • IT投資の目的 – TCO削減？ – 人件費削減？ – 電気代削減？ – 売り上げ拡大？ – 利益拡大 – 外販ビジネス開拓？ – 特許収入？ IT調査会社の天の声： 「AI時代の企業の成長には、 データ活用が必須！」 企業活動の成否は、 経営のプロの職人芸？ 成長するには、IT投資が必要なのは わかるけど、データ多くないし... データ活用っていうけど、 なんだか、大変そう... 5
- 7. Web 層/ アプリケーション層 Apache Tomcat Geronimo キャッシュ層 Memcached ストレージ XFS, ZFS, NFS,HDFS, Haystack データベース層 MySQL データマイニング 検索 YARN on Hadoop Elastic Search Webサービスとオープンソース 利 用 者 7
- 8. Web 層/ アプリケーション層 Apache Tomcat Geronimo キャッシュ層 Memcached ストレージ XFS, ZFS, NFS,HDFS, Haystack データベース層 MySQL データマイニング 検索 YARN on Hadoop Elastic Search ハードウェア要件 CPU メモリ IOPS + メモリ IOPS + CPU IOPS 利 用 者 8
- 11. Hadoopって? – ビッグデータ保管・分析に必要なもの – 巨大スケールアップマシン＝頑健な作り – 大量のスケールアウト型マシン＝クラスタ → Hadoopはスケールアウト！ – 誰が管理するのか？ – データはどこにあるか? – ジョブはいつ終わるのか？ – 障害発生時はどうなるのか？ – Hadoopにおける管理 – YARN（MapReduce）アプリを実行 – 何を/どこで/いつ実行を追跡 – HDFS ：分散データストレージ – データの複製を保持 – 障害に対応 Secondary Name Node Job Tracker Name Node Rack 2 Rack 1 Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce 1つのタスク... ワーカーノード群 アプリケーション：MapReduceで書く？ 基盤ソフトウェア：Hadoop 11
- 12. Apache Hadoopクラスター構成 スレーブ マシン N スレーブ マシン5 スレーブ マシン4 スレーブ マシン3 スレーブ マシン2 マスター マシン1 YARN（MapReduce） Hadoop 分散ファイルシステム Linux 12
- 13. データとHadoopアプリケーション –HDFSに配置 – 低コスト（＝信頼性は低い）のストレージを使った分散ファイルシステム – MapReduceがなくても、大規模でスケーラブルなデータストアとして価値がある –傾向分析 – Webのログファイルをマイニング – 大量の非構造化データの選別 – 例: 「今、ホットな情報」、「最も人気のある情報」など –Webクロールやコンテンツ処理 – 情報の抽出、分類、結合 –アドホックテキスト分析 – データをふるいにかけ、新しいトレンドやパターンを簡単に特定 HDFS 13
- 15. データモデル MapR/Cloudera MapR-DB, Cassandra, HBase, Vertica オフラインシステム 非構造化データ 生データ Pig Hive/Impala/Drill Datameer/Pentaho Mesosphere DC/OS, MapR Control System, Cloudera Manager, Chef, Ansible HPE Apollo 4200 Gen10インフラストラクチャ インポート エクスポート オンライン/リアルタイムシステム 構造化データ システム使用モデル データモデル ユーザーレベルツール プログラマーレベルのツール 管理者レベルのツール 15
- 16. オープンソースソフトウェア＝無料ではない Hadoopディストリビューション – 選択肢: – Apache Hadoop – 安定性よりも、むしろ、最新の機能を試したい – コミュニティの最新成果物に触れる – コミュニティの発展に寄与 – ベンダーサポートなし – MapR – GUIインストーラー、GUI管理画面 – 超高速ファイルシステム：MapR-FS（C/C++で実装） – NFSストレージ利用 – 日本のHPEの技術コンサルティング部隊での導入実績も豊富 – Cloudera – GUIインストーラー、GUI管理画面 – Impalaの取り組み – 日本のHPEの技術コンサルティング部隊での導入実績も豊富 16
- 17. 留意点 17
- 18. Hadoopを誤解しないように… 18 Secondary Name Node Job Tracker Name Node Rack 2 Rack 1 Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce Data Node Task Tracker Task Map Reduce Task Map Reduce Task Map Reduce • Hadoopは、アプリではなく、インフラストラクチャ • 計算ノード構成は、データ保管と計算処理のバランスが必要 • 結果的に、Hadoop向けハードウェアを導入する場合が多い • 結構、ハードウェアリソースが必要 • CPU • メモリ • ディスク • NIC • 何をしたいかを明確にする • 分析要員の確保 • ハイレベルアプリとの連係 18
- 20. Hadoopにおけるお客様の課題 –お客様の声 –「Hadoopだけでエンタープライズに利用できるの？」 –「私は、Hadoop技術や技能を極めたいわけではない」 –「私のデータはどこにあって、今どのような処理が動いているの？」 –データの密度 vs. 電力 –「ラック１台あたり、N個のハードドライブが欲しい」 –「ラック１台あたり、8Kワット以下でないと導入は厳しい」 –「サーバーあたり、200TB保存したい」 –「1日で1TB増えるけど、設備は5年使う」 HPE Apollo 4200 Gen10 HPE Apollo 6500 Gen10 20
- 22. Hadoopプラットフォームの変遷 –DL180 – 最大 14 LFF HD/25 SFF HD – 12個の DIMM ソケット – 2U –SL160s/SL165 – 最大 6 LFF HD/8 SFF HD – 18/24 DIMM スロット – 1U –SL335 – 最大 4 LFF HD/8 SFF HD – 12個の DIMM スロット – リスボン CPU – 1Uで２台 2011年 2019年 HPE Apollo 4200 Gen10 HPE Apollo 6500 Gen10 GPU HPE Apollo 2000 Gen10 22
- 23. Hadoopのラッキング構成を知る -計算ノードのサーバー機種：Apollo 4200 Gen10 -メモリ: 512 GB RAM -Disk(OS用)： 1TBディスク x 2 -Disk(データ用): 10TB ディスク x 15～26 -CPU: Xeonプロセッサ x2ソケット -NIC： 最低10GbE以上 スイッチ • 最低10GbE以上 • 冗長性確保 ソフトウェア • HW/OS管理用ソフトウェア（HPE） • MapR Control System or Cloudera Manager インストール • マスターノード: 巨大メモリが必要、RAID構成 • 計算ノード： RAIDなし、ホットスワップなし HPE ラック HPEスイッチ Hadoopマスター Hadoop スレーブ1 Hadoop スレーブ2 Hadoop スレーブ3 Hadoop スレーブ... Hadoop スレーブN HW/OS管理用サーバー HW/OS管理ツール: HPE Performance Cluster Manager 23
- 24. 複数ラックにまたがる構成 HPE ラック1 HPEN スイッチ Hadoopマスター Hadoop スレーブ1 Hadoop スレーブ2 Hadoop スレーブ3 Hadoop スレーブ... Hadoop スレーブN HW/OS管理用サーバー HPE ラック... HPEN スイッチ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ HPE ラック x HPEN スイッチ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ Hadoop スレーブ 24
- 26. 機械学習とビッグデータを知る 最先端オープンソース書籍出版への取り組み AI時代に必携の一冊！ 機械学習・ビッグデータ基盤導入検討・構築・使用法・応用例 等 Apache Hadoop 3と商用版MapR 6クラスター構築、使用法 機械学習, ニューラルネットワークの具体例 データベースとの連携, ETLツール RDBMS, ログ, Twitterデータの取得 等 • Bigdata分析基盤の概要 • Hadoopの種類、沿革、システム構成 • Apache Hadoop 3の特徴 • Hadoopシステム構成、導入前検討項目 • ハードウェアコンポーネントの検討 • Hadoop 3, MapR 6クラスターハードウェア構成例 • Hadoopクラウド • ハードウェアの設定 • Hadoop 3, MapR 6クラスターのインストール • Hadoop 3, MapR 6クラスターの運用管理 • Spark SQL, Spark Streaming, Spark GraphX, Spark R, Spark MLlib • ニューラルネットワーク • Hive, Impala, HBase, Pig • Sqoop, Flume • Mahout Amazon インプレス フライトデータ分析、 迷惑メール分類、 おすすめ映画タイトルの 表示など、機械学習の 具体例を掲載！ Hadoop 3と MapR 6を 解説した世界初の本！