Hadoop Conference Japan 2009 - NTT Data

担当紹介 NTTデータ基盤システム事業本部 OSS技術統括部 Linux/OSSを利用したシステム構築・運用をサポートする業務を担当 OSSによるシステム基盤 Prossione® – 徹底的に検証・評価したOSSの組み合わせ、設定・運用のノウハウの提供 – 高品質なシステム基盤を実現する仕組みの整備 OSSのサポートサービス Linaccident® – 幅広いOSSを対象とするプロフェッショナルサービスの提供最近は、OSSを活用したクラウド分散処理基盤 Hadoopの技術整備も担当『象』好きです PostgreSQL Hadoop Copyright ©2009 NTT DATA Corporation 1

ＯＳＳの未来従来技術は、必要充分な性能をもっ性た後発のローエンド技術に凌駕されてム）能レーいく！インフ（メＯＳ独自ｗｓＮＩＸド＋ｎｄｏＵ一般的なハーード＋ＷｉＳＳ顧客が利用自ハ＋Ｏ独＋能独自ーバ可能な性ーバ「メトカーフの法則」ＩＡサＡサネットワークの価値はＩユーザ数の２乗に比例（マス・コラボレーションの時代）「ギルダーの法則」ネットワークの通信速度は「ムーアの法則」 6～9ヵ月で2倍半導体集積密度は18ヵ月で２倍（ネットワークの時代） 1970 1980 1990 2000 未来 Copyright ©2009 NTT DATA Corporation 4

クラウド時代のITシステム ... IT基盤をより Smart に無駄を減らすことによる効率化、資源のプール化などで実現単一性と多様性のバランスが練られたシステムコモディティ技術を使い切ることがポイントにスケールアウト技術を身近なものに IAサーバ＋OSSにより多数のサーバの利用が容易化新しい処理モデルやデータモデルの浸透従来のACIDを求める処理方式とは異なるモデル MapReduceアルゴリズム、Key-Valueストア、自律分散協調システムなど Copyright ©2009 NTT DATA Corporation 5

なぜ Hadoop か？今まで扱うことが難しかった領域を切り拓くペタバイトクラスのデータ、大規模分散処理数千台規模のサーバを用いることで、従来は困難であった処理が実現できる『定型的な業務データ』処理の枠組みにとらわれない単純なETLではなく準定型的なデータも扱える柔軟な ETL & ELT (*1) プロセス指向だけでなく、データ指向に基づいたシステムの浸透 Extract Transform Load ターゲット Transform Analyze 現在：コスト、スケールに価値を見出す『先見派』 Source Data 今後：さらなる生産性向上の手段を Repository 求めている『実利派』 * “Impact of Cloud Computing on Research in Extreme Scale Analytics” Hamid Prahesh pirahesh@almaden.ibm.com Copyright ©2009 NTT DATA Corporation 6

ＯＳＳ構築実績（規模・処理量マップ）処理量（万件/時）６０先見派今後のターゲット ● 領域４０実利派 ● ● ● 構築・運用支援中 ● ２０ ● ● ● １０ ● 経産省 ● ● ● 実証案件 ● ５ ● ● 実施中 ● ● ● ● ● 10万件 100万件 300万件 500万件 1000万件 1億件 10億件 DB規模 Copyright ©2009 NTT DATA Corporation 10

２匹目の象を育むために新技術普及の流れ顧客数 PostgreSQL ｻｰﾊﾞLinux キャズムパフォーマンス市場(ハイエンド） Hadoop バリュー市場(メインストリーム) 先見派懐疑派マニア実利派保守派時間顧客が自分で改造自分で組み合わせる技術に強い、リスクは取らない技術に強くはない、コモディティ化した技術を組み込まれて目に生産性向上の手段を求めているマーケット・リーダから購入、手厚いサポート見えなければ購入必須要件定義支援サービス、設計・構築サービスの提供要件定義支援サービス、設計・構築サービスの提供 OSからHadoopまで一貫したスタックサポートサービス、 OSからHadoopまで一貫したスタックサポートサービス、オンサイト障害対応サービスの提供オンサイト障害対応サービスの提供 OSS基盤を使ったシステム構築の実績作り OSS基盤を使ったシステム構築の実績作り Copyright ©2009 NTT DATA Corporation 12

３つのクラウドタイプ Amazon Force.com Hadoop タイプのIaaS タイプのPaaS タイプのPaaS 徹底した徹底した徹底した特徴仮想化インフラの追及マルチテナンシーの追及スケーラビリティの追及（DB仮想化）（BASE） Webアプリ大規模データ Webアプリワークフロー BI/DWH 一品モノビジネスプロセス系センサー系適したアプリ既存アプリのマイグレー参照・問合せ系分析系、バッチ系ションキャンペーンサイト参照・問合せ系社内システムメディア系高トランザクションリアルタイム高インタラクティブ適さないアプリ大規模データ、BI/DWH メディア系コンテンツトランザクション大規模データ、BI/DWH 高インタラクティブ（Web/AP/DB）サーバ MapReduce （AP/API/検索）サーバゲストOS、ゲストOS、・・・分散ファイルシステムスタック構成 VMM（ハイパーバイザー） DBクラスタ OS ハードハードハード Copyright ©2009 NTT DATA Corporation 13

経産省「実証事業」に Hadoopベースの提案が採択テーマ：クラウド型分散処理基盤（Hadoop）の適用性評価基盤の観点では... クラウド基盤信頼性向上への取り組み Master Server の冗長化確立した Heartbeat + DRBD に加えて Kemari + DRBD を評価クラウド基盤運用効率化への取り組み初期構築・増設、故障交換時のノードの自動構成を標準的な製品機能とＯＳＳの組合せで実現サーバの種別・機種が混在する環境でも適用可能な実装を実証 Copyright ©2009 NTT DATA Corporation 14

Heartbeat + DRBD による Master Server の冗長化 Master Server(NameNode,JobTracker)の冗長化を実現 Heartbeat Linux-HAプロジェクトによって開発されたサーバのHAソフトウェア http://www.linux-ha.org/ja/HomePage_ja DRBD(Distributed Replicated Block Device) 2台のサーバ間でディスク上のデータミラーリングを実現するソフトウェア http://www.drbd.org/ NameNode NameNode heartbeat heartbeat 永続データの同期型ミラー DRBD DRBD NameNode(待機系) NameNode(現用系) イメージファイル editsファイル Heartbeat/ミラーリング LAN イメージファイル editsファイル Copyright ©2009 NTT DATA Corporation 15

Master Server冗長化（続き） Master Serverのうち、 Job Trackerは永続データの引き継ぎは不要 NameNodeの冗長化では永続データの引継ぎが必要イメージファイル HDFS上のデータに対する格納先ノード、ブロックサイズなどのメタ情報が格納されたファイル NameNode起動時にメモリにロードされ、チェックポイントのタイミング及び、NameNode停止時にディスク上のファイルにフラッシュされる。 editsファイルイメージファイルに対するトンラザクションログメタ情報の更新時はイメージファイルではなく、トランザクションログに更新内容が出力 NameNodeの異常終了(プロセスダウンなど)後にNameNodeを起動する場合、イメージファイルにeditsファイルの更新内容が適用され、異常終了直前の整合性が維持された状態にメタ情報が復元される。 Job Trackerのハード故障時、実行中のJobの内容は失われる... 長時間かけた処理の結果が失われるのは辛い Copyright ©2009 NTT DATA Corporation 16

“Kemari” ? 蹴鞠 (Kemari) 鞠を落とさない！ ↓ サーバを落とさない！ http://www.ntt.co.jp/cclab/activity/category_6/a_product_01.html http://www.osrg.net/kemari/ Copyright © 2007-2008 Nippon Telegraph and Telephone Corporation 17 17 Copyright ©2009 NTT DATA Corporation

“Kemari” + DRBD による Master Server の冗長化 Job Tracker ハード故障時でも、Job の中断・再試行を回避できる Kemari KVM版開発中!! [2] 運用系の差分を転送 [3] 差分で待機系を更新 Kemari Kemari Kemari 差分転送差分転送差分更新 Dom0 DomU Sync DomU DomU Dom0 Back-end Front-end Front-end Back-end Kemari イベントチャネル Kemari イベントチャネル Xen Xen Network Hardware Hardware [1] 特定のイベントを DRBD or SAN 補足し、ＶＭを一時停止 Copyright ©2009 NTT DATA Corporation 18

まずは、大規模データ処理ニーズを取り込む現在：先見派～コスト・スケールメリットを訴求とにかく大きなデータを扱いたい－大量の生データあまり複雑な処理まで未だ望んでいないバッチ処理でデータを抄訳、... メリットがあるところから適材適所で使われるまずは大規模バッチへの適用から、適宜従来システムとのハイブリッド化（例 Facebookのハイブリッド構成）基盤の経済的な構築・運用の実績作りの段階今後：実利派～『生産性向上』のシナリオデータ指向に基づいたITシステムの活用が新しいIT領域を切り拓き、新しいビジネスを創出するより抽象度の高いツールの使いこなし ← 今後の取り組み適切な可視化ツールの整備 Copyright ©2009 NTT DATA Corporation 20

大規模データを対象としたITシステム今まで扱うことが難しかった領域を切り拓く～大規模データを扱うシステムそれ自体が「新しいＩＴシステム」大量データを扱うプラットフォームを Commodity で実現するのが当り前に長期に渡るデータの収集、Ｗｅｂスケールのデータ収集を可能に → ＨＤＦＳ + IAサーバプロセス指向のＩＴシステムからデータ指向に基づいたITシステムへの転換プロセス指向のIT化～データの扱いは ETL Extract Transform Load ドメイン・業務分析 → 構造化できるデータを特定 → システム化活用予め解釈を与えておいてデータ指向のIT化 Gather Extract Load & Transform 集めて面白そうな対象を選びシステムに取り込みモデル化を試みる分析対象のモデル化作業自体をIT化の対象とする Extreme Analytics データを対象にした extreme programming 様のプラットフォームとして Hadoop が普及 ☺ Copyright ©2009 NTT DATA Corporation 21

お問い合わせ先：株式会社ＮＴＴデータ基盤システム事業本部システム方式技術ビジネスユニット OSS技術統括部（担当：濱野, 政谷）メール： hadoop@kits.nttdata.co.jp TEL： 050-5546-2496 記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商標です。

http://www.slideshare.net	110
file://	1
http://s.deeeki.com	1

Hadoop Conference Japan 2009 - NTT Data

by System Platforms Sector / NTT Dara Corp on Nov 23, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 112

Statistics

Hadoop Conference Japan 2009 - NTT Data — Presentation Transcript