Hadoop Conference Japan 2009 - NTT Data

Hadoop Conference Japan 2009

SI事業の視点から見た Hadoop の適用領域と今後の展望
～ NTTデータにおけるHadoopへの取り組み～

２００９年１１月１３日

株式会社ＮＴＴデータ
基盤システム事業本部
政谷

Copyright ©2009 NTT DATA Corporation

担当紹介
NTTデータ基盤システム事業本部 OSS技術統括部
Linux/OSSを利用したシステム構築・運用をサポートする業務を担当
OSSによるシステム基盤 Prossione®
– 徹底的に検証・評価したOSSの組み合わせ、設定・運用のノウハウの提供
– 高品質なシステム基盤を実現する仕組みの整備

OSSのサポートサービス Linaccident®
– 幅広いOSSを対象とするプロフェッショナルサービスの提供

最近は、OSSを活用したクラウド分散処理基盤 Hadoopの技術整備
も担当

『象』好きです
PostgreSQL Hadoop

Copyright ©2009 NTT DATA Corporation 1

本日のアジェンダ

Hadoopへの取り組み
ＯＳＳベースの企業ＩＴシステム規模と動向
NTTデータの取り組み
Hadoop＋OSSで今後のITはどう変わるのか


Hadoopへの取り組み


ＯＳＳの未来

従来技術は、必要充分な性能をもっ
性
た後発のローエンド技術に凌駕されてム）
能レー
いく！
インフ
（メ
ＯＳ
独自ｗｓ
ＮＩ
Ｘ
ド＋ｎｄｏ
Ｕ
一般的なハー
ード＋ＷｉＳＳ
顧客が利
用自ハ＋Ｏ
独＋
能
独自ーバ
可能な性
ーバ
「メトカーフの法則」
ＩＡサ
Ａサ
ネットワークの価値は
Ｉユーザ数の２乗に比例
（マス・コラボレーションの時代）
「ギルダーの法則」
ネットワークの通信速度は
「ムーアの法則」 6～9ヵ月で2倍
半導体集積密度は18ヵ月で２倍（ネットワークの時代）

1970 1980 1990 2000 未来

クラウド時代のITシステム ...
IT基盤をより Smart に
無駄を減らすことによる効率化、資源のプール化などで実現
単一性と多様性のバランスが練られたシステム
コモディティ技術を使い切ることがポイントに

スケールアウト技術を身近なものに
IAサーバ＋OSSにより多数のサーバの利用が容易化
新しい処理モデルやデータモデルの浸透
従来のACIDを求める処理方式とは異なるモデル
MapReduceアルゴリズム、Key-Valueストア、自律分散協調システムなど


なぜ Hadoop か？
今まで扱うことが難しかった領域を切り拓く
ペタバイトクラスのデータ、大規模分散処理
数千台規模のサーバを用いることで、従来は困難であった処理が実現できる

『定型的な業務データ』処理の枠組みにとらわれない
単純なETLではなく準定型的なデータも扱える柔軟な ETL & ELT (*1)

プロセス指向だけでなく、データ指向に基づいた
システムの浸透

Extract Transform Load

ターゲット Transform
Analyze
現在：コスト、スケールに価値を
見出す『先見派』
Source Data
今後：さらなる生産性向上の手段を Repository

求めている『実利派』
* “Impact of Cloud Computing on Research in Extreme Scale Analytics” Hamid Prahesh pirahesh@almaden.ibm.com

ＯＳＳベースの企業ＩＴシステム
規模と動向


ＯＳＳ構築実績（規模・処理量マップ）
処理量
（万件/時）
～１５０ＴＰＳ
～２ＴＢ
６０

●

４０
● ●
●
●

２０
● 敢えて乱暴に絵を描いてみる
●

●
１０
●
● ● ●
●
５ ● ● ●
● ●
● ●

10万件 100万件 300万件 500万件 1000万件 1億件 10億件
DB規模


処理量
（万件/時）～数ＰＢ

構築・運用
６０
支援中
●

４０
● ●
●
●

２０ ●
●

●
１０
● 経産省
● ● ● 実証案件
●
５ ● ● 実施中
●
● ●
● ●

10万件 100万件 300万件 500万件 1000万件 1億件 10億件
DB規模


処理量
（万件/時）

６０
先見派
今後のターゲット
●
領域
４０実利派
●
●
●
構築・運用
支援中
●

２０ ●
●

●
１０
● 経産省
● ● ● 実証案件
●
５ ● ● 実施中
●
● ●
● ●

10万件 100万件 300万件 500万件 1000万件 1億件 10億件
DB規模


NTTデータの取り組み


２匹目の象を育むために
新技術普及の流れ
顧
客
数 PostgreSQL ｻｰﾊﾞLinux

キャズム
パフォーマンス市場(ハイエンド）
Hadoop
バリュー市場(メインストリーム)
先見派懐疑派
マニア実利派保守派
時間
顧客が自分で改造自分で組み合わせる技術に強い、リスクは取らない技術に強くはない、コモディティ化した技術を組み込まれて目に
生産性向上の手段を求めているマーケット・リーダから購入、手厚いサポート見えなければ購入
必須

要件定義支援サービス、設計・構築サービスの提供
要件定義支援サービス、設計・構築サービスの提供
OSからHadoopまで一貫したスタックサポートサービス、
OSからHadoopまで一貫したスタックサポートサービス、
オンサイト障害対応サービスの提供
オンサイト障害対応サービスの提供
OSS基盤を使ったシステム構築の実績作り
OSS基盤を使ったシステム構築の実績作り

３つのクラウドタイプ

Amazon Force.com Hadoop
タイプのIaaS タイプのPaaS タイプのPaaS
徹底した徹底した
徹底した
特徴仮想化インフラの追及
マルチテナンシーの追及スケーラビリティの追及
（DB仮想化）（BASE）
Webアプリ大規模データ
Webアプリワークフロー BI/DWH
一品モノビジネスプロセス系センサー系
適したアプリ既存アプリのマイグレー参照・問合せ系分析系、バッチ系
ションキャンペーンサイト参照・問合せ系
社内システムメディア系

高トランザクションリアルタイム
高インタラクティブ
適さないアプリ大規模データ、BI/DWH メディア系コンテンツ
トランザクション
大規模データ、BI/DWH 高インタラクティブ

（Web/AP/DB）サーバ MapReduce
（AP/API/検索）サーバ
ゲストOS、ゲストOS、・・・分散ファイルシステム
スタック構成 VMM（ハイパーバイザー）
DBクラスタ
OS
ハード
ハードハード


経産省「実証事業」に Hadoopベースの提案が採択

テーマ：クラウド型分散処理基盤（Hadoop）の適用性評価
基盤の観点では...

クラウド基盤信頼性向上への取り組み
Master Server の冗長化
確立した Heartbeat + DRBD に加えて Kemari + DRBD を評価

クラウド基盤運用効率化への取り組み
初期構築・増設、故障交換時のノードの自動構成を標準的な
製品機能とＯＳＳの組合せで実現
サーバの種別・機種が混在する環境でも適用可能な実装を実証


Heartbeat + DRBD による Master Server の冗長化
Master Server(NameNode,JobTracker)の冗長化を実現
Heartbeat
Linux-HAプロジェクトによって開発されたサーバのHAソフトウェア
http://www.linux-ha.org/ja/HomePage_ja
DRBD(Distributed Replicated Block Device)
2台のサーバ間でディスク上のデータミラーリングを実現するソフトウェア
http://www.drbd.org/

NameNode NameNode

heartbeat heartbeat
永続データの同期型ミラー
DRBD DRBD

NameNode(待機系)
NameNode(現用系)

イメージファイル
editsファイル Heartbeat/ミラーリング LAN
editsファイル


Master Server冗長化（続き）
Master Serverのうち、 Job Trackerは永続データの引き継ぎは不要
NameNodeの冗長化では永続データの引継ぎが必要

HDFS上のデータに対する格納先ノード、ブロックサイズなどのメタ情報が格納されたファイル
NameNode起動時にメモリにロードされ、チェックポイントのタイミング及び、NameNode停止
時にディスク上のファイルにフラッシュされる。
editsファイル
イメージファイルに対するトンラザクションログ
メタ情報の更新時はイメージファイルではなく、トランザクションログに更新内容が出力

NameNodeの異常終了(プロセスダウンなど)後にNameNodeを起動する場合、
イメージファイルにeditsファイルの更新内容が適用され、異常終了直前の整合性が
維持された状態にメタ情報が復元される。

Job Trackerのハード故障時、実行中のJobの内容は失われる...
長時間かけた処理の結果が失われるのは辛い


“Kemari” ?

蹴鞠 (Kemari)

鞠を落とさない！
↓
サーバを落とさない！

http://www.ntt.co.jp/cclab/activity/category_6/a_product_01.html
http://www.osrg.net/kemari/
Copyright © 2007-2008 Nippon Telegraph and Telephone Corporation 17 17
Copyright ©2009 NTT DATA Corporation

“Kemari” + DRBD による Master Server の冗長化

Job Tracker ハード故障時でも、Job の中断・再試行を回避できる

Kemari KVM版開発中!!

[2] 運用系の差分を転送 [3] 差分で待機系を更新

Kemari
Kemari Kemari
差分転送
差分転送差分更新
Dom0 DomU
Sync DomU DomU Dom0

Back-end Front-end Front-end Back-end

Kemari イベントチャネル
Kemari イベントチャネル Xen
Xen
Network
Hardware Hardware

[1] 特定のイベントを DRBD or SAN
補足し、ＶＭを一時停止


Ｈａｄｏｏｐで
今後のITはどう変わるのか


まずは、大規模データ処理ニーズを取り込む
現在：先見派～コスト・スケールメリットを訴求
とにかく大きなデータを扱いたい－大量の生データ
あまり複雑な処理まで未だ望んでいない
バッチ処理でデータを抄訳、...

メリットがあるところから適材適所で使われる
まずは大規模バッチへの適用から、適宜従来システムとのハイブリッド化
（例 Facebookのハイブリッド構成）

基盤の経済的な構築・運用の実績作りの段階

今後：実利派～『生産性向上』のシナリオ
データ指向に基づいたITシステムの活用が新しいIT領域を
切り拓き、新しいビジネスを創出する

より抽象度の高いツールの使いこなし ← 今後の取り組み
適切な可視化ツールの整備


大規模データを対象としたITシステム
今まで扱うことが難しかった領域を切り拓く
～大規模データを扱うシステムそれ自体が「新しいＩＴシステム」

大量データを扱うプラットフォームを Commodity で実現するのが当り前に
長期に渡るデータの収集、Ｗｅｂスケールのデータ収集を可能に
→ ＨＤＦＳ + IAサーバ

プロセス指向のＩＴシステムからデータ指向に基づいたITシステムへの転換
プロセス指向のIT化～データの扱いは ETL
Extract Transform Load
ドメイン・業務分析 → 構造化できるデータを特定 → システム化活用
予め解釈を与えておいて
データ指向のIT化
Gather Extract Load & Transform
集めて面白そうな対象を選びシステムに取り込みモデル化を試みる

分析対象のモデル化作業自体をIT化の対象とする Extreme Analytics
データを対象にした extreme programming 様のプラットフォームとして Hadoop が普及 ☺


お問い合わせ先：
株式会社ＮＴＴデータ基盤システム事業本部
システム方式技術ビジネスユニット OSS技術統括部（担当：濱野, 政谷）
メール： hadoop@kits.nttdata.co.jp TEL： 050-5546-2496

記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商標です。

Hadoop Conference Japan 2009 - NTT Data

More Related Content

What's hot

Viewers also liked

Similar to Hadoop Conference Japan 2009 - NTT Data

More from NTT DATA OSS Professional Services

Hadoop Conference Japan 2009 - NTT Data