VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ

Copyright © 2014 Nautilus Technologies, Inc. All rights reserved.
Proprietary & ConfidentialNAUTILUS
 
Hadoop 向けバッチアプリケーション開発フレームワーク
Asakusa Frameworkが目指すところ 
 
〜Hadoopを使いたい訳じゃなく　だだやりたい事をやりました〜
2014/7/4
株式会社ノーチラス・テクノロジーズ
http://www.nautilus-technologies.com/
mailto:contact@nautilus-technologies.com
Tel: 03-6712-0636

NAUTILUS 1Proprietary & Confidential
自己紹介　　　

² 三菱系ディーラーでオフィスコンピュータ MELCOM80 を直販
ü どぶ板営業で営業の基礎を学ぶ
² サン・マイクロシステムズへ転職
ü 100年に一度のITバブルを体験
² Javaで一世風靡した(?) イーシー・ワンに参加
ü ハードウェアの世界からソフトウェアの世界へ
² ３年前に脳梗塞を発症
ü それ以来幸せを感じるハードルが下がる
² 最近の座右の銘
ü 「人生竹トンボ」（家族、仕事、自分の時間）
² 直近の夢

ü 早く事業を成長させ糸島（福岡）に拠点を設けて波乗りを楽しみたい

会社概要
　　株式会社ノーチラス・テクノロジーズ
　　　　【設立】2011年11月設立
　　　　【従業員】約 13 人
　　　　　　【所在地】〒140-0001 東京都品川区北品川1-19-5 コーストライン品川ビル 4階 Tel: 03-6712-0636 Fax:03-6712-0664

　　
事業内容
■Asakusa Framework 事業（Hadoop向け開発フレームワーク）
■Hadoopリセール事業（MapRライセンス販売及びテクニカルサポート）
■流通BMS 事業（流通消費財向けEDIミドルウェア販売）

ビッグデータの火付け役 Hadoop
l Hadoopとは
l  ⼤大規模なデータを複数のコンピューター上で分散して処理理・管理理をするための
l  　オープンソースフレームワーク
l  Googleが公開した基盤ソフトウェアに関する情報をもとに開発された
l  ApacheプロジェクトのOSS
l  Hadoopを構成するモジュール
l  MapReduceフレームワーク
l  HDFS(Hadoop Distribution File System 分散ファイルシステム)
l  Hive、Pig (MapReduce処理理を記述するDSL)
l  HBase(分散データベース)
l  Zookeeper(分散合意エンジン）
l  多数の実績
l  Yahoo!(⽶米国)
l  ⼤大きいクラスターは4000ノードの⽔水準
l  Yahoo内には複数のクラスターがあって、ノード総数は25000以上
l  Pigを開発している主体
l  FaceBook(⽶米国)
l  世界最⼤大のSNS 　Hadoopクラスタ規模世界1位 140Peta
l  Hiveを開発している主体

Hadoop の最も注目するべきメリット
l 分散IOによるバッチ⾼高速化
n  現⾏行行のシステムの⼤大抵のリソースボトルネックはディスクIO
n  Hadoop最⼤大のメリットは分散IO
ディスク
シーケンス処理
CPU
「使い切れない」
RDBMSベース
Hadoopベース
ディ
スク
ディ
スク
ディ
スク
メモリー
CPU
「使い切れる」
メモリー
CPU
メモリー
CPU
データ
メモリー
ストリーミング読み込みを行い、データの一括読み込みを行う
単一ノードでは処理の多重度に限界がある

Hadoopは HPCと同様のアーキテクチャ

スパコンの様なパワーを活用して

業務システム上のボトルネックを解消

経営に資する情報をいち早く入手

ITの制約で諦めていた事を実現

しかも圧倒的なコストパフォーマンスで


どのようにして Asakusa Frameworkは生まれたの？

流通業界の積年の課題

VS
いつも勝負の相⼿手は汎⽤用機

<
多重度で圧倒的なパワー

問題意識の始まり　「バッチが遅い！」
l 既存のバッチ処理理は⼀一向に改善されていない
n  汎⽤用機からオープン系のレガシー・マイグレーションは、フロントエンドのオンライ
ン処理理にとどまり、バックエンドのバッチ処理理は、⼗十数年年来にわたり放置されている。
n  結果として
l バッチ処理理の負荷に対する対策に打つ⼿手がなくなりつつある。
l バッチ処理理時間の突抜けによる、「直接損害」の発⽣生が⼤大規模障害に発
展することも起きるようになってしまった
l バッチ速度度の向上は、既存のテクノロジーでは限界がある
l 分散IOを利利⽤用したHadoopでバッチ処理理の⾼高速化が可能
l 従来のスーパーコンピューターの技術を利利⽤用

Hadoopでバッチ処理が速くなると何がよくなるのか？
l バッチ処理理〜～⾼高速化で効果が出る分野
n  ①今まで時間的な制約できなかった処理理を何度度も⾏行行うことができる
l  ⽉月次・週次での処理理を⽇日次で⾏行行える。可能であれば「即時処理理」
l  シミュレーション・確定処理理・クレンジング・引当・受発注・在庫管理理・　
予測処理理
l  特に「年年次処理理」といった特別なバッチ処理理
n ②時間的に処理理が不不能であったデータも処理理をする
l  13か⽉月実績推定から100カ⽉月超のデータも取り込む
l  データ種が異異なるデータもまとめて処理理にかける
n ③無駄な時間がなくなり、運⽤用のコストが劇的に下がる
l  夜間バッチをなくして、運⽤用監視の⼈人的なコストを下げる
l  リカバリーが速い
n 基本的にバッチ処理理の⻑⾧長時間化は、業務フローの中断になっているため
時間的なロスが発⽣生している。→解消することが可能

アンデルセン・サービス様

アンデルセン様のケース
l 現状
l 原材料料からの製品原価計算で４時間近くかかっている。
l ビッグデータではないが、BOMの展開・原価の積上げに時間が
かかっていた。
l ⽊木構造の関連を辿るのでRDBMSだと効率率率が悪い。
l 課題
l 原価計算のシミュレーションをかなりの頻度度で⾏行行いたい
l 現状の4時間バッチでは、その時間のバッチ・ウィンドウの確
保が週に2回が限界
l 原価は想定や予算ではなく、「アクチュアルの数字」で⾏行行いたい
l 実際のBOMのデータそのものを利利⽤用したい

バッチ実行時間について
l 実際の実⾏行行時間
l  Clusterの起動と停⽌止
l  4分〜～⾮非常に⾼高速
l  データの送受信の転送
l  5分〜～数G程度度なので、時間はかからない→基幹系のデータの特徴
l  実際の計算
l  12分〜～実際の計算はこの程度度で終わっている。
2 12 3 2
0 5 10 15 20 25
バッチ処理理時間
Clusterの起動データの転送原価計算データの受信 Clusterの停⽌止
4時間のバッチ処理理が20分で終了了

Asakusa＋AWS
n AmazonVPCでHadoop基幹バッチを動かす
n AmazonVPCを利利⽤用することで、特別の追加的なハードは⼀一切切不不要。あたか
も⾃自社のネットワークの延⻑⾧長上で、バッチが動いているように⾒見見える
アンデルセン様データセンター
Amazon VPC
インターネット
DBサーバ
バイナリファイル
入力ファイル
結果ファイル
①
Hadoop Slave
①本番のDBサーバーから
、原価計算に必要な情報を
取得する。
②
②シーケンスファイ
ルで転送する。
③
③受信したデータを
HDFSへ登録する。
④バッチを実行する。
④
⑤バッチ処理結果を圧縮し
て転送する。
⑤
⑥処理結果をDBサーバ
ーへアップデートする。
⑥
Hadoop Masterバッチサーバ

Hadoopでバッチ処理を
行うために
Asakusa

Asakusa Framework
n Hadoopは基本的にBIを前提の仕組みで、⾜足りない部分が多い
n  そもそも⼤大規模開発の⼿手法がない
n  MRやWritableの実装が職⼈人芸
n  テストツールが貧弱
n  運⽤用についてはあまり考えていない
n  ちょっと⼈人数が増えると制御不不能になるのでPig・Hiveのような上位層の利利⽤用が
必須になる。
n  ところが・・・Hadoopでは、基幹バッチでよく使われる「⾮非常に多種類
のデータ」の「単純な処理理の組み合わせ」を「複雑なフロー処理理」で⾏行行う
仕組みのための上位層がない。
n  Pig・Hiveではちょっと無理理っぽい。また、開発⽅方法論論も特にない。テスト
・運⽤用ツールが不不⾜足している。
Hadoop　Core
Core・HDFS・MapReduce
Pig
Hive
Asakusa
Oozie
JP1等の通常管理

Asakusa DSL(Domain Specific Language)
n データフローを意識識したDSL
n  個々のデータが流流れながら分類、変更更されていく
n  データフロー形式で設計すれば実装も容易易
n DSLからコンパイラでMapReduceを⽣生成
n  開発時にMapReduce⾃自体はできるだけ意識識させない
n  MapReduce特有のコードをコンパイラが⾃自動⽣生成
• Asakusa DSL
DSL
コンパイラ
MR
#1
MR
#2

Asakusa Frameworkの特徴
基幹システム開発向けに必要な周辺機能を提供
シンプルなデータモデル定義と結合や集計処理の自動生成
様々な外部システムとのデータ連携モジュール
Asakusa DSLと連携したテストツール
システム構成に応じてカスタマイズ可能なバッチ実行ツール

オープンソースとして公開
Asakusa Frameworkトレーニング
Asakusaを触って⾒見見たいという⽅方向けの⼊入⾨門編トレーニングコース

「Asakusaによる分散バッチアプリケーション開発⼊入⾨門」を開催

n  ⼆二⽇日間のコース　座学とハンズオン

n  １⽇日⽬目　Asakusa
Frameworkの講義実習

n  Asakusa
Framework
概要

n  Asakusa
Framework
開発環境の準備

n  Asakusa
Data
Model

n  Asakusa
DSL

n  Asakusa
Framework
アプリケーションテスト

n  ２⽇日⽬目　Asakusa
Framework
ハンズオン実習

n  ハンズオン形式で実際にAsakusa
Frameworkの導⼊入か
らバッチのサンプルプログラムを作成し、テストを⾏行行
うまでを実習します

n  ハンズオンに必要なPC、受講に必要なテキスト等は、
準備いたします

n  毎⽉月⼀一回程度度の開催

n  受講費⽤用

n  198,000円／1名

Asakusa Framework
ユーザーコミュニティー

OSSコンソーシアム
Asakusa Framework部会

国産OSS コミュニティ−の活性化

Asakusa Framework で貢献したいこと 

n  生産性の向上を IT で実践し、日本企業の成長に寄与したい
　　結果、次の世代に競争力のある IT システムを継承したい

n  少ない人数でサービスレベルを下げずに付加価値の高いシステム
　　を作らなければならない。その課題解決に寄与したい。

 

少子高齢化社会
グローバリゼーション

VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (14)

Similar to VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ

Similar to VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ (20)

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES (18)

Recently uploaded

Recently uploaded (14)

VIOPS09: Hadoop向けバッチアプリケーション開発フレームワーク Asakura Frameworkが目指すところ