バッチソリューションAzarea cluster 2016

© 2016 CAC Corporation. All rights reserved.
激増するデータを
効果的に処理するバッチソリューション
AZAREA-Cluster
2016年2月5日
株式会社シーエーシー ICT営業本部技術企画
田中等
thitoshi@cac.co.jp

自己紹介
株式会社シーエーシー
今年50周年を迎える老舗のSIer
社員数約1,000名
田中等
アーキテクトとして多くのシステム開発プロジェクト
に参画
最近は、個別プロジェクトのアーキテクチャだけでは
なくプロジェクトをまたいだソリューション開発を手
掛ける
1

アジェンダ
バッチの問題
SIerの課題
AZAREA-Clusterによる解決
AZAREA-Clusterの効果
2

© 2016 CAC Corporation. All rights reserved. 3
バッチの問題

バッチで問題になりがちなのは？
4

なぜパフォーマンスが問題になるのか？
処理時間を見積るのが難しい
例えば、同じデータ量でも処理内容により時間はまっ
たく異なる
実際に作って測ってみないと分からない
分からないのでとりあえず大き目に見積る
必要以上のマシンスペック
それでも小さ過ぎる場合もある
5

SQLの問題
SQLは非常にポピュラーな言語
バッチをSQL（ストアドプロシージャ）で開発す
ることも多い
SQLにも問題がある
6
！

SQLの問題
実行計画によりパフォーマンスが劇的に変わる
インデックスが使われるか、メモリ内でソートできるか、…
SQLの書き方でパフォーマンスが劇的に変わる
技術者への依存性が高い
データ量によりパフォーマンスが劇的に変わる
ある日突然遅くなることがある
7
処理時間
データ量

SQLの問題
SQLをチューニングすることによりパフォーマンスを改善できる
しかしチューニングにも限界がある
オンラインは処理件数が少ないので、何とかなりやすい
バッチは処理件数が多いので、チューニングでは不十分なことも多い
結局ハードウェアのスケールアップに頼ることも
高価なDWHアプライアンス製品が必要になることも
8

並列分散処理の問題
並列分散処理では、スケールアウトによりパフォーマン
スを向上する
スケールアップに比べて向上の余地が大きい
処理時間を想定しやすい
マシン数を2倍にすれば、処理時間は1/2になるだろう
パブリッククラウドを利用すれば、コストを抑えられる
並列分散処理にも問題がある
9
！

Hadoop
オープンソースの並列分散処理基盤
並列分散処理を今までよりも容易にした
今やビッグデータ処理のデファクトスタンダードとも言える
10

Hadoopの課題
アプリケーションの開発は特殊で難しい
Hadoopエンジニアの数 << SQLエンジニアの数
少量データには向かない
処理実行のオーバーヘッドが大きい
※最近では、Hadoopを様々な点で改善した新たな並列分
散処理基盤、Sparkも注目されている
11

もう1つの問題
データ量により最適なアーキテクチャが異なる
例えば、少量ならSQL、大量ならHadoop
大は小を兼ねない
 一般的に、大量データ用のアーキテクチャはコストパフォーマンスが悪い
設計時の見極めが難しい
必要十分なアーキテクチャは？
将来データ量が増えたらどうする？
アーキテクチャは簡単には変えられない
12

バッチの問題のまとめ
SQL
大量データには向かない
Hadoop
少量データには向かない
開発が難しい
データ量により最適なアーキテクチャが異なる
しかし、データ量は変化する
13
方式
データ量
小～中規模大規模
SQL ●
×
パフォーマンスの
低下
Hadoop
×
処理の
オーバーヘッド
▲
開発が難しい

SIerの課題

SIerの課題
「スクラッチ開発」中心では生き残れない
一から全てを開発するのではコストが掛かり過ぎる
競合他社と差別化しにくい
価格競争に陥りがち
製品・ソリューション中心に
複数の顧客に展開することによりコストダウン
競合他社には無い独自の製品・ソリューションを差別化要素に
15

17
SIerの課題バッチの問題
バッチの問題を
解決する製品を！

大規模データの問題を解決
まずは大規模データの問題を解決することに
18
方式
データ量
SQL ●
×
低下
Hadoop
×
処理の
▲
開発が難しい

Hadoopを簡単に！
容易なAPI
 HadoopのAPIをラップし、業務アプリ的なAPIに
GUI開発ツール
 データフロー図を描くとバッチのソースコードが生成される
 必要に応じてソースコードをカスタマイズ
その他、デバッグ・テスト支援機能
19
Hadoop
AZAREA-Cluster
バッチアプリケーションGUI開発ツールフロー図
Java

AZAREA-Clusterにより大規模データ処理の問題を解決
20
方式
データ量
SQL ●
×
低下
Hadoop
×
処理の
▲
開発が難しい
AZAREA-Cluster
×
処理の
●
開発は容易

小～中規模データの問題を解決
業務バッチの現実
実際には「大規模データ」を扱う業務バッチは少なかった
Hadoopはオーバースペック
 数並列程度で十分
 つまり、マシン1台で十分
 オープンソースであってもコストは掛かる
 最低限のマシン数、環境構築、運用、サポート、…
Hadoop無しで実行できないか？
21

スタンドアローン実行モード
Hadoopは使わず単一マシンでマルチスレッド実行する
 1～16並列程度
Hadoopを参考に、独自の実行エンジンを開発
同じバッチがHadoopでもスタンドアローンでも動く
22
Hadoop
バッチアプリケーション
Java
AZAREA-Cluster
Hadoopラッパスタンドアローン
実行エンジン
Hadoopモードスタンドアローンモード

AZAREA-Clusterによりアーキテクチャ不統一の問題を解決
23
方式
データ量
SQL ●
×
低下
Hadoop
×
処理の
▲
開発が難しい
AZAREA-Cluster ●
オーバーヘッド無し
●
開発は容易

データ量によらず同じアーキテクチャ
設計時にアーキテクチャを誤るリスクが無くなる
完成後もデータ量の変化に容易に対応できる
24

中規模データの業務バッチを高速化
製薬業向けの営業支援システム
薬の販売実績データを、分析のために加工・集計するバッチ
26
AZAREA-Cluster
バッチアプリケーション販売実績
データ
集計結果

中規模データの業務バッチを高速化
中規模とは言え、SQLでは相当時間が掛かる
AZAREA-Clusterを使い、SQLより倍以上高速
スタンドアローンモード
8CPU
将来のデータ増加にも容易に対応できる
27

画面とバッチとで業務処理を共通化
受託機関・基金・事業所様向けのCAC製年金管理パッケージ
 Micmari (みくまり)
多数の企業、多数の年金加入者の年金計算をバッチで処理
画面からも同様の処理を可能
28
画面
バッチ
業務処理
AZAREA-Cluster
業務処理
AZAREA-Cluster
少量データ
大量データ
Webサーバ
Hadoop
共通共通

画面とバッチとで業務処理を共通化
業務処理をAZAREA-Clusterで実装
バッチでは、大量データ処理
Hadoopを利用
画面では、1件ずつ処理
生産性・保守性が向上
年金の制度変更や機能追加への迅速な対応が可能に
29

IoTシステムの基盤として
30
機器
センサー
集計
可視化機械学習
制御
アラート
【スピードレイヤー】
【バッチレイヤー】
ルール
参照
バッチ
AZAREA-Cluster
データ
ベース
キュー
Streaming

まとめ

まとめ
AZAREA-Cluster
大規模データは、Hadoopを利用して高速処理
小～中規模データも、マルチスレッドで高速処理
データ量によらず、同じアーキテクチャで効率的に処理可能
32

バッチソリューションAzarea cluster 2016

Recommended

Recommended

More Related Content

What's hot

What's hot (14)

Similar to バッチソリューションAzarea cluster 2016

Similar to バッチソリューションAzarea cluster 2016 (20)

Recently uploaded

Recently uploaded (6)

バッチソリューションAzarea cluster 2016