1. Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Insight Technology, Inc.
新久保 浩二
切り開けDBエンジニア
データ分析基盤へインサイトテクノロジーの1つの答えとは！

2. 2
• データはアセット(喜連川さん)
• データの時代(ジェイソン)
• 分析のスピードは大事(もう、当たり前)
• そこで、大量のデータ(アセット)をいかに効率よく分析に
するか。が大事
Copyright © 2012 Insight Technology, Inc. All Rights Reserved.

3. 3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise meets 象

4. 4Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
僕が象と戦った歴史

5. 5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で夢を見ていた時代
• HDFSは無限のスケーラビリティと
アベイラビリティがあるじゃないか
• HiveはHDFS上でQueryらしき
ものが扱える
• 既存のRDBMSで不可能なことが
可能になるかもしれない

6. 6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
こんな感じで検証してました。
今も現役で検証機として使ってますが

7. 7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で現実を知った時代
• HDFSは無限の可能性を秘めて
いるけど。種々の理由でスケールさ
せるのは至難の業。
• HiveはHDFS上でQueryらしき
ものが扱えるけれど。普通に使うに
は遅すぎる。
• 既存のRDBMSを入れ替えるのは
非現実的。ますます分析系DBの
役割は大きくなっている

8. 8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
ちなみに当時の衝撃的な検証結果
DBとして見ると期待値を裏切る
スケーラビリティのなさ(だった)
当時ベンチマーク対象だったRDBMS
に並ぶスピードを出すには100ノード
を超えるクラスタにする必要があるとの
予測(だった)

9. 9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
しかし、膨大なデータは存在するわけで…
切り開け データベースエンジニア

10. 10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
DB屋が見る今の象のイメージ(適材適所)
ERP SCM CRM
Legacy OLTP
ログ、センサーデータ、POSといった、たまり
続けるデータでデータの価値は大きいが、
参照頻度が低いデータはHDFS上がぴっ
たり

11. 11
Vectorwise Hadoop Connector
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise Hadoop Connector 3.0
MAP MAP MAP
Reduce Reduce Reduce Reduce Reduce Reduce
Async Parallel Commit
Commit Status
JOB ID & Meta Data
1
2
3
4
5
1
Vectorwiseのメタデータ
を取得すると共に、Map Reduce用のJOBIDを取得
2
HDFS上のファイルをMap
Taskで取得しKey Value変換
3
各カラムごとにReducerを起動
し、VectorwiseのDBブロック
イメージ(カラム指向 & 圧縮)
に変換
4
Reducerは、各プロセスごと
非同期で構成したDBファイル
をVectorwiseに適用
5
Master ReducerはVectorwise
からCommit Statusを取得し、
必要であれば、同期Commitを実行

12. 12Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
実行イメージ

13. 13Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ

14. 14Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
今なら仲良く付き合えそうです

15. 15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Real Time Analytics on Vectorwise

16. 16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
まだまだ連携したいデータは沢山ある
ERP SCM CRM
Legacy OLTP

17. 17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Attunity Replicate for Vectorwise
Full Load
Change Data Capture
Control & Monitor

18. 18Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ

19. 19Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
実行イメージ

20. 20Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
実行イメージ

21. 21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
今できる現実
ERP SCM CRM
Legacy OLTP

22. 22Copyright © 2013 Insight Technology, Inc. All Rights Reserved.