Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Insight Technology, Inc.新久保 浩二切り開けDBエンジニアデータ分析基盤へインサイトテクノロジー...
2• データはアセット(喜連川さん)• データの時代(ジェイソン)• 分析のスピードは大事(もう、当たり前)• そこで、大量のデータ(アセット)をいかに効率よく分析にするか。が大事Copyright © 2012 Insight Technol...
3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Vectorwise meets 象
4Copyright © 2013 Insight Technology, Inc. All Rights Reserved.僕が象と戦った歴史
5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.象で夢を見ていた時代• HDFSは無限のスケーラビリティとアベイラビリティがあるじゃないか• HiveはHDFS上でQ...
6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.こんな感じで検証してました。今も現役で検証機として使ってますが
7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.象で現実を知った時代• HDFSは無限の可能性を秘めているけど。種々の理由でスケールさせるのは至難の業。• Hiveは...
8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.ちなみに当時の衝撃的な検証結果DBとして見ると期待値を裏切るスケーラビリティのなさ(だった)当時ベンチマーク対象だった...
9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.しかし、膨大なデータは存在するわけで…切り開け データベースエンジニア
10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.DB屋が見る今の象のイメージ(適材適所)ERP SCM CRMLegacy OLTPログ、センサーデータ、POSとい...
11Vectorwise Hadoop ConnectorCopyright © 2013 Insight Technology, Inc. All Rights Reserved.Vectorwise Hadoop Connector 3.0...
12Copyright © 2013 Insight Technology, Inc. All Rights Reserved.実行イメージ
13Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
14Copyright © 2013 Insight Technology, Inc. All Rights Reserved.今なら仲良く付き合えそうです
15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Real Time Analytics on Vectorwise
16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.まだまだ連携したいデータは沢山あるERP SCM CRMLegacy OLTP
17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Attunity Replicate for VectorwiseFull LoadChange Data Capt...
18Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
19Copyright © 2013 Insight Technology, Inc. All Rights Reserved.実行イメージ
20Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.今できる現実ERP SCM CRMLegacy OLTP
22Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Upcoming SlideShare
Loading in...5
×

A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo

525
-1

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
525
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
22
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo

  1. 1. Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Insight Technology, Inc.新久保 浩二切り開けDBエンジニアデータ分析基盤へインサイトテクノロジーの1つの答えとは!
  2. 2. 2• データはアセット(喜連川さん)• データの時代(ジェイソン)• 分析のスピードは大事(もう、当たり前)• そこで、大量のデータ(アセット)をいかに効率よく分析にするか。が大事Copyright © 2012 Insight Technology, Inc. All Rights Reserved.
  3. 3. 3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Vectorwise meets 象
  4. 4. 4Copyright © 2013 Insight Technology, Inc. All Rights Reserved.僕が象と戦った歴史
  5. 5. 5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.象で夢を見ていた時代• HDFSは無限のスケーラビリティとアベイラビリティがあるじゃないか• HiveはHDFS上でQueryらしきものが扱える• 既存のRDBMSで不可能なことが可能になるかもしれない
  6. 6. 6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.こんな感じで検証してました。今も現役で検証機として使ってますが
  7. 7. 7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.象で現実を知った時代• HDFSは無限の可能性を秘めているけど。種々の理由でスケールさせるのは至難の業。• HiveはHDFS上でQueryらしきものが扱えるけれど。普通に使うには遅すぎる。• 既存のRDBMSを入れ替えるのは非現実的。ますます分析系DBの役割は大きくなっている
  8. 8. 8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.ちなみに当時の衝撃的な検証結果DBとして見ると期待値を裏切るスケーラビリティのなさ(だった)当時ベンチマーク対象だったRDBMSに並ぶスピードを出すには100ノードを超えるクラスタにする必要があるとの予測(だった)
  9. 9. 9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.しかし、膨大なデータは存在するわけで…切り開け データベースエンジニア
  10. 10. 10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.DB屋が見る今の象のイメージ(適材適所)ERP SCM CRMLegacy OLTPログ、センサーデータ、POSといった、たまり続けるデータでデータの価値は大きいが、参照頻度が低いデータはHDFS上がぴったり
  11. 11. 11Vectorwise Hadoop ConnectorCopyright © 2013 Insight Technology, Inc. All Rights Reserved.Vectorwise Hadoop Connector 3.0MAP MAP MAPReduce Reduce Reduce Reduce Reduce ReduceAsync Parallel CommitCommit StatusJOB ID & Meta Data123451Vectorwiseのメタデータを取得すると共に、Map Reduce用のJOBIDを取得2HDFS上のファイルをMapTaskで取得しKey Value変換3各カラムごとにReducerを起動し、VectorwiseのDBブロックイメージ(カラム指向 & 圧縮)に変換4Reducerは、各プロセスごと非同期で構成したDBファイルをVectorwiseに適用5Master ReducerはVectorwiseからCommit Statusを取得し、必要であれば、同期Commitを実行
  12. 12. 12Copyright © 2013 Insight Technology, Inc. All Rights Reserved.実行イメージ
  13. 13. 13Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
  14. 14. 14Copyright © 2013 Insight Technology, Inc. All Rights Reserved.今なら仲良く付き合えそうです
  15. 15. 15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Real Time Analytics on Vectorwise
  16. 16. 16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.まだまだ連携したいデータは沢山あるERP SCM CRMLegacy OLTP
  17. 17. 17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.Attunity Replicate for VectorwiseFull LoadChange Data CaptureControl & Monitor
  18. 18. 18Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
  19. 19. 19Copyright © 2013 Insight Technology, Inc. All Rights Reserved.実行イメージ
  20. 20. 20Copyright © 2012 Insight Technology, Inc. All Rights Reserved.実行イメージ
  21. 21. 21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.今できる現実ERP SCM CRMLegacy OLTP
  22. 22. 22Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×