【マクロミル】
カラム型データベースで
分析システムを40倍高速化
マクロミル 林 正浩、瀧澤
インサイトテクロノジー 石川
2012/11/15

17:00~17:45

伸
雅也
最近のリサーチの定番ロイヤリティ指標:
NPS (Net Promoter Score)
親友に心の底から奨められるモノありますか?
「このサービスを同僚や友人に薦められますか」

2
あなたが友人や家族に
親友に心の底から奨められるモノありますか?
心の底から奨められるモノは何ですか?

3
はじめに

親友に心の底から奨められるモノありますか?

4
はじめに
多数の友人にも奨め、自身でも大人買いしています。

5
はじめに

Vectorwiseも今では無くてはならないもの
多くの方に自信をもって薦められるテクノロジー
しかし、我々も出会ったのはつい1年前
無知から今日までのいきさつを赤裸々に共有します

6
どんな現場だったのか:弊社紹介

大企業的なFactベースの決裁プロセスが必須

 ネットリサーチのリーディングカンパニー
 東証1部上場
 従業員数:836名 (連結)
 連結売上:171億円、経常利益:40億円



(2013...
どんな現場だったのか: 弊社DNA

「早い」 「安い」 「旨い」 を実現したい
リサーチ“牛どん化”計画、
ネットリサーチの分野では成功

より広範囲なクライアントの
マーケティングニーズに応えたい
新規事業として
食品・日用品メーカーの...
どんな現場だったのか: POSシステムの概要

数百億件の集計を10秒以内で処理する必要あり
かつ 格安で実装したい
データ提供元
スーパー
チェーン
ドラッグ
チェーン
その他
数千店以上

弊社
POSシステム
①POSデータ
管理システム...
プロジェクトで実現したいこと

POS市場にも 「早い」 「安い」 「旨い」

早い

データ処理スピード(クライアント要望、競合比較)
開発期間を極力短納期で。

安い

新規事業→システム投資押さえたい
メンテナンス費用も抑えたい

旨い
...
開発ベンダーからの提案内容

10社へRFP→様々な提案が出てきたが・・・
BI(フロント)

DWH(バック)
ハード

A社

クラウド

DB
ミドルウェア

Web
レポート主力
(グラフ描画) (Excel Export)

Hado...
開発ベンダーからの提案内容

レスポンスとコストの双方を満たせるものがない

12
出会い
途方に暮れていたところにVectorwiseと出会う
想定コスト、要求処理速度の両方を満たせそう
■インサイトテクノロジー社からの提案

DWH(バック)
ハード

DB
ミドルウェア

InsightQube Vectorwise

...
出会い
TPC-Hベンチマークの結果はOracleなどと比較し、
1/2のハードで,2倍以上の性能,1/5~1/10のコスト
→40倍のパフォーマンスが得られる事になる
TPC-H ベンチマークのトップ 8 (Non-Clustered 1TB...
決定に到った経緯

情報が皆無の状況から検証に取りかかった
国内にはほぼ実績がない
 弊社内:「Vectorwise、カラムナーDBノウハウ無し」
 開発ベンダー10数社:「Vectorwise全く知らない」
 国内ファーストユーザーにな...
検証をどう乗り越えたか
親友に心の底から奨められるモノありますか?
開発現場で何か起きたか

16
検証、実証、開発
現場のリアル像
パネルディスカッション
マクロミル 林 正浩、瀧澤
インサイトテクロノジー 石川

伸
雅也
Q.Vectorwise って
親友に心の底から奨められるモノありますか?
本当に速いの?

18
Q.そもそも検証のは
親友に心の底から奨められるモノありますか?
簡単?

19
A.簡単に試せました
 ユーザーズガイド等も日本語化されており、トライしやす




かった。
AWSインスタンスでもデータロードスピードの速さにびっくり。
親友に心の底から奨められるモノありますか?
処理スピードはすぐに実感できた。
...
A.そして本当に速かった
 重要マイルストーンである「ローデータ数億件から数千万レ
親友に心の底から奨められるモノありますか?


コードのGroupByを3秒以内」の目標がすぐに確認できた。
件数を増やしても処理スピード増加率はマイルドで...
Vectorwiseの
パフォーマンスを
親友に心の底から奨められるモノありますか?
実感したできごと
(動画)
22
Q.Viewを使いたい
親友に心の底から奨められるモノありますか?
Union All View って
使える?
23
A.検証して見ましょう!
親友に心の底から奨められるモノありますか?

24
検証結果詳細

詳細検証結果
は非公開
→個別検証はインサイトテクノロジー社へ
ご相談ください。

25
Q.カラムナーDBに
親友に心の底から奨められるモノありますか?
更新処理を
させても良い?!
26
更新処理 INSERT

27
更新処理 UPDATE

28
更新処理 DELETE

29
Q.オンプレとクラウド
親友に心の底から奨められるモノありますか?
どっちがいい?

30
Q.他に良かった
親友に心の底から奨められるモノありますか?
ところは?

31
Q.じゃあ
親友に心の底から奨められるモノありますか?
悪かったところは?

32
お願い1.
親友に心の底から奨められるモノありますか?
難しいSQLだと
オプティマイザが…
33
お願い2.
親友に心の底から奨められるモノありますか?
可用性を高める
機能が欲しい
34
お願い3.
親友に心の底から奨められるモノありますか?
あとは値段が安くなると
最高なのだが…

35
質疑応答
親友に心の底から奨められるモノありますか?

36
Upcoming SlideShare
Loading in...5
×

C37 【マクロミル】カラム型データベースで分析システムを40倍高速化 by Masahiro Hayashi, Shin Takizawa, Masaya Ishikawa

474

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
474
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
16
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

C37 【マクロミル】カラム型データベースで分析システムを40倍高速化 by Masahiro Hayashi, Shin Takizawa, Masaya Ishikawa

  1. 1. 【マクロミル】 カラム型データベースで 分析システムを40倍高速化 マクロミル 林 正浩、瀧澤 インサイトテクロノジー 石川 2012/11/15 17:00~17:45 伸 雅也
  2. 2. 最近のリサーチの定番ロイヤリティ指標: NPS (Net Promoter Score) 親友に心の底から奨められるモノありますか? 「このサービスを同僚や友人に薦められますか」 2
  3. 3. あなたが友人や家族に 親友に心の底から奨められるモノありますか? 心の底から奨められるモノは何ですか? 3
  4. 4. はじめに 親友に心の底から奨められるモノありますか? 4
  5. 5. はじめに 多数の友人にも奨め、自身でも大人買いしています。 5
  6. 6. はじめに Vectorwiseも今では無くてはならないもの 多くの方に自信をもって薦められるテクノロジー しかし、我々も出会ったのはつい1年前 無知から今日までのいきさつを赤裸々に共有します 6
  7. 7. どんな現場だったのか:弊社紹介 大企業的なFactベースの決裁プロセスが必須  ネットリサーチのリーディングカンパニー  東証1部上場  従業員数:836名 (連結)  連結売上:171億円、経常利益:40億円   (2013年6月期決算) 売上前年比:120% 過去最高の収益を実現 非連続的成長を目指し 新規事業への積極的投資行っております 7
  8. 8. どんな現場だったのか: 弊社DNA 「早い」 「安い」 「旨い」 を実現したい リサーチ“牛どん化”計画、 ネットリサーチの分野では成功 より広範囲なクライアントの マーケティングニーズに応えたい 新規事業として 食品・日用品メーカーの 意志決定の起点である POSデータの提供をしたい 8
  9. 9. どんな現場だったのか: POSシステムの概要 数百億件の集計を10秒以内で処理する必要あり かつ 格安で実装したい データ提供元 スーパー チェーン ドラッグ チェーン その他 数千店以上 弊社 POSシステム ①POSデータ 管理システム ③集計システム (クロス集計と グラフ描画) ②Web上での集 計指示、結果確 認、各種処理 (UI) ④運用管理 (マスタ管理、 クライアント管 理) クライアント様 集計処理 レポート作成処理 集計条件を自由に変えられる 結果を画面での確認できる Excelでのレポート出力可能 グラフがオブジェクトである 食品メーカー データ件数:数百億データ容量:数TB 日用品メーカー 9
  10. 10. プロジェクトで実現したいこと POS市場にも 「早い」 「安い」 「旨い」 早い データ処理スピード(クライアント要望、競合比較) 開発期間を極力短納期で。 安い 新規事業→システム投資押さえたい メンテナンス費用も抑えたい 旨い 開発プロジェクトを無事着地させる 開発者のモチベーションが全開になるプロジェクト 10
  11. 11. 開発ベンダーからの提案内容 10社へRFP→様々な提案が出てきたが・・・ BI(フロント) DWH(バック) ハード A社 クラウド DB ミドルウェア Web レポート主力 (グラフ描画) (Excel Export) Hadoop +Oracle スクラッチ B社 オンプレミス PostgreSQL BIツール C社 オンプレミス D社 オンプレミス MySQL インメモリBIツール スクラッチ 11
  12. 12. 開発ベンダーからの提案内容 レスポンスとコストの双方を満たせるものがない 12
  13. 13. 出会い 途方に暮れていたところにVectorwiseと出会う 想定コスト、要求処理速度の両方を満たせそう ■インサイトテクノロジー社からの提案 DWH(バック) ハード DB ミドルウェア InsightQube Vectorwise BI(フロント) Web レポート主力 (グラフ描画) (Excel Export) スクラッチ 13
  14. 14. 出会い TPC-Hベンチマークの結果はOracleなどと比較し、 1/2のハードで,2倍以上の性能,1/5~1/10のコスト →40倍のパフォーマンスが得られる事になる TPC-H ベンチマークのトップ 8 (Non-Clustered 1TB ) 2012/1現在 Vectorwise Performance (QphH@1TB) 3 May 2011 400,000 Source: www.tpc.org / Jan 10, 2012 300,000 Oracle 200,000 Oracle Sybase IQ 15 Dec 2010 3 Jun 2011 Microsoft Microsoft 30 Aug 2011 5 Apr 2011 26 Apr 2010 Oracle 26 Sep 2011 80 cores 2TB RAM 32 cores 0.5TB RAM Microsoft 32 cores 1 TB RAM 64 cores 0.5TB RAM 7 Dec 2011 64 cores 0.5TB RAM 32 cores 0.5TB RAM 140,181 164,747 173,962 436,788 209,534 219,888 201,487 134,117 $12.15 US 100,000 80 cores 2TB RAM $6.85 US $1.37 US $0.88 US $9.53 US $1.86 US $4.60 US $1.30 US 40 cores 1TB RAM 0 Price/Performance US$/QphH@1TB TPC-Hのベンチマーク・スコア:QphH:時間毎のトランザクション数(グラフ縦軸:トランザクション数) Price/QphH:トランザクションにいくらの費用(HW、Software、保守*ベンダ指標)がかかったかを示す 14
  15. 15. 決定に到った経緯 情報が皆無の状況から検証に取りかかった 国内にはほぼ実績がない  弊社内:「Vectorwise、カラムナーDBノウハウ無し」  開発ベンダー10数社:「Vectorwise全く知らない」  国内ファーストユーザーになる!? (なってしまう?!) 「至急、検証して確固たる裏を取れ!」・・・  1.処理スピードは本当に速いのか?  2.検証は短期間に実施可能か?  3.実装上で問題が出た場合の体勢に不安はないか? 15
  16. 16. 検証をどう乗り越えたか 親友に心の底から奨められるモノありますか? 開発現場で何か起きたか 16
  17. 17. 検証、実証、開発 現場のリアル像 パネルディスカッション マクロミル 林 正浩、瀧澤 インサイトテクロノジー 石川 伸 雅也
  18. 18. Q.Vectorwise って 親友に心の底から奨められるモノありますか? 本当に速いの? 18
  19. 19. Q.そもそも検証のは 親友に心の底から奨められるモノありますか? 簡単? 19
  20. 20. A.簡単に試せました  ユーザーズガイド等も日本語化されており、トライしやす    かった。 AWSインスタンスでもデータロードスピードの速さにびっくり。 親友に心の底から奨められるモノありますか? 処理スピードはすぐに実感できた。 社内の検証用ハイスペックPCはWindows版であったが Linux版とほとんど違いなく動き、独自で検証するハードル が低かった。 採用決定する前段階からインサイトテクノロジー社の多大 なるサポートを受けることができた。 20
  21. 21. A.そして本当に速かった  重要マイルストーンである「ローデータ数億件から数千万レ 親友に心の底から奨められるモノありますか?  コードのGroupByを3秒以内」の目標がすぐに確認できた。 件数を増やしても処理スピード増加率はマイルドであった。 21
  22. 22. Vectorwiseの パフォーマンスを 親友に心の底から奨められるモノありますか? 実感したできごと (動画) 22
  23. 23. Q.Viewを使いたい 親友に心の底から奨められるモノありますか? Union All View って 使える? 23
  24. 24. A.検証して見ましょう! 親友に心の底から奨められるモノありますか? 24
  25. 25. 検証結果詳細 詳細検証結果 は非公開 →個別検証はインサイトテクノロジー社へ ご相談ください。 25
  26. 26. Q.カラムナーDBに 親友に心の底から奨められるモノありますか? 更新処理を させても良い?! 26
  27. 27. 更新処理 INSERT 27
  28. 28. 更新処理 UPDATE 28
  29. 29. 更新処理 DELETE 29
  30. 30. Q.オンプレとクラウド 親友に心の底から奨められるモノありますか? どっちがいい? 30
  31. 31. Q.他に良かった 親友に心の底から奨められるモノありますか? ところは? 31
  32. 32. Q.じゃあ 親友に心の底から奨められるモノありますか? 悪かったところは? 32
  33. 33. お願い1. 親友に心の底から奨められるモノありますか? 難しいSQLだと オプティマイザが… 33
  34. 34. お願い2. 親友に心の底から奨められるモノありますか? 可用性を高める 機能が欲しい 34
  35. 35. お願い3. 親友に心の底から奨められるモノありますか? あとは値段が安くなると 最高なのだが… 35
  36. 36. 質疑応答 親友に心の底から奨められるモノありますか? 36
  1. Gostou de algum slide específico?

    Recortar slides é uma maneira fácil de colecionar informações para acessar mais tarde.

×