Your SlideShare is downloading. ×
C37 【マクロミル】カラム型データベースで分析システムを40倍高速化 by Masahiro Hayashi, Shin Takizawa, Masaya Ishikawa
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

C37 【マクロミル】カラム型データベースで分析システムを40倍高速化 by Masahiro Hayashi, Shin Takizawa, Masaya Ishikawa

394
views

Published on

Published in: Technology

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
394
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
14
Comments
0
Likes
2
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 【マクロミル】 カラム型データベースで 分析システムを40倍高速化 マクロミル 林 正浩、瀧澤 インサイトテクロノジー 石川 2012/11/15 17:00~17:45 伸 雅也
  • 2. 最近のリサーチの定番ロイヤリティ指標: NPS (Net Promoter Score) 親友に心の底から奨められるモノありますか? 「このサービスを同僚や友人に薦められますか」 2
  • 3. あなたが友人や家族に 親友に心の底から奨められるモノありますか? 心の底から奨められるモノは何ですか? 3
  • 4. はじめに 親友に心の底から奨められるモノありますか? 4
  • 5. はじめに 多数の友人にも奨め、自身でも大人買いしています。 5
  • 6. はじめに Vectorwiseも今では無くてはならないもの 多くの方に自信をもって薦められるテクノロジー しかし、我々も出会ったのはつい1年前 無知から今日までのいきさつを赤裸々に共有します 6
  • 7. どんな現場だったのか:弊社紹介 大企業的なFactベースの決裁プロセスが必須  ネットリサーチのリーディングカンパニー  東証1部上場  従業員数:836名 (連結)  連結売上:171億円、経常利益:40億円   (2013年6月期決算) 売上前年比:120% 過去最高の収益を実現 非連続的成長を目指し 新規事業への積極的投資行っております 7
  • 8. どんな現場だったのか: 弊社DNA 「早い」 「安い」 「旨い」 を実現したい リサーチ“牛どん化”計画、 ネットリサーチの分野では成功 より広範囲なクライアントの マーケティングニーズに応えたい 新規事業として 食品・日用品メーカーの 意志決定の起点である POSデータの提供をしたい 8
  • 9. どんな現場だったのか: POSシステムの概要 数百億件の集計を10秒以内で処理する必要あり かつ 格安で実装したい データ提供元 スーパー チェーン ドラッグ チェーン その他 数千店以上 弊社 POSシステム ①POSデータ 管理システム ③集計システム (クロス集計と グラフ描画) ②Web上での集 計指示、結果確 認、各種処理 (UI) ④運用管理 (マスタ管理、 クライアント管 理) クライアント様 集計処理 レポート作成処理 集計条件を自由に変えられる 結果を画面での確認できる Excelでのレポート出力可能 グラフがオブジェクトである 食品メーカー データ件数:数百億データ容量:数TB 日用品メーカー 9
  • 10. プロジェクトで実現したいこと POS市場にも 「早い」 「安い」 「旨い」 早い データ処理スピード(クライアント要望、競合比較) 開発期間を極力短納期で。 安い 新規事業→システム投資押さえたい メンテナンス費用も抑えたい 旨い 開発プロジェクトを無事着地させる 開発者のモチベーションが全開になるプロジェクト 10
  • 11. 開発ベンダーからの提案内容 10社へRFP→様々な提案が出てきたが・・・ BI(フロント) DWH(バック) ハード A社 クラウド DB ミドルウェア Web レポート主力 (グラフ描画) (Excel Export) Hadoop +Oracle スクラッチ B社 オンプレミス PostgreSQL BIツール C社 オンプレミス D社 オンプレミス MySQL インメモリBIツール スクラッチ 11
  • 12. 開発ベンダーからの提案内容 レスポンスとコストの双方を満たせるものがない 12
  • 13. 出会い 途方に暮れていたところにVectorwiseと出会う 想定コスト、要求処理速度の両方を満たせそう ■インサイトテクノロジー社からの提案 DWH(バック) ハード DB ミドルウェア InsightQube Vectorwise BI(フロント) Web レポート主力 (グラフ描画) (Excel Export) スクラッチ 13
  • 14. 出会い TPC-Hベンチマークの結果はOracleなどと比較し、 1/2のハードで,2倍以上の性能,1/5~1/10のコスト →40倍のパフォーマンスが得られる事になる TPC-H ベンチマークのトップ 8 (Non-Clustered 1TB ) 2012/1現在 Vectorwise Performance (QphH@1TB) 3 May 2011 400,000 Source: www.tpc.org / Jan 10, 2012 300,000 Oracle 200,000 Oracle Sybase IQ 15 Dec 2010 3 Jun 2011 Microsoft Microsoft 30 Aug 2011 5 Apr 2011 26 Apr 2010 Oracle 26 Sep 2011 80 cores 2TB RAM 32 cores 0.5TB RAM Microsoft 32 cores 1 TB RAM 64 cores 0.5TB RAM 7 Dec 2011 64 cores 0.5TB RAM 32 cores 0.5TB RAM 140,181 164,747 173,962 436,788 209,534 219,888 201,487 134,117 $12.15 US 100,000 80 cores 2TB RAM $6.85 US $1.37 US $0.88 US $9.53 US $1.86 US $4.60 US $1.30 US 40 cores 1TB RAM 0 Price/Performance US$/QphH@1TB TPC-Hのベンチマーク・スコア:QphH:時間毎のトランザクション数(グラフ縦軸:トランザクション数) Price/QphH:トランザクションにいくらの費用(HW、Software、保守*ベンダ指標)がかかったかを示す 14
  • 15. 決定に到った経緯 情報が皆無の状況から検証に取りかかった 国内にはほぼ実績がない  弊社内:「Vectorwise、カラムナーDBノウハウ無し」  開発ベンダー10数社:「Vectorwise全く知らない」  国内ファーストユーザーになる!? (なってしまう?!) 「至急、検証して確固たる裏を取れ!」・・・  1.処理スピードは本当に速いのか?  2.検証は短期間に実施可能か?  3.実装上で問題が出た場合の体勢に不安はないか? 15
  • 16. 検証をどう乗り越えたか 親友に心の底から奨められるモノありますか? 開発現場で何か起きたか 16
  • 17. 検証、実証、開発 現場のリアル像 パネルディスカッション マクロミル 林 正浩、瀧澤 インサイトテクロノジー 石川 伸 雅也
  • 18. Q.Vectorwise って 親友に心の底から奨められるモノありますか? 本当に速いの? 18
  • 19. Q.そもそも検証のは 親友に心の底から奨められるモノありますか? 簡単? 19
  • 20. A.簡単に試せました  ユーザーズガイド等も日本語化されており、トライしやす    かった。 AWSインスタンスでもデータロードスピードの速さにびっくり。 親友に心の底から奨められるモノありますか? 処理スピードはすぐに実感できた。 社内の検証用ハイスペックPCはWindows版であったが Linux版とほとんど違いなく動き、独自で検証するハードル が低かった。 採用決定する前段階からインサイトテクノロジー社の多大 なるサポートを受けることができた。 20
  • 21. A.そして本当に速かった  重要マイルストーンである「ローデータ数億件から数千万レ 親友に心の底から奨められるモノありますか?  コードのGroupByを3秒以内」の目標がすぐに確認できた。 件数を増やしても処理スピード増加率はマイルドであった。 21
  • 22. Vectorwiseの パフォーマンスを 親友に心の底から奨められるモノありますか? 実感したできごと (動画) 22
  • 23. Q.Viewを使いたい 親友に心の底から奨められるモノありますか? Union All View って 使える? 23
  • 24. A.検証して見ましょう! 親友に心の底から奨められるモノありますか? 24
  • 25. 検証結果詳細 詳細検証結果 は非公開 →個別検証はインサイトテクノロジー社へ ご相談ください。 25
  • 26. Q.カラムナーDBに 親友に心の底から奨められるモノありますか? 更新処理を させても良い?! 26
  • 27. 更新処理 INSERT 27
  • 28. 更新処理 UPDATE 28
  • 29. 更新処理 DELETE 29
  • 30. Q.オンプレとクラウド 親友に心の底から奨められるモノありますか? どっちがいい? 30
  • 31. Q.他に良かった 親友に心の底から奨められるモノありますか? ところは? 31
  • 32. Q.じゃあ 親友に心の底から奨められるモノありますか? 悪かったところは? 32
  • 33. お願い1. 親友に心の底から奨められるモノありますか? 難しいSQLだと オプティマイザが… 33
  • 34. お願い2. 親友に心の底から奨められるモノありますか? 可用性を高める 機能が欲しい 34
  • 35. お願い3. 親友に心の底から奨められるモノありますか? あとは値段が安くなると 最高なのだが… 35
  • 36. 質疑応答 親友に心の底から奨められるモノありますか? 36