Your SlideShare is downloading. ×
  • Like
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

  • 1,313 views
Published

 

Published in Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,313
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
17
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. ビックデータ×マーケティング 進化するデジタルマーケティングを支える ビックデータ活用基盤 株式会社ゴルフダイジェスト・オンライン お客様体験デザイン本部 情報活用推進部 BI・DWHチーム マネージャ 嘉松 孝友
  • 2. ビックデータを取り巻く変化 2011年 2012年 2013年 2014年
  • 3. 今日のセッションで紹介すること 1.GDOのビックデータ活用の軌跡と活用事例 2.ビックデータ活用を支える基盤と今後の展開
  • 4. GDOとは? PC 携帯電話 スマートフォン タブレット ソーシャル 雑誌 店舗
  • 5. GDOの規模感 GDOクラブ会員数 229万人 ゴルフ場予約 月間送客数 41万人※1 ユニークユーザー数 260万人※3 月間PV 1.5億PV※1 スコア管理登録者数 44.3万人 来訪アクティブ会員数 43.2万人※4 ※1:過去最高値を公表数値としています。 ※2 アクティブブラウザ数: 当月中にGDOに来訪したブラウザ数 ※3 ユニークユーザー数 : 当月中に当社サービスにアクセスしたユーザー数 ※4 来訪アクティブ会員数: 会員の当月のユニーク来訪者数 アクティブ ブラウザ数 376万ブラウザ※2 提携ゴルフ場数 1,916コース 取扱商品点数 新品約10万点 中古約2万点 月間注文件数 71,700件※1 総ビジター数 1,242万V※1 公式フェイスブック 85,188いいね! <2013年9月末時点>
  • 6. 自己紹介 嘉松孝友 Takatomo Kamatsu 1972/05/10 O型 7年 ベストスコア 75 (前回 102) 174.5cm 70.0kg ゴルフのきっかけ ゴルフ好きの上司に誘われて よかったこと 中部銀次郎 異業種、世代を超えた交友関係が広まった 好きなゴルファー 神奈川県 中部銀次郎 (1997年~)印刷会社の受注システム開発(VMS) (1998年~)製薬会社の営業支援システム開発 (2002年~)ビールメーカの物流システム開発、商社のPMO
  • 7. GDOのビックデータ活用の軌跡と ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ 活用事例
  • 8. DWH/BI活用の軌跡 全社データ活用基盤として2010年5月にリリースしたDWH/BI、G10プロジェクトで大幅なリニューア ルを実施し、現在では当初の目的である社内データの「見える化」に加えて、日常業務での「分析・ 意思決定支援」での活用、そしてランキングといった自社サイトでの利用や広告配信システムとの連携 といった「デジタルマーケティング活用」と、その活用範囲を拡大してきている。 2009 2010 KPIレポート ★DWH/BIリリース 2011 ★大リニューアル(G10) 2012 2013 ゴルフ場営業支援レポート Seve(メルマガ対象者抽出ツール) Rtoaster連携 集計、見える化 人気ゴルフ場ランキング 新ゴルフ場営業支援レポート 分析・意思決定支援 (業務効率化・高度化) Phil(閲覧ページ会員属性分析ツール) MD分析プラットフォーム R2AD連携 デジタルマーケティング (売上向上) ショップレビューランキング GoogleShopping連携 Responsys連携 11/14
  • 9. システム構成(2013年11月13日時点) 連携システム ログ解析システム アクセス ログデータ Digital Marketing Platform インバウンドマーケティング 会員管理 統合レコメンドエンジン GDOサイト ゴルフ場予約 DWH Platform スコア管理 ETL DWH E-Commerce Data Stage ERP アウトバウンドマーケティング 顧客抽出ツール(Seve) BI Platform OLAP分析 ワークフロー 広告配信システム GBDP ゴルフ場予約事業 ゴルフ場営業 サポート 社外データ 会員属性と連携した広告配信システム KPIマネジメント 広告営業管理 会員分析 EC事業 MD分析 プラットフォーム ECショッピングモール (Google Shopping) 予実管理 ゴルフ場向 営業支援帳票 受注・発注分析 在庫・欠品分析 統計解析 IBM SPSS R
  • 10. 数字で見るDWH データ量 連携システム数 テーブル数 ゴルフダイジェスト・オンラインが挑んだ 1,200 6TBytes 21システム データ活用の軌跡、教訓、そして未来へ テーブル DWHに格納されているデータ量は2013 年11月現在で6TByteです。Sybase IQ のデータ圧縮機能により、約20%に圧 縮され保存されています。 バッチ処理時間 ジョブ数 950ジョブ DWHは社内・社外の21のシステムと データ連携を行っています。連携して いるデータの種類(I/F数)は300にもの ぼります。 J DWHでは日々950のバッチ処理が行われ ています。全てのジョブがジョブ管理 ツールにより制御され、エラー発生時 には即座にメールが送信されます。 10時間 日次のバッチ処理にかかる時間は約8 時間です。バックアップにかかる時間 はその中で1時間半を占めます。 DWHが各種システムから取得したデー タは、ETL処理により取込、用途ごと に集計され、1,200のテーブルに格納 されています。 利用者数 BI 50ユーザ ODBC 200ユーザ 全社員400人中、50人が日々BIツール を業務で活用、200人がODBC接続で ExcelやAccessを活用しています。
  • 11. バッチ処理(JP1)
  • 12. DWH/BIを支えるインフラ 本番環境 ETL Server(DataStage) HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:18.0GB, HDD:416GB OS: Windows Server 2003 EE SP2(32bit) 開発環境 DWH Server(SybaseIQ) HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 # of CPU:1, # of cores:2 MEM:32.0GB, HDD:694GB OS: Windows Server 2003 SE SP2 (x64) DWH Server(SybaseIQ) Strage HP ProLiant DL380 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:32.0GB, HDD:136GB OS: Windows Server 2003 SE SP2 (x64) BI Server(MicroStrategy) HP ProLiant DL380 G6 (2009) CPU: Intel® Xeon® Processor E5540 CPU:2, Core:8 MEM:62.0GB, HDD:136GB OS: Windows Server 2008 EE SP2 (x64) HP StorageWorks MSA2312fc x 4 (2009) HDD:48, Size:28TB
  • 13. Seve(メルマガターゲティングツール) 会員情報 × 購買履歴&予約履歴 会員情報(性別、年代、・・・)と過去の購買履歴からターゲティング ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  • 14. Seve(メルマガターゲティングツール) ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  • 15. Phil(サイト来訪者分析ツール) 会員情報 × アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別、年代、・・・)を分析 ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  • 16. Phil(サイト来訪者分析ツール) ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  • 17. 値下げお知らせメール 今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品 を購入していない』お客様に対してセールになった事を伝えるメールを配信。 CTR(来訪率) 約25%~30% ※レギュラーメール 2%~2.5%
  • 18. 進化のための安定
  • 19. 進化のための安定
  • 20. 進化のための安定 2012年1月 2012年2月 2012年3月 2012年4月 2012年5月 2012年6月 2012年7月 2012年8月 2012年9月 2012年10月 2012年11月 2012年12月 2013年1月 2013年2月 2013年3月 2013年4月 2013年5月 2013年6月 合計 DWH起因 5 2 4 1 4 3 1 1 1 3 1 3 2 1 1 1 0 2 36 他システム起因 5 5 1 1 1 4 6 3 2 0 1 3 1 1 2 1 2 2 41 サービス停止 0 3 2 0 0 0 1 1 0 1 1 1 0 0 1 1 2 1 15  DWH起因の障害原因  バグ  人的ミス  OS,ミドルウェア障害  他システム起因の障害原因  データ連携遅延  他システム連携エラー(API)  データ不備
  • 21. 自由研究(20%ルール)① EC 商品ジャンル別のクラスタリング分析 (R)
  • 22. 自由研究(20%ルール)② Mahoutを利用したレコメンドエンジンの開発 ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  • 23. ビックデータ活用を支える基盤と ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ 今後の展開
  • 24. マーケティング・オートメーション(2013年11月14日時点) 連携システム ログ解析システム アクセス ログデータ Digital Marketing Platform インバウンドマーケティング 会員管理 統合レコメンドエンジン Hadoop Platform ゴルフ場予約 Hive HDFS GDOサイト DWH Platform スコア管理 ETL DWH E-Commerce Data Stage ERP アウトバウンドマーケティング 顧客抽出ツール(Seve) BI Platform OLAP分析 ワークフロー 広告配信システム GBDP ゴルフ場予約事業 ゴルフ場営業 サポート 社外データ 会員属性と連携した広告配信システム KPIマネジメント 広告営業管理 会員分析 EC事業 MD分析 プラットフォーム ECショッピングモール (Google Shopping) 予実管理 ゴルフ場向 営業支援帳票 受注・発注分析 在庫・欠品分析 キャンペーンマネージメントシステム 統計解析 IBM SPSS R
  • 25. Hadoop システム構成 Amazon GDO社内 Web Service Amazon VPC(Virtual Private Cloud) Amazon EC2 プライベートサブネット ログ解析 システム アクセス ログデータ マスターノード(m1.large) ×3台(Client,Active,Standby) CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB Client JournalNode Hive NameNode JournalNode Client (EC2) NameNode JournalNode Active (EC2) スレーブノード (m1.large) Standby (EC2) ×3(Datanode) CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB DataNode TasKTracker (EC2) HDFS (EBS) 500GB DataNode TaskTracker (EC2) HDFS (EBS) 500GB DataNode TaskTracker (EC2) HDFS (EBS) 500GB キャンペーン マネージメント .
  • 26. Hadoop + Hive  なぜGDOはHadoopを利用したのか? ① 夜間バッチが夜間に終わらなくなった。。。 ② タダ(無料)だから。 ③ 使ってみたかった  Hadoopを利用してみて分かったこと。  意外と安定している。  HiveQLには制限は少ない(SELECT)  開発生産性は高い  クラウドなのでスケールアウトは、とっても簡単。いろんな意味で。  更新、削除は出来ない  レスポンスは遅い  Hadoop + Hive のベストプラクティス  バッチ処理
  • 27. 次世代DWHインフラ(オンプレ案) プラン① 【 ETL増強案】 プラン② 【 ETL/DB増強案】 プラン③ 【アプライアンス案】 プラン④ 【Vectorwise案】 現行SW構成を維持し、ETLのみを増強 【リソース増強】ETL:2コア⇒4コア(64bit) 【HW】ETLサーバーのみをHW新設。 現行SW構成を維持し、ETL、DBのHWを増強 【リソース増強】ETL:2コア⇒4コア(64bit)、DB:4コア 【HW】ETL新設、DB専用マシン「Insight Qube」 オンプレミス環境にて、高速分析用に製品化されたDWHアプライアンスへ移行 【リソース増強】ETL:2コア⇒4コア 【HW】DWHアプライアンス製品 「IBM PureData System for Analytics(旧Netezza)」 オンプレミス環境にて、 DWH専用DBである「Vectorwise」に最適チューニング されたDB専用マシンへ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア 【DB】DWH専用DB 「Vectorwise」 【HW】データベース専用マシン「Insight Qube」
  • 28. 次世代DWHインフラ(クラウド案) プラン⑤ 【 AWS案】 現行SW構成を維持し、オンプレミス環境からクラウド(AWS)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑥ 【 Redshift】 DBをSybaseIQから「Redshift」とし、環境もクラウド(AWS)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑦ 【Azure案】 現行SW構成を維持し、オンプレミス環境からクラウド(Azure)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑧ 【SQLServer案】 DBをSybaseIQから「SQL Server」とし、環境もクラウド(Azure)環境へ移 行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア
  • 29. 製品選定  GDOの製品選定の特徴 ① 検証にお金を掛ける ② 移行性を重視する ③ 当然ですが、最初の費用で、最大の効果を!!
  • 30. ご清聴ありがとうございました。