ビックデータ×マーケティング
進化するデジタルマーケティングを支える
ビックデータ活用基盤
株式会社ゴルフダイジェスト・オンライン
お客様体験デザイン本部 情報活用推進部
BI・DWHチーム マネージャ 嘉松 孝友
ビックデータを取り巻く変化
2011年

2012年

2013年

2014年
今日のセッションで紹介すること

1.GDOのビックデータ活用の軌跡と活用事例

2.ビックデータ活用を支える基盤と今後の展開
GDOとは?

PC

携帯電話 スマートフォン

タブレット

ソーシャル

雑誌

店舗
GDOの規模感

GDOクラブ会員数
229万人

ゴルフ場予約
月間送客数
41万人※1

ユニークユーザー数
260万人※3

月間PV
1.5億PV※1

スコア管理登録者数
44.3万人

来訪アクティブ会員数

43.2万人※4

※...
自己紹介
嘉松孝友
Takatomo Kamatsu

1972/05/10
O型

7年

ベストスコア

75 (前回 102)

174.5cm
70.0kg

ゴルフのきっかけ

ゴルフ好きの上司に誘われて

よかったこと

中部銀次郎...
GDOのビックデータ活用の軌跡と
ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
活用事例
DWH/BI活用の軌跡
全社データ活用基盤として2010年5月にリリースしたDWH/BI、G10プロジェクトで大幅なリニューア
ルを実施し、現在では当初の目的である社内データの「見える化」に加えて、日常業務での「分析・
意思決定支援」での活用、...
システム構成(2013年11月13日時点)
連携システム

ログ解析システム

アクセス
ログデータ

Digital Marketing Platform
インバウンドマーケティング

会員管理

統合レコメンドエンジン

GDOサイト

ゴ...
数字で見るDWH
データ量

連携システム数

テーブル数

ゴルフダイジェスト・オンラインが挑んだ
1,200
6TBytes
21システム
データ活用の軌跡、教訓、そして未来へ
テーブル

DWHに格納されているデータ量は2013
年11月...
バッチ処理(JP1)
DWH/BIを支えるインフラ
本番環境
ETL Server(DataStage)
HP ProLiant DL360 G5 (2006)
CPU: Intel® Xeon® Processor X5260
CPU:1, Core:2
MEM:...
Seve(メルマガターゲティングツール)
会員情報 × 購買履歴&予約履歴
会員情報(性別、年代、・・・)と過去の購買履歴からターゲティング

ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
Seve(メルマガターゲティングツール)

ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
Phil(サイト来訪者分析ツール)
会員情報 × アクセスログ
アクセスログ(サイト閲覧履歴)から会員情報(性別、年代、・・・)を分析

ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
Phil(サイト来訪者分析ツール)

ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
値下げお知らせメール
今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品
を購入していない』お客様に対してセールになった事を伝えるメールを配信。

CTR(来訪率)
約25%~30%
※レギュラーメール 2%~2.5%
進化のための安定
進化のための安定
進化のための安定
2012年1月
2012年2月
2012年3月
2012年4月
2012年5月
2012年6月
2012年7月
2012年8月
2012年9月
2012年10月
2012年11月
2012年12月
2013年1月
2013年2...
自由研究(20%ルール)①
EC 商品ジャンル別のクラスタリング分析 (R)
自由研究(20%ルール)②
Mahoutを利用したレコメンドエンジンの開発

ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
ビックデータ活用を支える基盤と
ゴルフダイジェスト・オンラインが挑んだ
データ活用の軌跡、教訓、そして未来へ
今後の展開
マーケティング・オートメーション(2013年11月14日時点)
連携システム

ログ解析システム

アクセス
ログデータ

Digital Marketing Platform
インバウンドマーケティング

会員管理

統合レコメンドエンジン
...
Hadoop システム構成
Amazon

GDO社内

Web

Service

Amazon VPC(Virtual Private Cloud)
Amazon EC2
プライベートサブネット

ログ解析
システム

アクセス
ログデータ...
Hadoop + Hive
 なぜGDOはHadoopを利用したのか?
① 夜間バッチが夜間に終わらなくなった。。。
② タダ(無料)だから。
③ 使ってみたかった
 Hadoopを利用してみて分かったこと。
 意外と安定している。
 ...
次世代DWHインフラ(オンプレ案)

プラン①
【 ETL増強案】

プラン②
【 ETL/DB増強案】

プラン③
【アプライアンス案】

プラン④
【Vectorwise案】

現行SW構成を維持し、ETLのみを増強
【リソース増強】ETL...
次世代DWHインフラ(クラウド案)

プラン⑤
【 AWS案】

現行SW構成を維持し、オンプレミス環境からクラウド(AWS)環境へ移行
【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア

プラン⑥
【 Redshift】

DB...
製品選定
 GDOの製品選定の特徴
① 検証にお金を掛ける
② 移行性を重視する
③ 当然ですが、最初の費用で、最大の効果を!!
ご清聴ありがとうございました。
Upcoming SlideShare
Loading in …5
×

[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

1,909 views

Published on

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,909
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
24
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

  1. 1. ビックデータ×マーケティング 進化するデジタルマーケティングを支える ビックデータ活用基盤 株式会社ゴルフダイジェスト・オンライン お客様体験デザイン本部 情報活用推進部 BI・DWHチーム マネージャ 嘉松 孝友
  2. 2. ビックデータを取り巻く変化 2011年 2012年 2013年 2014年
  3. 3. 今日のセッションで紹介すること 1.GDOのビックデータ活用の軌跡と活用事例 2.ビックデータ活用を支える基盤と今後の展開
  4. 4. GDOとは? PC 携帯電話 スマートフォン タブレット ソーシャル 雑誌 店舗
  5. 5. GDOの規模感 GDOクラブ会員数 229万人 ゴルフ場予約 月間送客数 41万人※1 ユニークユーザー数 260万人※3 月間PV 1.5億PV※1 スコア管理登録者数 44.3万人 来訪アクティブ会員数 43.2万人※4 ※1:過去最高値を公表数値としています。 ※2 アクティブブラウザ数: 当月中にGDOに来訪したブラウザ数 ※3 ユニークユーザー数 : 当月中に当社サービスにアクセスしたユーザー数 ※4 来訪アクティブ会員数: 会員の当月のユニーク来訪者数 アクティブ ブラウザ数 376万ブラウザ※2 提携ゴルフ場数 1,916コース 取扱商品点数 新品約10万点 中古約2万点 月間注文件数 71,700件※1 総ビジター数 1,242万V※1 公式フェイスブック 85,188いいね! <2013年9月末時点>
  6. 6. 自己紹介 嘉松孝友 Takatomo Kamatsu 1972/05/10 O型 7年 ベストスコア 75 (前回 102) 174.5cm 70.0kg ゴルフのきっかけ ゴルフ好きの上司に誘われて よかったこと 中部銀次郎 異業種、世代を超えた交友関係が広まった 好きなゴルファー 神奈川県 中部銀次郎 (1997年~)印刷会社の受注システム開発(VMS) (1998年~)製薬会社の営業支援システム開発 (2002年~)ビールメーカの物流システム開発、商社のPMO
  7. 7. GDOのビックデータ活用の軌跡と ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ 活用事例
  8. 8. DWH/BI活用の軌跡 全社データ活用基盤として2010年5月にリリースしたDWH/BI、G10プロジェクトで大幅なリニューア ルを実施し、現在では当初の目的である社内データの「見える化」に加えて、日常業務での「分析・ 意思決定支援」での活用、そしてランキングといった自社サイトでの利用や広告配信システムとの連携 といった「デジタルマーケティング活用」と、その活用範囲を拡大してきている。 2009 2010 KPIレポート ★DWH/BIリリース 2011 ★大リニューアル(G10) 2012 2013 ゴルフ場営業支援レポート Seve(メルマガ対象者抽出ツール) Rtoaster連携 集計、見える化 人気ゴルフ場ランキング 新ゴルフ場営業支援レポート 分析・意思決定支援 (業務効率化・高度化) Phil(閲覧ページ会員属性分析ツール) MD分析プラットフォーム R2AD連携 デジタルマーケティング (売上向上) ショップレビューランキング GoogleShopping連携 Responsys連携 11/14
  9. 9. システム構成(2013年11月13日時点) 連携システム ログ解析システム アクセス ログデータ Digital Marketing Platform インバウンドマーケティング 会員管理 統合レコメンドエンジン GDOサイト ゴルフ場予約 DWH Platform スコア管理 ETL DWH E-Commerce Data Stage ERP アウトバウンドマーケティング 顧客抽出ツール(Seve) BI Platform OLAP分析 ワークフロー 広告配信システム GBDP ゴルフ場予約事業 ゴルフ場営業 サポート 社外データ 会員属性と連携した広告配信システム KPIマネジメント 広告営業管理 会員分析 EC事業 MD分析 プラットフォーム ECショッピングモール (Google Shopping) 予実管理 ゴルフ場向 営業支援帳票 受注・発注分析 在庫・欠品分析 統計解析 IBM SPSS R
  10. 10. 数字で見るDWH データ量 連携システム数 テーブル数 ゴルフダイジェスト・オンラインが挑んだ 1,200 6TBytes 21システム データ活用の軌跡、教訓、そして未来へ テーブル DWHに格納されているデータ量は2013 年11月現在で6TByteです。Sybase IQ のデータ圧縮機能により、約20%に圧 縮され保存されています。 バッチ処理時間 ジョブ数 950ジョブ DWHは社内・社外の21のシステムと データ連携を行っています。連携して いるデータの種類(I/F数)は300にもの ぼります。 J DWHでは日々950のバッチ処理が行われ ています。全てのジョブがジョブ管理 ツールにより制御され、エラー発生時 には即座にメールが送信されます。 10時間 日次のバッチ処理にかかる時間は約8 時間です。バックアップにかかる時間 はその中で1時間半を占めます。 DWHが各種システムから取得したデー タは、ETL処理により取込、用途ごと に集計され、1,200のテーブルに格納 されています。 利用者数 BI 50ユーザ ODBC 200ユーザ 全社員400人中、50人が日々BIツール を業務で活用、200人がODBC接続で ExcelやAccessを活用しています。
  11. 11. バッチ処理(JP1)
  12. 12. DWH/BIを支えるインフラ 本番環境 ETL Server(DataStage) HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:18.0GB, HDD:416GB OS: Windows Server 2003 EE SP2(32bit) 開発環境 DWH Server(SybaseIQ) HP ProLiant DL360 G5 (2006) CPU: Intel® Xeon® Processor X5260 # of CPU:1, # of cores:2 MEM:32.0GB, HDD:694GB OS: Windows Server 2003 SE SP2 (x64) DWH Server(SybaseIQ) Strage HP ProLiant DL380 G5 (2006) CPU: Intel® Xeon® Processor X5260 CPU:1, Core:2 MEM:32.0GB, HDD:136GB OS: Windows Server 2003 SE SP2 (x64) BI Server(MicroStrategy) HP ProLiant DL380 G6 (2009) CPU: Intel® Xeon® Processor E5540 CPU:2, Core:8 MEM:62.0GB, HDD:136GB OS: Windows Server 2008 EE SP2 (x64) HP StorageWorks MSA2312fc x 4 (2009) HDD:48, Size:28TB
  13. 13. Seve(メルマガターゲティングツール) 会員情報 × 購買履歴&予約履歴 会員情報(性別、年代、・・・)と過去の購買履歴からターゲティング ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  14. 14. Seve(メルマガターゲティングツール) ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  15. 15. Phil(サイト来訪者分析ツール) 会員情報 × アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別、年代、・・・)を分析 ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  16. 16. Phil(サイト来訪者分析ツール) ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  17. 17. 値下げお知らせメール 今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品 を購入していない』お客様に対してセールになった事を伝えるメールを配信。 CTR(来訪率) 約25%~30% ※レギュラーメール 2%~2.5%
  18. 18. 進化のための安定
  19. 19. 進化のための安定
  20. 20. 進化のための安定 2012年1月 2012年2月 2012年3月 2012年4月 2012年5月 2012年6月 2012年7月 2012年8月 2012年9月 2012年10月 2012年11月 2012年12月 2013年1月 2013年2月 2013年3月 2013年4月 2013年5月 2013年6月 合計 DWH起因 5 2 4 1 4 3 1 1 1 3 1 3 2 1 1 1 0 2 36 他システム起因 5 5 1 1 1 4 6 3 2 0 1 3 1 1 2 1 2 2 41 サービス停止 0 3 2 0 0 0 1 1 0 1 1 1 0 0 1 1 2 1 15  DWH起因の障害原因  バグ  人的ミス  OS,ミドルウェア障害  他システム起因の障害原因  データ連携遅延  他システム連携エラー(API)  データ不備
  21. 21. 自由研究(20%ルール)① EC 商品ジャンル別のクラスタリング分析 (R)
  22. 22. 自由研究(20%ルール)② Mahoutを利用したレコメンドエンジンの開発 ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ
  23. 23. ビックデータ活用を支える基盤と ゴルフダイジェスト・オンラインが挑んだ データ活用の軌跡、教訓、そして未来へ 今後の展開
  24. 24. マーケティング・オートメーション(2013年11月14日時点) 連携システム ログ解析システム アクセス ログデータ Digital Marketing Platform インバウンドマーケティング 会員管理 統合レコメンドエンジン Hadoop Platform ゴルフ場予約 Hive HDFS GDOサイト DWH Platform スコア管理 ETL DWH E-Commerce Data Stage ERP アウトバウンドマーケティング 顧客抽出ツール(Seve) BI Platform OLAP分析 ワークフロー 広告配信システム GBDP ゴルフ場予約事業 ゴルフ場営業 サポート 社外データ 会員属性と連携した広告配信システム KPIマネジメント 広告営業管理 会員分析 EC事業 MD分析 プラットフォーム ECショッピングモール (Google Shopping) 予実管理 ゴルフ場向 営業支援帳票 受注・発注分析 在庫・欠品分析 キャンペーンマネージメントシステム 統計解析 IBM SPSS R
  25. 25. Hadoop システム構成 Amazon GDO社内 Web Service Amazon VPC(Virtual Private Cloud) Amazon EC2 プライベートサブネット ログ解析 システム アクセス ログデータ マスターノード(m1.large) ×3台(Client,Active,Standby) CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB Client JournalNode Hive NameNode JournalNode Client (EC2) NameNode JournalNode Active (EC2) スレーブノード (m1.large) Standby (EC2) ×3(Datanode) CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores メモリ:7.5GB DataNode TasKTracker (EC2) HDFS (EBS) 500GB DataNode TaskTracker (EC2) HDFS (EBS) 500GB DataNode TaskTracker (EC2) HDFS (EBS) 500GB キャンペーン マネージメント .
  26. 26. Hadoop + Hive  なぜGDOはHadoopを利用したのか? ① 夜間バッチが夜間に終わらなくなった。。。 ② タダ(無料)だから。 ③ 使ってみたかった  Hadoopを利用してみて分かったこと。  意外と安定している。  HiveQLには制限は少ない(SELECT)  開発生産性は高い  クラウドなのでスケールアウトは、とっても簡単。いろんな意味で。  更新、削除は出来ない  レスポンスは遅い  Hadoop + Hive のベストプラクティス  バッチ処理
  27. 27. 次世代DWHインフラ(オンプレ案) プラン① 【 ETL増強案】 プラン② 【 ETL/DB増強案】 プラン③ 【アプライアンス案】 プラン④ 【Vectorwise案】 現行SW構成を維持し、ETLのみを増強 【リソース増強】ETL:2コア⇒4コア(64bit) 【HW】ETLサーバーのみをHW新設。 現行SW構成を維持し、ETL、DBのHWを増強 【リソース増強】ETL:2コア⇒4コア(64bit)、DB:4コア 【HW】ETL新設、DB専用マシン「Insight Qube」 オンプレミス環境にて、高速分析用に製品化されたDWHアプライアンスへ移行 【リソース増強】ETL:2コア⇒4コア 【HW】DWHアプライアンス製品 「IBM PureData System for Analytics(旧Netezza)」 オンプレミス環境にて、 DWH専用DBである「Vectorwise」に最適チューニング されたDB専用マシンへ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア 【DB】DWH専用DB 「Vectorwise」 【HW】データベース専用マシン「Insight Qube」
  28. 28. 次世代DWHインフラ(クラウド案) プラン⑤ 【 AWS案】 現行SW構成を維持し、オンプレミス環境からクラウド(AWS)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑥ 【 Redshift】 DBをSybaseIQから「Redshift」とし、環境もクラウド(AWS)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑦ 【Azure案】 現行SW構成を維持し、オンプレミス環境からクラウド(Azure)環境へ移行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア プラン⑧ 【SQLServer案】 DBをSybaseIQから「SQL Server」とし、環境もクラウド(Azure)環境へ移 行 【リソース増強】ETL:2コア⇒4コア、 DB:2コア⇒4コア
  29. 29. 製品選定  GDOの製品選定の特徴 ① 検証にお金を掛ける ② 移行性を重視する ③ 当然ですが、最初の費用で、最大の効果を!!
  30. 30. ご清聴ありがとうございました。

×