Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio

2,934 views

Published on

TableauとGoogle Cloud Platformをヘビーに使っているアドテクスタジオですが、今回イベントでどのように利用しているかを話してきました。その時の資料です。

Published in: Technology

How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio

  1. 1. How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio 2016 March 24th CyberAgent, Inc. All Rights Reserved
  2. 2. Agenda
  3. 3. サイバーエージェントとは アドテクスタジオとは サイバーエージェントでのTableauの導入について サイバーエージェントでのGoogle Cloud Platformの導入について 実際のTableau x Google Cloud Platformの導入事例
  4. 4. 自己紹介
  5. 5. Ken Takao 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Central Infrastructure Agency Infra Manager アドテク本部の技術ボードメンバー としてTableau,GCPの推進を行ってます。
  6. 6. サイバーエージェントとは?
  7. 7. OUR VISION 当社は1998年の創業以来、インターネットを軸に事業を展開し、 現在では当社の代表的なサービスである「Ameba」をはじめ、ス マートフォン向けに多数のコミュニティサービスやゲームを提供 しています。2011年よりスマートフォン事業へ経営資産を大きく シフトし、2014年9月期には売上高の約7割がスマートフォン事 業に転換。変化対応力を強みに事業拡大を続けております。 Ameba事業は、先行投資期から収穫期に移行。インターネット 広告事業においては、スマートフォン広告市場の約3割を取り扱 い、インターネット広 告 市 場 国 内ナンバーワンのシェアを拡 大 し、アドテクノロジー分野や動画広告など、新しい広告手法にも 積極的に取り組んでおります。2009年から展開するゲーム事業 においても、ネイティブゲームにて複数本のヒットタイトルが出る など、国内有数のゲーム事業へ成長いたしました。
  8. 8. タイトル TITLE
  9. 9. タイトル TITLE
  10. 10. アドテクスタジオとは?
  11. 11. 200名以上の エンジニア 20以上の 広告システム 1000台以上の 物理サーバー GCP,AWS, IDCF Cloudなど マルチクラウド 10PB以上の データ基盤 数PBの データ ウェアハウス
  12. 12. サイバーエージェントでの Tableauの導入
  13. 13. 2014年3月よりTableau Desktopを導入 一部の開発者やデータサイエンティストが データを可視化するのに利用。 2014年12月よりTableau Serverを導入 一部のチームでTableau Serverを 利用してデータの可視化を共有し始める。 2016年1月よりTableau Server Core Licenseを導入 社内のTableauユーザー数が爆発的に増加
  14. 14. 288人が使ってどれくらい CPUを使っているかというと全く使ってない (ロードアベレージが平均 0.0133) ネットワークトラフィックはそこそこ出ているが上限が 20Gbps 社員全員が使ってくれるといいな。
  15. 15. Tableauの何がいいのか? 1.数クリックで簡単にグラフが作れちゃう。 2.データソースが何でも繋がる。 よく使うデータソースCSV,Excel,MySQL,PostgreSQL, Redshift,Oracle, Matrix,Google Spreadsheetなどなど 3.数クリックで簡単にデータを共有できちゃう。 コアライセンスなら 4.簡単に管理画面に組み込めてしまう! 5.ユーザー数が増えれば増えるほどお得に!
  16. 16. サイバーエージェントでの Google Cloud Platform の導入
  17. 17. Google Cloud Platformの導入状況 Ameba事業本部、アドテク本部で導入中 cyberagent.co.jp,cyberagent.io,ameba-cloud.comの3つのドメ インが存在する。 ameba-cloud.comの方ではabema.tvやameba freshなど 新規サービスで利用中。 アドテク本部では動画広告配信システムに利用中。 AWSと比較すると  リザーブドインスタンスを購入する必要が無い。   (いっぱい使っていると勝手に割り引かれる。)  BigQueryだったり、強力なロードバランサーが使えたり、  リージョンをまたいでも同一ネットワークだったり便利
  18. 18. BigQueryについて サーバーを必要とせず、 簡単にデータを保持できる超高速データベース 現在では配信サーバーのログデータをストリームでインサー トして(月間54TB)配信のアルゴリズムに役立てている。 (後半、神田より実用事例を説明します。) データ量が少ないとか金額も少ないので管理系のCSVをロー ドさせるのにも最適!
  19. 19. Tableauで費用分析 Google Cloud Platformでは1日ごとの費用を CSVにしてGoogle Cloud Storageにアップできます。 http://ameblo.jp/principia-ca/entry-12104991502.html これをCRONでBigQueryにロード これをTableauで可視化                                 bq load --skip_leading_rows=1 payment.gcp gs://cia-payment/payment-2016-03-16.csv Account_ID:STRING, Line_Item:STRING,Start_Time:TIMESTAMP,End_Time:TIMESTAMP,Project:STRING,Measurement1:STRING, Measurement1_Total_Consumption:FLOAT,Measurement1_Units:STRING,Credit1:STRING,Credit1_Amount: FLOAT,Credit1_Currency:STRING,Cost:FLOAT,Currency:STRING,Project_Number:STRING,Project_ID:STRING, Project_Name:STRING,Project_Labels:STRING,Description:STRING なんと僅か数分で左のグラフ ができてしまう! Tableauの予測機能で費用予 測まで可能!?
  20. 20. 実際のTableau x Google Cloud Platform の導入事例
  21. 21. 自己紹介
  22. 22. Katsunori Kanda 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Core Development Group Senior Software Engineer potix2 @ twitter/github ※毎月LispMeetup(shibuya.lisp)を開催しています 今月は3/30に開催予定。残りわずか。
  23. 23. Tableau × BigQueryの 限界を探ったときの話
  24. 24. Tableau × BigQueryの 導入に際して実施した、 その限界を探るパイロットスタディの 顛末をお話します
  25. 25. 広告の前提知識を少しだけ・・・
  26. 26. いつ x 誰が x どの広告と何処で接触して その結果、どうなったのか? ということに関心があります。 広告システムでは、
  27. 27. 例えば、 帰宅中にtwitterをしている会社員は、ゲーム広告を見るとよくクリックする傾向がある。 というような事象がわかれば効率よく広告配信ができる。 みたいな話です。
  28. 28. それをふまえて、
  29. 29. スタディ1
  30. 30. 1分区切りで配信状況を可視化
  31. 31. やってみたこと
  32. 32. Tableauのデータソースとして、 BigQueryを追加
  33. 33. これをクリック
  34. 34. 1日分のログ1TBに、
  35. 35. Group By hour, minute
  36. 36. ちょっと重いけど、普通に動いた!
  37. 37. ただ・・・ レポートをちょっと修正すると
  38. 38. 思考の妨げ
  39. 39. 課金
  40. 40. そこで、
  41. 41. データ抽出
  42. 42. コレをクリック
  43. 43. スタディ1まとめ ● TableauからBigQueryの接続は簡単 ● 快適な操作&コスト低減のためにはデータ抽出が有効 ● RDB的感覚で無理なクエリーでもBigQueryなら動く
  44. 44. スタディ2
  45. 45. どの広告がいつ配信されているのか を可視化したい
  46. 46. スタディ1のデータソースに 「広告主」のディメンジョンを追加
  47. 47. Group By hour, minute, advertiser
  48. 48. だいたい数百万行くらい
  49. 49. これでもBigQueryは動く
  50. 50. 広告主ごとに色分けをしてみる
  51. 51. Tableauでも表示できた!
  52. 52. もう少し過酷にしてみる
  53. 53. メジャーを追加していくと・・・
  54. 54. 突然のレンダリング待ち
  55. 55. スタディ2まとめ ● データソースを変更&色分けだけで得られる情報量は格段 にあがった ● ただ、現実的な時間で描画できるとは限らない ● ポイントを絞り、不要な情報を削ぎ落とすことで「見やすく」、 「高速な」レポートができる ※最初から情報を削ぎ落としすぎると新たな気づきが得られないことも・・・
  56. 56. ちょっとだけ脱線
  57. 57. スタディ2のクエリーへさらに ディメンジョンを追加する
  58. 58. Group By hour, minute, advertiser, publisher
  59. 59. 数十億から数百億件くらい
  60. 60. これだとBigQueryも、 Tableauも動かなくなる・・・
  61. 61. 広告配信は、 組み合わせ最適化問題
  62. 62. 配信先が追加されただけで 組み合わせ数が一気に跳ね上がる
  63. 63. ちなみに、今回のスタディを通して ● システムの改善ポイントを見つけ、修正するに至った ● 事業上の取り組むべき課題を見つける事ができた
  64. 64. まとめ ● データは雄弁 ● 速いは正義 ● 常識にとらわれないクエリーから新たな気づきを得る

×