Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

マルチクラウドで実演するカスタマーセントリックな分析基盤

593 views

Published on

July Tech Festa 2018での発表資料です。
数十のプロダクトのデータを一手に集め、処理を回すリクルートライフスタイルのビックデータ分析基盤。
分析基盤を開発・運用する我々は、データドリブンな組織を目指すためにマーケティング手法の一つであるカスタマーセントリック戦略を取り入れています。
カスタマセントリックな基盤を実現するために、どのような取り組みを行なっているかをご紹介いたします。

リクルートライフスタイル 白子 佳孝

Published in: Engineering
  • Be the first to comment

マルチクラウドで実演するカスタマーセントリックな分析基盤

  1. 1. マルチクラウドで実現する カスタマーセントリックな分析基盤 In JULY TECH FESTA 2018 ⽩⼦ 佳孝 リクルートライフスタイル データマネジメントG
  2. 2. Index 1. リクルートライフスタイルについて 2. カスタマーセントリックな基盤について 3. データ分析基盤の全体図
  3. 3. Index 1. リクルートライフスタイルについて 2. カスタマーセントリックな基盤について 3. データ分析基盤の全体図
  4. 4. 会社紹介
  5. 5. ビジネスモデル(リボン図) リクルートグループの経営理念に掲げる「⼀⼈ひとりが輝く豊かな世界 の実現」を実現するために、クライアントとユーザーがで会う場を提供 することが、リクルートのビジネスモデル。 リクルートユーザー クライアント
  6. 6. 取り扱うデータ 提供している30以上のサービスに関するカスタマーデータ、クライアン トデータを⼀元的に収集し、分析などに利⽤している。
  7. 7. データ活⽤における社内状況 SPSS Tableau Mail Publisher Marketing Cloud Salesforce ・・・ 事業DB ⾏動ログ 外部データ ⼿⼊⼒ Firebase ・・・ データ プロデューサー 分析基盤 DATAMART DWH データ アナリスト データ サイエンティス ト CRM 営業 マーケティング最適化 KPIマネジメント 可視化 分析 傾向予測 集約・集計 ⼊⼒ 出⼒
  8. 8. Index 1. リクルートライフスタイルについて 2. カスタマーセントリックな基盤について 3. データ分析基盤の全体図
  9. 9. そもそもデータ分析基盤は 使い続けてもらうことが価値 ユーザ(社内利⽤者)が傾向分析やマーケティング最適化、KPIマネ ジメント、メール施策の最適化などにデータ分析基盤を利⽤し、 事業成果をあげることで、分析基盤のプレゼンスが向上する。 そのために、いかに「使いたい」と思ってもらえる基盤を提供 できるかが鍵となる。
  10. 10. そもそもデータ分析基盤は 使い続けてもらうことが価値 ユーザ(社内利⽤者)が傾向分析やマーケティング最適化、KPIマネ ジメント、メール施策の最適化などにデータ分析基盤を利⽤し、 事業成果をあげることで、分析基盤のプレゼンスが向上する。 そのために、いかに「使いたい」と思ってもらえる基盤を提供 できるかが鍵となる。 カスタマーセントリックな基盤をつくる
  11. 11. カスタマーセントリックとは カスタマーセントリック = 顧客中⼼主義 マーケティング⼿法の⼀つで、企業がどの戦略や戦術を実⾏する かという意思決定の基準を、顧客に置くことが基本的な考え⽅。
  12. 12. カスタマーセントリックな基盤とは カスタマー セントリッ クな基盤 ⾼いユーザ 体験 継続的進化= +
  13. 13. カスタマーセントリックな基盤とは カスタマー セントリッ クな基盤 ⾼いユーザ 体験 継続的進化= + 分析基盤を利⽤するユーザ体験を向上させるために、ユーザの声を集め たり、評価する仕組みが必要。 また、エンジニアもユーザ⽬線を常に持つ必要があり、間違っても独り よがりな環境を作り出さないことが重要。
  14. 14. リクルートライフスタイルで取り組んでいること ・問い合わせ⽤のSlackのChannelを開設 ・ユーザアンケートを実施 ・分析基盤を使う⽴場になるために、ユーザ側のグループに兼務 ・データを活⽤するチームと同じグループになる ユーザ体験向上のための取り組み~ヒアリング~ ユーザの意⾒を吸い上げつつ、⾃らもユーザ側に⽴ち、 客観的に評価する。
  15. 15. リクルートライフスタイルで取り組んでいること ・ユーザ毎の基盤利⽤状況の把握 ・ユーザクエリの平均レスポンスタイムの把握 ・社内SNSなどでの分析基盤に対する評価コメントの収集 ユーザ体験向上のための取り組み~評価~ 機械的に収集できる情報をできるかぎり集める。 特に、ユーザの満⾜が⾼い=分析基盤をよく利⽤している と考えられるので、その部分を集中的に。
  16. 16. リクルートライフスタイルで取り組んでいること ・定期的にユーザ教育を実施 ・勉強会 ・動画コンテンツ ・毎⽉メルマガを発⾏し、今⾏なっている取り組みなどを共有する ・ユーザの声や利⽤状況を元に周辺サービス・機能を開発 ユーザ体験向上のための取り組み~ユーザビリティ向上~ ユーザにとっての分析の敷居をとにかく下げる。 使いたい時に使える状況を提供する。
  17. 17. 周辺サービス・機能例 背景 毎⽇、数千ものテーブルロードや数百ものデータマート作成処理(CRUD処理)が常 に⾛っているため、Redshift環境が重くなり、1つのselect⽂でもレスポンスに数 ⼗秒ほどかかってしまっていた。そのため、ユーザから「このレスポンスの遅さで は業務に⽀障が出る」などの意⾒があった。 取り組み テーブルロードやデータマート作成処理が⾛らない、快適な分析基盤をユーザに提 供することにした。 Mirror-Redshift環境
  18. 18. 周辺サービス・機能例 Mirror-Redshift環境 S3 Redshift Mirror- Redshift 毎週⼟曜に本番Redshiftのスナップショットを⽤いて Mirror-Redshiftを作成する テーブルロード 毎週⼟曜 同期 マート作成処理
  19. 19. 周辺サービス・機能例 Mirror-Redshift環境 鮮度を求めないデータに関しては、Mirror環境を利⽤することで ユーザは快適に分析が可能 Redshift Mirror-Redshift データ鮮度 新鮮なデータ 古いデータ 負荷 ⾼い 低い レスポンス 遅い (数秒〜数⼗秒) 速い (〜数秒)
  20. 20. 周辺サービス・機能例 背景 Mirror環境によって、分析におけるユーザビリティは向上したが、とはいえデータ 鮮度が古いため、速い環境で最新データを分析したいという声があがった。 取り組み S3においてあるテーブルデータをMirror環境にロードできる仕組みをChatbotで実 装した。Chatbotでの実装により、ユーザはおまじないをSlack上でつぶやくだけ で最新データをMirror環境で分析できるようになった。 Chatbotによるテーブルロード
  21. 21. 周辺サービス・機能例 Chatbotによるテーブルロード bot S3 Mirror- Redshift Slackにつぶやくことによって、 S3のデータをMirror-Redshiftへloadしてくれるbotを⽤意 rs_load:mirror: <schema_name>.<table_nam e> COPY
  22. 22. 周辺サービス・機能例 背景 分析環境としてBigQueryを⽤意したが、利⽤者が持っているファイルをBigQuery にロードして分析したいという要望が上がった。 取り組み S3に配置するだけで、BigQueryにロードする仕組みを実装。 ファイルが置かれたことをトリガーにファイルをロードする仕組みを実現するため に、AWSのサービスとGCPのサービスを組み合わせて実装している。 fileアップロード
  23. 23. 周辺サービス・機能例 fileアップロード
  24. 24. カスタマーセントリックな基盤とは カスタマー セントリッ クな基盤 ⾼いユーザ 体験 継続的進化= + 現状に満⾜したままでは、いつかはレガシーなシステムになってしまい、 ひいてはユーザ体験を損なうことになってしまう。 ⾼いユーザ満⾜度を継続するためには、継続的な環境の進化も重要。 例えば、オンプレからクラウドに移⾏するのもその⼀つ。
  25. 25. リクルートライフスタイルで取り組んでいること DataLake構成 マルチプラットフォームDWH構成 Redshift Spectrumの活⽤ 統合データ連携パイプラインの構築 上記はあくまで⼀部
  26. 26. DataLake構成
  27. 27. Single Store Various Data Data Hub 様々なデータを⼀箇所に集めることで ⾊々なところに連携しやすくする DataLake構成
  28. 28. DataLake構成 技術進化に伴い、新しいクラウドサービスや新しいDWHが続々とリリー スされている。進化させるために、いちいちデータ移⾏などの作業が発 ⽣すると対応スピードが激減する。 弊社では、AWS S3をDataLake構成にしておくことによって、新しいエ ンジンや新しいニーズが出てきた際も柔軟に対応出来る体制を整えてい る。 継続的な進化を続けるためにはDataLake構成は必須条件だという認識。
  29. 29. マルチDWHプラットフォーム構成 Exadata
  30. 30. マルチDWHプラットフォーム構成 各DWHにはそれぞれの特性があり、向き不向きがある。 ⽤途によってDWHを使い分けることで、ユーザの多様なニーズにも対応 することが可能 1つしか環境がない場合、その環境でまかなえないユーザニーズについて は、諦めてもらう必要がある。
  31. 31. Redshift Spectrumの活⽤ S3 DB1 DB3 DB2 AWS Glue lambda Redshift S3 Redshift Redshift TSV Parquet ファイルサイズ⼤ ファイルサイズ⼩ S3のObjectを直接参照出来るSpectrumを使⽤することで、クラスタサ イズの圧縮を⾏い、⽤途毎にクラスタを⽴てることで、ユーザの利便性 を上げる。
  32. 32. Redshift S3 頻繁に使われるホットデータと ユーザから⼀時参照が多いコールドデータで 使い分けることが⼤切 ホットデータ 定期的に たくさん使われる コールドデータ ユーザからの ⼀時参照が多い Redshift Spectrumの活⽤
  33. 33. 統合データ連携のパイプラインを構築 S3 DB1 DB3 DB2 新製品 単⼀の ロード 処理 S3をデータハブとし、複数のDWHに同⼀データを連携できる仕組みを実装。 これにより、ユーザはどの環境でも同じデータを利⽤して分析できる。 また、新たに素晴らしいDWHが出てきても、プラグイン的に処理を追加す るだけでデータがロードできるようになっている。
  34. 34. おまけ
  35. 35. メタデータ管理機能
  36. 36. メタデータ管理機能 テーブルがどのDWH・スキーマにあるのか、どういうテーブル定 義なのかが分からないと分析がままならない。 分析の敷居を下げる+すぐに分析できる状態を提供するために、 内製でメタデータ管理システムを構築。 このシステムでは下記が確認可能 ・テーブル情報 ・テーブルがある環境 ・スキーマ名 ・テーブル名(物理・論理) ・カラム情報 ・カラム名 ・データ型 ・PKやNULL制約などの付加情報
  37. 37. Index 1. リクルートライフスタイルについて 2. カスタマーセントリックな基盤について 3. データ分析基盤の全体図
  38. 38. HPB HPG JLN 事業データ CSV 外部データ S3 Redshift Mirror-Redshift BigQuery アクセスログ アプリログ Treasure Data Exadata Cloud Storage 分析基盤構成図
  39. 39. CSV 外部データ S3 Redshift Mirror-Redshift BigQuery アクセスログ アプリログ Treasure Data Cloud Storage Exadata HPB HPG JLN 事業データ Exadata
  40. 40. Exadata BigQuery アプリログ Treasure Data Cloud Storage Amazon Redshift HPB HPG JLN 事業データ CSV 外部データ S3 Redshift Mirror-Redshift アクセスログ
  41. 41. Redshift Mirror-Redshift Exadata アプリログ Treasure Data Google BigQuery HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ BigQuery Cloud Storage
  42. 42. Redshift Mirror-Redshift Exadata HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ BigQuery Cloud Storage TreasureData アプリログ Treasure Data
  43. 43. まとめ
  44. 44. データドリブン企業を⽬指すうえで、 カスタマーセントリックな分析基盤は超重要! 常にユーザ側の⽬線を持ち、ユーザの声に⽿を傾け、 ユーザと共に進化し続ける分析基盤を 提供し続けることが我々エンジニアのミッション 皆さんも、ユーザの声に⽿を傾けてますか…?
  45. 45. ⼀緒にカスタマーセントリックな分析基盤を作ってくれるエンジニア募集!

×