Downloaded 52 times
Uploaded byRecruit Lifestyle Co., Ltd.
リクルートライフスタイル流！分析基盤との賢い付き合い方
MANABIYAでの発表資料です。 数十のプロダクトのデータを一手に集め、処理を回すリクルートライフスタイルのビックデータ分析基盤。本資料では、分析基盤の構成、ブロダクトの選定理由、課題解決の実例という3本立てでご紹介します。 リクルートライフスタイル 白子 佳孝 秋本 大樹
More Related Content
Similar to リクルートライフスタイル流！分析基盤との賢い付き合い方
![[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例](https://cdn.slidesharecdn.com/ss_thumbnails/20140117aws-140128175458-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
リクルートライフスタイル流！分析基盤との賢い付き合い方
- 1.
- 2. ⽩⼦ 佳孝 (シラコヨシタカ) 株式会社 リクルートライフスタイル ネットビジネス本部 データマネジメントグループ データプラットフォームT Twitter: @y0shirak0 2012年5⽉ サンフランシスコ州⽴⼤学を卒業 2013年4⽉ 新卒として中堅SIerに⼊社 客先に常駐し、システム運⽤・インフラ/ミドルウェア構築を 主に担当Treasure Dataや、RedHat Openstackといった 次世代インフラ導⼊案件にも携わる 2017年6⽉ リクルートライフスタイルに転職 社内分析基盤の運⽤チームリーダを担当
- 3.
- 4.
- 6.
- 7.
- 8. SPSS Tableau Mail Publisher Marketing Cloud Salesforce ・・・ 事業DBSCログ 外部データ ⼿⼊⼒ Firebase ・・・ データ プロデューサー 分析基盤 Datamart DWH データ アナリスト データ サイエンティス ト CRM 営業 マーケティング最適化 KPIマネジメント 可視化 分析 集約・集計 ⼊⼒ 出⼒ 出⼒拡⼤ ⼊⼒拡⼤ 組 織 拡 ⼤ 社内の現状
- 9.
- 10.
- 11. 構成図 HPB HPG JLN 事業データ CSV 外部データ S3 Redshift (本番) Redshift(退避) BigQuery アクセスログ アプリログ Treasure Data Exadata Cloud Storage
- 12.
- 13.
- 14.
- 15. BLT分析基盤はリクルートライフスタイルの処理部分を⼀括で担っている HPB HPG JLN 事業データ CSV 外部データ S3 Redshift (本番) Redshift(退避) BigQuery アクセスログ アプリログ Treasure Data Exadata Cloud Storage ⼊⼒ 出⼒処理
- 16.
- 17.
- 18. 利⽤しているDWHたち HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ アプリログ Cloud Storage Redshift(本番) Redshift (退避) BigQuery Treasure Data Exadata
- 19. Redshift (本番) Redshift (退避) BigQuery TreasureData Oracle Exadata HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ アプリログ Cloud Storage Exadata
- 20.
- 21.
- 22. BigQuery Treasure Data Exadata Amazon Redshift HPBHPG JLN 事業データ CSV 外部データ S3 アクセスログ アプリログ Cloud Storage Redshift (本番) Redshift (退避)
- 23.
- 24.
- 25. Redshift (本番) Redshift (退避) TreasureData Exadata Google BigQuery HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ アプリログ Cloud Storage BigQuery
- 26.
- 27.
- 28. Redshift (本番) Redshift (退避) BigQuery Exadata TreasureData HPB HPG JLN 事業データ CSV 外部データ S3 アクセスログ アプリログ Cloud Storage Treasure Data
- 29.
- 30.
- 31.
- 32.
- 33.
- 34. 秋本 ⼤樹 株式会社 リクルートライフスタイル ネットビジネス本部 データマネジメントグループ データプラットフォームT Facebook:daiki.akimoto.50 2011年 ユーザ系SIerに⼊社 • 客先常駐でインフラ構築のPM • 購買データを⽤いたデータ分析 2014年 ゲーム会社に転職 • ゲームデータ分析基盤の構築 • 社内KPI算出の⾃動化 2017年12⽉より現職
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47. HPB HPG JLN 事業データ CSV 外部データ Redshift (退避) BigQuery アクセスログ アプリログTreasure Data Exadata Cloud Storage Redshift Spectrum Redshift (本番) S3
- 48.
- 49.
- 50.
- 51.
- 52. Redshift (退避) アプリログ TreasureData Exadata Migaloo(社内PJ) HPB HPG JLN 事業データ CSV 外部データ BigQuery アクセスログ Redshift (本番) S3 Cloud Storage
- 53.
- 54.
- 55.
- 56.
- 57.
- 58. HPB HPG JLN 事業データ Exadata Redshift (本番) CSV 外部データ アクセスログ Redshift(退避) アプリログ Treasure Data BigQuery BigQuery S3 Cloud Storage
- 59.
- 60.
- 61.
- 62. HPB HPG JLN 事業データ Exadata Redshift (本番) CSV 外部データ アクセスログ BigQuery S3 CloudStorage アプリログ Treasure Data 退避Redshift Redshift (退避)
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69.
- 70. HPB HPG JLN 事業データ Exadata Redshift (本番) CSV 外部データ アクセスログ BigQuery CloudStorage アプリログ Treasure Data George(社内PJ) Redshift (退避) S3
- 71. George(社内PJ) 本番Redshift (⼀⽇⼀回) 退避Redshift (毎週⼟曜) データの 鮮度 新鮮なデータ 古いデータ 負荷 ⾼い低い レスポンス 遅い 速い 新鮮なデータとレスポンスの速さを 両⽴してほしいという ユーザからの要望がある
- 72. George(社内PJ) 本番Redshift (⼀⽇⼀回) 退避Redshift (毎週⼟曜) データの 鮮度 新鮮なデータ 負荷 ⾼い 低い レスポンス遅い 速い ユーザがSlackで呟くことで S3を介して新鮮なデータが 退避Redshiftにも⼊る 呟く Slack S3 新鮮なデータ
- 73.
- 74. Redshift (退避) HPB HPG JLN 事業データ Exadata アクセスログ BigQuery CloudStorage アプリログ Treasure Data Event Driven Upload Redshift (本番) CSV 外部データ S3
- 75. Event Driven Upload ①S3への アップロード ②Redshift へのロード CSV S3Redshift ユーザがRedshiftに データを⼊れるためには ある程度専⾨的な知識が必要だった
- 76. S3 Redshift Event DrivenUpload 簡単な ブラウザ上の 操作 Event Driven Upload CSV 複雑なことを裏で⾃動的に⾏うので ブラウザ上での簡単な操作のみで ユーザはデータを⼊れることができる
- 77. Conclusion Data Lake 増える課題に対応 Not DataSwamp いかにデータを使うか
- 78.