Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤

2,520 views

Published on

リクルートライフスタイルの全サービス横断で、ログデータ(システム系ログやユーザ行動ログなど)をリアルタイムに収集・可視化・分析する基盤を構築するプロジェクトのご紹介
JAWS-UG Meguro #2 ( http://jawsug-meguro.connpass.com/event/18162/ )にて発表

Published in: Engineering

リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤

  1. 1. CET – Capture EveryThing 全サービス横断リアルタイムログ収集・可視化・分析基盤 2015/9/25 吉田 啓二 ネットビジネス本部 ディベロップメントデザインユニット アーキテクト2グループ 0
  2. 2. • 2007年4月〜:Webアプリケーション開発に従事 – 前職 & 前々職 • 地方銀行向け融資/営業支援システム • クラウドファンディングASP – リクルートグループ入社後 • サンカク https://sankak.jp/ • ホットペッパーグルメ http://www.hotpepper.jp/ • 2015年6月〜:リクルートライフスタイル全サービ ス横断のリアルタイムログ収集・可視化・分析基盤 の構築プロジェクト(CETプロジェクト)へ参画 1 自己紹介
  3. 3. • 概要 – リクルートライフスタイルの全サービス横断で、ログ データ(システム系ログやユーザ行動ログなど)をリ アルタイムに収集・可視化・分析する基盤を構築する • 目的 – サービスの利用状況・実績に基づく機能改善 – サービスの利用状況のリアルタイム可視化による、 ユーザサポート品質の向上 – リアルタイムデータ分析を活用した新機能の提供 – ログ管理一元化による、全社的なログ管理・運用・調 査コストの削減 2 プロジェクトの概要・目的
  4. 4. 3 (参考)リクルートライフスタイルのサービス
  5. 5. • フェーズ1:ログのリアルタイム収集・可視化 – 2015年6月〜8月 – 基盤構築および数サービスへの装着が完了し、稼働・ 運用中 • フェーズ2:ログのリアルタイム集計・分析 – 2015年9月〜 – 業務系メンバ、エンジニア、データサイエンティスト で協業しながら進行中 4 スケジュール
  6. 6. CET – Capture EveryThing 5 システム構成 – ph.1. リアルタイム収集・可視化 サービス サービス 管理者等 ELB Fluentd Elasticsearch Kibana BigQuery S3 Fluentd Fluentd Fluentd Fluentd
  7. 7. • コールセンタでリアルタイムにログをモニタリング • アプリケーションのスローダウンやユーザの操作の戸惑 いなど、ユーザビリティに関する情報を迅速に検知し、 顧客サポート品質の向上に努める 6 取り組み事例 - Airレジ *イメージ
  8. 8. CET – Capture EveryThing 7 システム構成 – ph.2. リアルタイム集計・分析 サービス サービス 管理者等 ELB Fluentd Elasticsearch Kibana BigQuery S3 KinesisSpark,EMRDynamoDBAPIELB Fluentd Fluentd Fluentd Fluentd
  9. 9. • ユーザ行動のリアルタイム集計・分析 • システム系ログのリアルタイム集計・異常検知 8 現在の取り組み
  10. 10. CET – Capture EveryThing 9 システム構成 – ストリーム処理部分 Fluentd S3Kinesis Spark EMR DynamoDB API Fluentd SES Spark EMR
  11. 11. • SparkRをEC2上で動かして分散処理してみる | Tech Blog | リクルートライフスタイル RECRUIT LIFESTYLEhttp://engineer.recruit- lifestyle.co.jp/techblog/2015-08-19-sparkr/ • 第4回 [データ分析編]“制約なし”で大規模デー タ分析基盤を構築:リクルートライフスタイルの技 術力を追え!|gihyo.jp … 技術評論社 http://gihyo.jp/dev/serial/01/recruit- lifestyle/0004 10 (補足)関連資料

×