Your SlideShare is downloading. ×
WebDB Forum 2013
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

WebDB Forum 2013

3,782
views

Published on

WebDB Forum 2013での西郷の発表資料になります。

WebDB Forum 2013での西郷の発表資料になります。

Published in: Technology

0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,782
On Slideshare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
32
Comments
0
Likes
6
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. WebDBフォーラム2013 特別セッションⅠ ~ビッグデータ分析と可視化 リクルートにおける データ分析と可視化の事例 株式会社リクルート テクノロジーズ ビッグデータグループ 西郷 彰
  • 2. 本日のアジェンダ 1.はじめに ~リクルートのご紹介(少しだけ) 2.ビッグデータ活用の背景 ~時流を眺めると 3.ビッグデータ分析基盤について (少しだけ) 4.ビッグデータ活用事例 5.データ分析者の業務について (質疑応答) 西郷 彰 株式会社リクルートテクノロジーズ ITソリューション部 ビッグデータグループ シニアデータサイエンティスト Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 3. 自己紹介 氏名 西郷 彰 所属 RTC ITソリューション部 ビッグデータグループG 略歴 2009年リクルート中途入社(※データ分析業務10年)。 じゃらん、ポンパレなどのCRMやレコメンドのプロジェ クトを推進。現在BDG案件推進Uの統括業務。 学歴 大阪大学工学部 筑波大学大学院ビジネス科学研究科(MBA) 趣味etc データ分析コンペティション -レコメンデーションアルゴリズム -ベイジアンアプローチ スノーボード(インストラクター資格有) -子育てが忙しくめっきり行けなくなりました Facebook http://www.facebook.com/akira.saigo Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 4. 自己紹介 おまけ 手前味噌ですが、いくつかのメディアに 取り上げてもらってます。(^^) Confidential, Internal Use Only. 3 Copyright Recruit Technologies Co.,Ltd.
  • 5. 1.はじめに ~リクルートのご紹介 ちょっとだけ Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 6. リクルートグループのご紹介 【リクルートって「何屋」?】 【Wikipediaより】 広告を主体にした、出版およびインターネットに おける 情報サービス、人材紹介、教育など 多方面に事業を手掛ける企業 いろいろやっていますが一言で表現するなら 「情報サービス」事業を手がける企業、です Confidential, Internal Use Only. 5 Copyright Recruit Technologies Co.,Ltd.
  • 7. リクルートグループのご紹介 リクルートキャリア リクルートとは、 主要7事業会社+3機能会社 で構成されるグループ企業群 リクルート住まいカンパニー リクルートライフスタイル リクルートジョブズ 事業会社 リクルートスタッフィング リクルートマーケティングパートナーズ スタッフサービス・ホールディングス リクルート ホールディングス ビッグデータ機能部門 機能会社 私が所属する会社は リクルートテクノロジーズ 事業・社内IT推進部門 UI設計/SEO部門 インフラ部門 テクノロジーR&D部門 大規模プロジェクト推進部門 リクルートアドミニストレーション リクルートコミュニケーションズ Confidential, Internal Use Only. 6 Copyright Recruit Technologies Co.,Ltd.
  • 8. 2.ビッグデータ活用の背景 ~時流を眺めると この章は割愛 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 9. 3.基盤について Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 10. ビッグデータの分析基盤について 大きいだけでなく多種で複雑なデータ Webサイト pageview セッション アイテム エリア 営業情報 UU クライアント 店舗情報 会員 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 11. Hadoopを早くから導入しています Googleが開発した技術をオープンソース化したもの 大量データ処理が非常に高速という特徴を持つ。 米Yahoo!やFacebook等大規模ネット企業を中心に積極的に採用 が進み、国内でも楽天さん・DeNAさんなどNet業界や、通信 キャリアなどを中心に、近年は各種業界で利用が広がっている 【主な特徴】 大量データ処理 高速分散並列処理 処理能力の増強が容易 Hadoopシステ ム 分散 処理 大量データ Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 12. ビッグデータの分析基盤について システム構成概要 リサーチ段階 実験・検証 第1世代環境 第2世代環境 3~4台 20台 120台 40台 (今後拡大) プライベートクラウド プライベートクラウド 実験機 部分的な 環境融合 ラボ環境 完全なる 環境融合 2008~9 2010 2011 2012 Webサイトのバッチ 処理移植など、 処理性能の評価・研 究 システム移行などで余っ たハードウェアを再利用 商用利用が可能な設計 (セキュリティなど非機 能面)を施した環境 プライベートクラウド環 境との融合を進めた環境 2013年ではさらに統合的なデータ分析基 盤を整備しています! Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 13. Confidential,12 Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 14. 4.ビッグデータ活用事例 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 15. ビックデータ活用について 事業A 事業B 事業C 事業D 事業E 施策シェア分析 サイト間 クロスUU 調査 サイト横断 モニタリング 指標 リスティング分析 レコメンド クチコミ分析 KWD×LP分析 予約分析 メルマガ施策 BI メール通数分析 現行応募相関 ステータス分析 自然語解析 行動ターゲティング LPO 13事業に対し、 KPIモニタリング 年間176件の データ利活用を推進 事業F レコメンド ログ分析 事業G 自然語解析 メールレコメンド 需要予測 クレンジング 領域間クロスUU 集客モニタリング 需要予測 レコメンド カスタマープロファイル 商材分析 クライアントHP分析 カスタマートラッキング 事業I KPIモニタリング アクション数予測 効果集計 事業J 価格分析 レコメンド クラスタリング 事業K レコメンド 事業L レコメンド 事業M 効果見立て分析 事業H Confidential, Internal Use Only. 共通バナー クチコミ分析 Copyright Recruit Technologies Co.,Ltd.
  • 16. 可視化分析 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 17. データ活用事例:可視化の例 SUUMOで所有している大量データをつかって、クライアントへの分析商品展開、 営業側で利用するための提案ツール作成を実施。 – クライアントが物件オーナーとの接点を強化し、各種提案をスムーズに行 っていただくための物件レポート作成サービス Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 18. データ活用事例:可視化の例 「cameran」× SNS解析 事例 人気写真家 蜷川実花さんの 世界観を手軽に表現できる 無料のカメラアプリ。 日本/台湾/香港のApp Storeで 総合1位 アプリのダウンロード数とSNSの盛り上がりに どのような相関があるのか、分析を行った Confidential, Internal Use Only. 17 Copyright Recruit Technologies Co.,Ltd.
  • 19. データ活用事例:可視化の例 「cameran」× SNS解析 事例 画面に表示されているユーザ数 およびTweet数 アクティブユーザ数 およびDL数の推移 当日もっともRTされた Tweet の top10 SNS上での盛り上がりを視覚的に表現するために Twitterデータを取り込み、映像化した Confidential, Internal Use Only. 18 Copyright Recruit Technologies Co.,Ltd.
  • 20. 予測分析 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 21. 外部集客事例 広告枠 リスティング広告 SEO Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 22. その他の集客施策 バナー広告 ソーシャ ル広告 Facebook Ad Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 23. どうやって広告を最適化したらいいか? Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 24. モデリングをどう活用するの?? • 過去の集客データ(コスト・流入・成約など)から統計 モデルを構築し、将来の集客予測を行います • 集客のモデルをもとに、効率的な集客ポートフォリオを 算出し、コスト削減/一定コストでのアクション最大化の 広告配分を算出します 図表例は割愛 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 25. パーソナライズ・レコメンド Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 26. パーソナライズ・レコメンド リスティング アクション効率化 SEO 潜 在 層 バナー アライアンス 検 討 層 成 約 層 アクション ソーシャル 出口 メールレコメンド 入口 UI、コンテンツ、導線の改 善 有料外部集客(リスティング など)の効率化 Confidential, Internal Use Only. パーソナライズ、レコ メンドを活用 Copyright Recruit Technologies Co.,Ltd.
  • 27. 「みんなの求人板」× リアルタイム 事例 初来訪時は… 実装内容 「ご近所」の最新掲載求人を掲載する ←アクセス元のIPアドレスから市区町村を判定し、紐付いた エリアをレコメンド Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 28. 「みんなの求人板」× リアルタイム 事例 ひとつでも閲覧 すると… 実装内容 「あなたにオススメの求人」 ←閲覧履歴にもとづきレコメンド内容をリアルタイムに変化させて 表示する Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 29. 「みんなの求人板」× リアルタイム 事例 裏側では… WEBサーバー リアルタイム 行動履歴 flush グラフ理論を応用しつつ 全体最適化 n H p (i ) log p (i ) j 1 おすすめ求人 協調フィルタリング バルクロード 実装内容 スコア表 協調フィルタリングとグラフ理論をベースにし、カスタマーの潜在的な嗜 好をリアルタイムに反映する「独自アルゴリズム」を実現 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 30. 5.データ分析者の業務について ~求められる能力、体制 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 31. データ分析者について Facebookのデータサイエンティスト募集要項 定量的アプローチを用いて分析的な課題を解決した豊富な経験 多様なソースからの複雑で、大量かつ高次元のデータを容易に操作し、分析できること Python,PHPなど、少なくとも1つのスクリプト言語を自由に扱えること RDBとSQLに精通していること R,MATLLAB,SASのような分析ツールについて専門知識を有すること 大量のデータセットを扱った経験、MapReduce,Hadoop,Hiveなどの分散コンピューティン グツールを使用した経験 データサイエンティストに必要な資質 コミュニケーション能力:データ分析の知識に乏しいビジネス部門側のスタッフや経営層 にも、結果を効果的に伝えらえる。 アントレプレナーシップ:データ中心の新しいサービスを生み出そうとする起業家精神も。 好奇心:芸術、技術、医療、自然科学などの特定の分野にとらわれずあらゆる分野に好奇 心が旺盛。 城田真琴 “ビッグデータの衝撃”2012,東洋経済新報社より抜粋 5年前はBIGDATAについて、 誰も議論してなかった。 5年後は当り前になってるかもしれない。 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 32. データ分析者について データサイエンティストに求められるものは 何か一つの能力の高さではなく「面積の大きさ」なのでは? 分析スキル PJ管理能力 マーケティング& ビジネススキル テクノロジースキル エンジニア&アナリスト分析スキルだけでなくテクノロジースキルも必要 また、施策接続や結果の活用(意志決定支援)のため、 マーケティングや事業のビジネスに対する理解・コンサルティング、PJ管理能力も必要 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 33. データ分析者について ビッグデータに対峙する2種類のアナリスト 【役割】 事業の抱える課題解決に向けた仮説を立て、大量データをマイニングし具体的な 解決案を提案する。現場に近いところで超具体的な方針を示す 【スキル・知識】 分析力、論理的思考力、仮説力、統計/マーケティング知識、SQL、Rなど 【役割】 データマイニングや機械学習を行った結果をもとに、ユーザーの行動特性など 一定の規則性を見出し、提供サービスの品質向上に努める 【スキル・知識】 Hadoop、MapReduce、Mahout、Java、R、統計解析、時系列解析、データマ イニング、機械学習、自然言語処理など 出展:http://engineer.typemag.jp/knowhow/2012/02/-13-2.php Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 34. データ分析者について (「コンサル型」+「エンジニア型」)×マーケター 事業担当者 ≒マーケター R-techの 守備範囲 エンジニア型 コンサル型 「コンサル型」+「エンジニア型」の異なるアナリストと マーケターの三位一体で、最適なデータ活用を実現 Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 35. ご清聴ありがとうございました。 リクルートグループではビッグデータ活用により、 テクノロジーとデジタルマーケティングの 最先端を走る企業を目指してます! Confidential, Internal Use Only. Copyright Recruit Technologies Co.,Ltd.
  • 36. 本日11:40~12:50 弊社主催の昼食会があります! (@国際交流ホールⅢ) ぜひお気軽にお越し下さい! 質疑応答 後日の連絡はこちらまで↓ http://recruit-tech.co.jp/ Confidential, Internal Use Only. お弁当も出ますよ♪ Copyright Recruit Technologies Co.,Ltd.