リクルートにおけるhadoop活用事例＋α
•
10 likes•3,536 views
2015/03/04 MapRユーザ・カンファレンスでの、白井の講演資料になります
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to リクルートにおけるhadoop活用事例＋α
Similar to リクルートにおけるhadoop活用事例＋α (20)
More from Recruit Technologies
More from Recruit Technologies (19)
Recently uploaded
Recently uploaded (10)
リクルートにおけるhadoop活用事例＋α
- 2. 自己紹介 2 氏名 白井 祐典 所属 RTC ITソリューション統括部 ビッグデータ2G 略歴 中途入社3年目。カーセンサー.netのHadoop施策において 要件定義/開発を2年間実施中。 Hadoopエコシステムの検証や、 画像解析などの検証/事業接続を実施。 学歴 長岡技術科学大学 経営情報システム工学専攻 趣味etc ゴルフ 映画 将棋（振り飛車党）
- 4. 4 最近のデータ活用状況
- 13. カスタマのニーズに沿ったアクションまでの最適なシナリオの提供 ~カスタマの行動に応じた適切な施策の表出~ カーセンサー シナリオマーケティング 欲しい車種はある。けど、物 件が多すぎて探し切れない… カーセンサーを知ってる！ 中古車欲しいから来てみた！ 近くで探したいけど まだ車種が決まっていない… 初回来訪 アクション 物件一覧 カタログ TOP CS使い方 欲しい車 種を見つ けよう ※ 実施策ではなく、イメージです 絞込 ボディT 車種 絞込 地域 価格上限 燃費 相場 販売店 高崎店 近店検索 並列比較
- 15. 15 カーセンサー シナリオマーケティング D3.jsに描画するまでの流れ 過去2年分の 行動ログ取得 画面遷移および 人数・CVR集計 Json形式へ整形 木構造を持った 画面遷移を機械的に描写
- 16. 16 カーセンサー シナリオマーケティング 有用な機能を使いやすい条件を集計/決定木などで特定 次画面名 1000000 100 175000 100 138543 100 449567 100 69201 100 29835 100 7048 100 1 物件詳細 650000 34.44 0 0% 88232 14% 400000 62% 38337 6% 18284 3% 1537 0% 2 離脱 120000 32.78 120000 100% 0 0% 0 0% 0 0% 0 0% 0 0% 3 機能A 78000 11.62 0 0% 33000 42% 10959 14% 6426 8% 3020 4% 308 0% 4 再来訪 55000 8.59 55000 100% 0 0% 1 0% 0 0% 0 0% 0 0% 5 機能B 41000 8.46 0 0% 10000 24% 300 1% 20000 49% 4000 10% 10 0% 6 TOP 39000 1.89 0 0% 5191 13% 2307 6% 1764 5% 1177 3% 226 1% 7 特集記事A 34000 1.48 0 0% 2000 6% 20000 59% 1466 4% 2391 7% 967 3% 8 特集記事B 22000 0.75 0 0% 120 1% 16000 73% 1208 5% 963 4% 4000 18% 人数 割合人数 割合 人数 割合 人数 割合 All 人数 割合 人数 割合 人数 物件一覧ランディング 全体 滞在時間 無し 15秒以下 15～30秒 30～60秒 1～3分 3～5分 割合 次画面名 1000000 100 100000 100 155543 100 450587 100 69201 100 70315 100 48840 100 1 物件詳細 650000 34.44 0 0% 88232 14% 400000 62% 38337 6% 18284 3% 1537 0% 2 離脱 120000 32.78 90000 75% 0 0% 0 0% 0 0% 10000 8% 20000 17% 3 機能A 78000 11.62 0 0% 10000 13% 10959 14% 6426 8% 33500 43% 22100 28% 4 再来訪 55000 8.59 10000 18% 40000 73% 1 0% 0 0% 0 0% 0 0% 5 機能B 41000 8.46 0 0% 10000 24% 300 1% 20000 49% 4000 10% 10 0% 6 TOP 39000 1.89 0 0% 5191 13% 2307 6% 1764 5% 1177 3% 226 1% 7 特集記事A 34000 1.48 0 0% 2000 6% 24000 71% 1466 4% 2391 7% 967 3% 8 特集記事B 22000 0.75 0 0% 120 1% 13020 59% 1208 5% 963 4% 4000 18% 人数 割合 人数 割合 人数 割合 人数 割合 人数 割合 人数 割合 人数 割合 All 物件一覧ランディング 全体 [検索]物件ヒット数_e27 <1000<100 <10000<10 10000<0件 ※ A 15 HIT 0 B 30
- 18. どの画面遷移をした人に、どの条件でどういう施策を連続して 打つ（シナリオ）か？を分析者/実装者/事業担当者間で要件定義 カーセンサー シナリオマーケティング 欲しい車種はある。けど、物 件が多すぎて探し切れない… 初回来訪 アクション 物件一覧 ※ 施策の一部（デバイス：PC） 絞込 地域 価格上限 店誘導 在庫数 問合せ先
- 21. タウンワーク： 仕組み紹介 21 スコア表 STEP１ 過去のカスタマーの行動情報をもとにして、 「原稿同士の関連スコア」=スコア表 を計算 閲覧ログ スコア演算 日次 バッチ スコア表 更新 検索結果の入れ替え STEP2 スコア表とリアルタイムの行動履歴情報をもとに、逐 次演算してカスタマーが最も嗜好するような検索結果に最適化 スコア表 リアルタイム 行動履歴 ユーザID 原稿ID スコア User001 A001 0.9+0.1 User001 B001 0.8+0.5 ユーザID 原稿ID スコア User001 A001 0.9 User001 B001 0.8 リアル タイム
- 25. 一般物体認識：スパースコーディング＋SVM 25 一般物体認識： 画像に映った物を特定する処理 ① 画像をベクトルに変換するencoderの作成 ② encoderで画像をベクトルに変換 ③ 教師有ベクトルを用いて判別モデルを生成 ④ 未知の画像を②でベクトルに変換 ⑤ ③のモデルに④を通し物体を特定 カスタマが興味のある画像に、何が映っているかを特定し、 検索の軸としたり、レコメンド利用の可能性がある
- 26. 一般物体認識：スパースコーディング [encoder作成] 26 K-means, Sparse Coding, OMP, RBM, Auto Encoder… ①学習する全画像から、d×dピクセルの局所画像をランダムに抽出。 ②抽出した局所画像をrgb×d×dの配列とし、 ベクトル空間へプロット。 ③ベクトルの軸を、各画像がスパースになる ような軸の変換式(encoder)を作成。
- 27. 一般物体認識：スパースコーディング [学習用vector作成] 27 Encoding Pooling fn(x) 先のページで作った エンコーダー適応 ΣやM 特徴ベクトル化 y（1,1） y（1,2） k次元 先のページで作ったエンコーダーを用いて画像を特徴ベクト ルの変換する。 投入イメージ 画像表現 特徴量 ④学習画像を左上から順にd×dピクセルづつ 取得し、encoderを用いてベクトル変換。 ⑤得たベクトルを4範囲で各平均を取り、 それを合成して画像のベクトルとする。
- 31. 31 まとめと今後
- 32. Hadoop まとめと今後 32