検索基盤Qass

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved
検索索基盤Qass
⾼高林林貴仁/@tatakaba
16/01/12
〜～情報検索索の品質と『⾒見見る』検索索品質のハイブリッドエンジンの追求〜～
ビックデータオールスターズ

2
⾃自⼰己紹介
⾼高林林貴仁 / @tatakaba
2011 〜～リクルート⼊入社
アプリケーションソリューショングループ
Ø 検索索基盤
Ø Hadoop基盤
Ø DWHとCEP
Ø R&D
2004 〜～ 2011 ヤフージャパン株式会社
Ø 主に検索索システム担当
Ø web,地図,local検索索等
Ø WPO(Web Performance
Optimization)
プレミアムモルツ
⼤大好きです！

Whatʼ’s Qass??

4
Whatʼ’s Qass??
l  elasticsearchを軸とした検索索基盤
l  検索索をサポートする機能の提供(FE&BE)
ü  サジェスト
ü  スペラー
ü  関連検索索
ü  リライター
検索索品質、UXを担保する事で、
事業に貢献！！

5
Architecture
ビックデータ
を活⽤用した
フィードバッ
クシステム

6
ビックデータとQass
ログデータを活⽤用したデータ集計基盤
メトリクス/データ集計
indexing/ランキング/辞書

7
今⽇日のお話
検索索品質とランキング

情報検索索でいう検索索品質とは？

9
検索索とは
ユーザー求めるドキュメントを抽出
ドキュ
メント
ドキュ
メント
ドキュ
メント
全体のドキュメントから

10
極論論をいうと

11
「ユーザーの求めていたドキュメント」
のみを抽出する事が可能なら

12
最強の検索索エンジン

13
それは、無理理〜～

14
結果のズレがある
ドキュメント全体
ユーザーが求めていた
ドキュメント
システムの検索索結果
CB A
実際には・・・
要求に答えられた部分
適合率率率再現率率率

15
情報検索索的にいうと
• ユーザーの本来求めていた情報が、
検索索結果に含まれていた割合A:再現率率率
• 検索索結果の内、ユーザーが本来求め
ていた結果が含まれる割合B:適合率率率
• 適合率率率と再現率率率の重み付き調和平
均F値

16
式で表現すると
適合率率率＝
「検索索結果のドキュメント」数
「ユーザーの要求とシステムの結果が⼀一致した部分」のドキュメント数
F値＝
適合率率率
1
1
α +
再現率率率
1
(1 ー α)
備考：α = 割合
再現率率率＝
「ユーザーの本来求めていたドキュメント」数
「ユーザーの要求とシステムの結果が⼀一致した部分」のドキュメント数

17
適合率率率と再現率率率
l 適合率率率を上げれば、再現率率率は下がる
ü  結果を厳選すれば、適合率率率は上がるが、取りこぼ
しが多くなる為、再現率率率は下がる
l 再現率率率を上げれば、適合率率率は下がる
ü  結果を多くすれば、再現率率率は上がるが、ノイズが
多くなる為、適合率率率は下がる
再現率率率と適合率率率は、システムでは
相反しあう傾向

18
品質を上げる施策
l 形態素辞書の拡充(新語、略略語、通称地名等)
l クエリ展開(spark or (spark and apache))
再現率率率の向上施策
l 正規化(髙 => ⾼高)
l 表記ゆれ(引っ越し、引越、引越し)
l 同義語・略略語(⽊木村拓拓哉 == キムタク)
適合率率率の向上施策

19
再現率率率と適合率率率の
バランス良良い⾼高さが重要
検索索品質とは

20
検索索品質がよければいいと
思ってた・・・。

21
検索索品質だけじゃない
『領領域』もある・・・。

22
⾮非公開
とあるサイトの禁書⽬目録

23
とあるサイトのABテスト結果
ほぼ、有意差なし・・・＼(^o^)／

24
リクルートの事業領領域
旅⾏行行
IT/トレンド
⽣生活/地域情報
グルメ・美容
ライフスタイル領領域ライフイベント領領域
進学
就職
結婚
転職
住宅宅購⼊入
⾞車車購⼊入
出産/育児

25
ライフスタイルとライブイベント違い
ショッピング、飲⾷食など、決断が軽い。
ある程度度の⽬目安(キーワード)がある
ライフスタイル
ライフイベント
結婚、住宅宅購⼊入など、決断が慎重
⾊色々な結果を⾒見見⽐比べたい

26
⼈人⽣生の中で、重要なイベントは、
簡単には決められない事が多い。
悩む・・・
就活
結婚式場どこ
にしよう。
bB買おうかな。
転職したい・・
どんな家がい
いかな。

考えたり、悩んだり、後悔したくない！

28
ライフイベントにおける
新しい検索索体験

『⾒見見る』検索索品質とは？

30
欲しい(⾒見見たい)情報が離離散してる
ドキュメント全体
『⾒見見る』検索索とは
最終的に
決定する情報

31
何かに似てませんか？

32
32
情報誌

33
情報誌と⾔言えば・・・

34
「まだ、ここにない、出会い」 by リクルート

35
そこで、こんなアプローチ

36
l  編集者のKKDをモデル化
ü  KKD
ü  情報の整理理
ü ⼈人間味あるいい意味での偶発性
ü  確信を持ったノイズ
雑誌で表現した
ノウハウを検索索に
施策
(勘、経験、度度胸)

37
編集者のモデル化
編集者A
商材：A-‐‑‒>D
商材：D-‐‑‒>F
編集者B
商材：A-‐‑‒>C
商材：C-‐‑‒>F
編集者C
商材 : A-‐‑‒>B
商材 : B-‐‑‒>C
感性をモデル化して、ランキングに反映

38
検索索の品質領領域
旅⾏行行
IT/トレンド
⽣生活/地域情報
グルメ・美容
ライフスタイル領領域ライフイベント領領域
進学
就職
結婚
転職
住宅宅購⼊入
⾞車車購⼊入
出産/育児
情報検索索の検索索品質「⾒見見る」検索索品質

検索索ランキングの精度度

40
検索索結果(上位i件)のランキング順が、
「ユーザー求めたランキング」と、
どの程度度差があるか？
基本的な考え⽅方
NDCG

41
スコアリング
現実(DCG) 理理想(IDCG)
l  CTR、CVRなどをベースに理理想のランキングを⽣生成
ü  求めてるドキュメントを上位に
ü  求めてないドキュメントを下位に

42
NDCGとは
l  現実(DCG）と理理想(IDCG)の差
l  複数のクエリの平均が検索索システムの精度度
検索索結果は、関連性の⾼高い順に

43
Qassでのランキング例例
ランキングの作成に活⽤用
ü 複数の予測モデルを結合したスコア
l  wは各モデルの重要度度
ü  ジャンルごとの分布
l  xは各モデルの結果 (DBの値から)
ü  キーワードマッチ度度
ü  予測モデル
ü  ctrなどのスコア
質より量量！！

44
まとめ
l 情報検索索の品質
l 情報誌ならではのだら⾒見見の品質
l 最適なランキング
l ⾊色々な要素を利利⽤用したスコア付け
品質とズレを掛けあわせたハイブリッド検索索

45
品質とズレを掛けあわせたハイブリッド検索索基盤
は、⽬目指しています！

46
現在、＠IT様のサイトで、
Qass基盤について連載中！
@it qass

最後に

48
ちょっとだけ、Sparkのお話

49
エンジニアの欲求
Sparkを利利⽤用した
集計基盤にリプレ
イスしてます。

50
リプレイス内容
l  MapR1.2 => MapR4.1へ
l  Sparkを利利⽤用した機械学習
l  バッチからリアルタイムへ
l Spark-‐‑‒steaming
l Kafka
l elasticsearch-‐‑‒hadoop(storm&spark)
l  Drillを利利⽤用したアドホック集計？
リクルートテクノロジーズでも、Sparkを活⽤用した
事例例が増えてきてます。

ご清聴ありがとうございました！
リクルートテクノロジーズ

検索基盤Qass

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 検索基盤Qass

Similar to 検索基盤Qass (20)

Recently uploaded

Recently uploaded (9)

検索基盤Qass