Web mining Tutorial: Entity search
- 24. エンティティ検索 基礎 エンティティeを語{w1, w2, ..., wn}で表す クエリーqに対して適切なeを検索したい ->確率p(e|q) を求めたい p(e|q) = p(q|e)p(e)/p(q)∝p(q|e)p(e) ->確率p(q|e)= π p(w|e) (w ∈ q)がわかればよい * p(e)は例えばランダムウォーク(後述)で計算 なお厳密には文書dを考慮して p(e|q) ∝Σ p(e|d)p(q|d)p(d) であるが、ここではeはd相当とする
- 25. エンティティ検索 基本モデル p(w|e)をどうモデル化するか もっとも単純には p(w|e) = tf (w,e)/|e| あるいはidfを加味 もしくはwとeの共起を加味 きちんと言語モデルを考えるとスムージングして p(w|e) = λ tf(w,e)/|e| + (1-λ) tf(w,E)/|E| (λ = |e|/(|e|+μ))