Download as PDF, PPTX
クックパッド特売情報 における自然言語処理 〜固有表現抽出を利用した検索システム〜
- 1. クックパッド特売情報 における自然言語処理 ∼固有表現抽出を利用した検索システム∼ YANS 第 10回シンポジウム (2015/09/05 ) クックパッド株式会社 買物情報事業部 Takeshi Arabiki (@a_bicky)
- 2.
- 3.
- 4.
- 6.
- 7.
- 8.
- 9. •各ユーザに限定すると商品数が少ない ‣ e.g. 登録している店舗の商品 ‣1件しかヒットしないことがよくある •ユーザが意図的に検索するわけではない ‣ より適合率（精度）が求められる 特殊な検索事情
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. 固有表現抽出の方法 •MeCab+IPAdic による形態素解析と正規化 ‣ コストを商品名に最適化 ‣辞書に代表表記の情報も登録 •CRFsuite による固有表現抽出 ‣ 形態素解析した結果を素性に利用 ‣ タグとして商品名、味、産地 etc.
- 17. % mecab -ddic 薄切り 薄切り 名詞,サ変接続,*,*,*,*,薄切り,ウスギリ,ウスギリ EOS 薄切 薄切 名詞,サ変接続,*,*,*,*,薄切,ウスギリ,ウスギリ,薄切り,薄切り,ウスギリ EOS 形態素解析結果と代表表記
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.