More Related Content
More from Matsushita Laboratory
More from Matsushita Laboratory (20)
SayakaHayashi_FIT2023
- 3. 複数の言語コーパスの活用例
3
[1]山西良典, 藤岡寛子, 西原陽子: 擬似コーパスを用いた飲食店レビューの観点の自動分類, 人工知能学会論文誌, Vol. 36, No. 1, pp. WI2–A 1–8 (2021)
擬似コーパスを用いた飲食店レビューの観点の自動分類[1]
• 飲食店のレビュー文
• ホスピタリティに関する観点と料理そのものに関する観点が混在している
• 混在している観点を機械的に分類
• 複数のコーパスを組み合わせて擬似コーパスを生成,分類器を作成
擬似コーパス
料理
例)バターたっぷり表面はサクサク、
中はふんわりした本格的なスコーン。
ホスピタリティ
例)窓からの羨望もよく落ち着いた店内で
ゆっくりお食事が楽しめました。
レシピコーパス
ホテルコーパス
- 18. 共通語
18
• inverse document frequency(IDF)を用いて共通語を選定
• 色々な文書によく出現する単語のIDFは低くなりあまり出現しない
単語のIDFは高くなる
• 約半数の語彙のIDFが最も高い数値
• 値が最も高い語彙以外を共通語とした