自動質問応答における 連続発話からの類義クエリ抽出
•
0 likes•330 views
第11回対話シンポジウム(https://jsai-slud.github.io/sig-slud/90th-sig.html)での発表スライドです
Recommended
Recommended
More Related Content
Similar to 自動質問応答における 連続発話からの類義クエリ抽出
Similar to 自動質問応答における 連続発話からの類義クエリ抽出 (20)
Recently uploaded
Recently uploaded (8)
自動質問応答における 連続発話からの類義クエリ抽出
- 1. 22. 自動質問応答における 連続発話からの類義クエリ抽出 ◯戸田隆道 杉山雅和 友松祐太 (株式会社 AI Shift)
- 5. 課題 メンテナンスに工数がかかる チャットボットの改良 実環境で利用利用ログの分析 チャットボットの運用サイクル ● 新しい回答の作成 ● 不要な回答の削除 ● 表記ゆれの吸収 ● 類義表現の登録 ● ストーリーの組み直し ● 発話文言の変更 ・ ・ ・
- 6. 課題 メンテナンスに工数がかかる チャットボットの改良 実環境で利用利用ログの分析 チャットボットの運用サイクル ● 新しい回答の作成 ● 不要な回答の削除 ● 表記ゆれの吸収 ● 類義表現の登録 ● ストーリーの組み直し ● 発話文言の変更 ・ ・ ・ これらの作業工数の 削減を目標に研究
- 15. 関連研究 Efficient estimation of word representations in vector space Tomas Mikolov and Kai Chen, Greg Corrado, and Jeffrey Dean, ICLR 2013 GloVe: Global Vectors for Word Representation Jeffrey Pennington and Richard Socher, Christopher D. Manning, EMNLP 2014 ● Word2VecやGloVeを使う ● 分散表現の類似度で類義表現を獲得 Wikipediaで学習した場合、ドメイン固有の類義表現を学習できない ドメインに関係する文章から学習することもできるが、ある程度の文章量が必要
- 16. 関連研究 共起情報を利用した不具合事象の同義表現獲得 川村晋太郎, 研究報告自然言語処理（NL）, 2019-NL-241 ● 製造業におけるカスタマーサポートの問い合わせログを分析 ● 不具合の事象が「箇所名 + 現象名」で構成されるものに注目 ● 「箇所名」及び「現象名」の同義表現をセットで獲得していく クエリA: ヒンジの破損 クエリB: 蝶番の破損 ヒンジと蝶番は同義表現 チャットボットのクエリは単語の羅列 (“wifi 接続 遅い”など)で送られてくることが多い ドメインによっては「箇所名 +現象名」のような固定されたパターンに当てはまらない
- 22. 提案手法 4個のバリデーションルール 1. ポジティブフィードバック 2. 直前の発話時間 3. 文字数 4. 提示回答候補の重複
- 23. 提案手法 4個のバリデーションルール 1. ポジティブフィードバック 2. 直前の発話時間 3. 文字数 4. 提示回答候補の重複 ● 多くの用例ベースチャットボットに備わっている フィードバック機能を利用 ● 役に立った、というポジティブなフィードバック (PFB)があったクエリのみに絞る モバイルルーターをお求 めの場合は... ・ ・ ・ はい この回答は役に立ちまし たか？ はい いいえ PFB
- 24. 提案手法 4個のバリデーションルール 1. ポジティブフィードバック 2. 直前の発話時間 3. 文字数 4. 提示回答候補の重複 ポケットwifiを使いたい この中に回答はあります か？ wifiがつながらない wifiが遅い wifi使用の料金 光回線を使いたい 回線速度が知りたい 10分以上 ● 同一セッションのクエリであっても話題が変わっ ている場合がある ● 直前の発話から10分以上経過しているクエリは 連続していないと判断する 別の話題と判断
- 25. 提案手法 4個のバリデーションルール 1. ポジティブフィードバック 2. 直前の発話時間 3. 文字数 4. 提示回答候補の重複 ● チャットボットに不慣れなユーザーがメールでの 文章のような長文でのクエリを送ってしまう場合 がある ● 複数の話題を含んでおり、紐付けてしまうとそれ に含まれる別の話題に関する用例の回答率が 下がってしまうお恐れがある ● 20文字以上のクエリは除外する お世話になっております 先日よりベーシックプランで使 い始めました 利用料金を確認したかったの で、マイページに入ろうと思っ たのですがログインする場所 がわかりません 登録時のメールを破棄してし まったので、ログインページの URLを再度教えていただけれ ばと思います お手数おかけしますがよろしく おねがいします 会員番号: 12345 名前: 山田太郎 メール: taro@gmail.com このクエリは除外
- 26. 提案手法 4個のバリデーションルール 1. ポジティブフィードバック 2. 直前の発話時間 3. 文字数 4. 提示回答候補の重複 ポケットwifiを使いたい この中に回答はあります か？ wifiがつながらない wifiが遅い wifi使用の料金 光回線を使いたい ポケットwifiは使えない の？ この中に回答はあります か？ wifiがつながらない wifiが遅い wifi使用の料金 光回線を使いたい ● 語尾を変えただけなど、提示した回答が変わら ない場合がある ● 「違うかもしれないけど、一番近そうなのはこれ だし、とりあえず見てみよう」といったモチベー ションで選択していることが想定される 提示内容が同じ
- 27. 分析 我々の提供するカスタマーサポートのデータで手法を検証 ● 対象ドメイン: 金融決済系 ● 期間: 2020年10月1日〜7日の1週間分 ● ログデータ ○ 発話日時 ○ 発話種別(ユーザーかチャットボットか ) ○ 発話内容 ○ 対話のユニークID ● 統計情報
- 28. 分析結果 233件の連続発話を抽出し、4つの連続パターンを分類した 1. A → A’型 ... 159 / 233 件 2. A → A B型 ... 36 / 233 件 3. A B → A型 ... 12 / 233 件 4. A → C型 ... 26 / 233 件
- 30. A → A B型 単語を追加することで目的の回答にたどり着いている 良い例 悪い例 ● 左の例のように第1クエリが少数の回答候補に含まれる単語の場合、紐付けに 利用すると精度改善が期待できる ● 右の例のような、第1クエリが多くの回答候補に含まれる単語の場合、紐付けに 利用すると精度が悪くなる可能性がある ※データ取り扱いの都合上マスキングを加えている
- 31. A B → A型 検索の邪魔になっていそうな単語を消している ● 第1クエリに目的とする事象とは別の個別の事象をクエリに含めてしまってい る。 ● 個別の事象が多く見られる場合はある種の類義クエリとして扱うこともできるか もしれない。 ※データ取り扱いの都合上マスキングを加えている
- 32. A → C型 まったく別のことを問い合わせてきている ● 現在のバリデーションルールを抜けてしまっている ※データ取り扱いの都合上マスキングを加えている
- 34. 考察 実際にシステム化する際の課題 1. 紐付けデータが少ない 2. 無意味な紐付けができてしまう ● バリデーションルールが厳しすぎる？ ● PFBのバリデーション ○ 問題が解決した際にわざわざ手間を かけてフィードバックをするユーザー は少ない
- 35. 考察 実際にシステム化する際の課題 1. 紐付けデータが少ない 2. 無意味な紐付けができてしまう ● 紐付けると回答精度を下げてしまう恐れがある ○ A → C型 : 全く関係ないクエリ ○ A → A B型 : 第1クエリが多くの回答候補に含まれる ● 新たなバリデーションルールを設ける必要がある ○ 1個目の課題とトレードオフになる
- 36. まとめ チャットボットの運用作業の工数削減を目標とした研究 ● 作業の一つ、類義クエリの紐付けに関する手法を提案 ● 手法を実際のカスタマーサポートで利用されている用例ベースチャットボット のログをで分析・考察 今後 ● バリデーションルールの改良 ● 抽出された類義クエリを紐付けた際の回答性能の評価