Wikipedia Entity VectorとWordNetで 対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語に着目するBotの作成
•Download as PPTX, PDF•
11 likes•2,878 views
まだ途中の段階ですが、公開しました。 githubはこちら https://github.com/SnowMasaya/Chainer-Slack-Twitter-Dialogue
Recommended
More Related Content
What's hot
What's hot (17)
Viewers also liked
Viewers also liked (20)
Similar to Wikipedia Entity VectorとWordNetで 対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語に着目するBotの作成
Similar to Wikipedia Entity VectorとWordNetで 対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語に着目するBotの作成 (20)
More from Ogushi Masaya
More from Ogushi Masaya (8)
Wikipedia Entity VectorとWordNetで 対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語に着目するBotの作成
- 1. Wikipedia Entity VectorとWordNetで 対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語に着目するBotの作成 1
- 2. 自己紹介 大串 正矢 @SnowGushiGit ポート株式会社 Web開発事業部 研究チーム Tech-Circle 運営スタッフ 機械学習／自然言語処理 インフラ自動構築 ／並列分散処理 Python 2
- 3. Agenda • Theme of LT • Conversation Pattern • Use Case 1 • Use Case 2 • System Architecture • Choose TOPIC using by Wikipedia Entity Vector and Word Net • Focus Speech of contents using by Attention Model 3
- 5. 5 Theme of LT Choice and Focus
- 8. Conversation Pattern 8 私 と仕事の どっちが 大事 ？ その 服 可愛い どこ で 買ったの？ パパ 小遣い 頂戴 彼氏 妹 パパ
- 11. System Architecture 11 SQLite 対話破綻 コーパス ファインチューニ ング用学習データ プレトレイン WikiPediaタイ トルデータ 学習 データ取得データ出力 チューニング ボット応答 ユーザーアクション Word Net Wikipedia Entity Vector Word Net Wikipedia Entity Vector
- 12. Choose TOPIC using by Wikipedia Entity Vector and Word Net 12
- 13. Choose TOPIC using by Wikipedia Entity Vector and Word Net 13 彼氏 妹 パパ
- 14. Choose TOPIC using by Wikipedia Entity Vector and Word Net • Word Netは何？？ – 単語に概念を付与してグループ化してくれているデータセット 14 スコティッシュ ホールド クロネコ オレンジネコ ネコ
- 15. 15 Choose TOPIC using by Wikipedia Entity Vector and Word Net しかし概念数が多い ： その数57,238 概念 概念数が多いと データを用意しづらい
- 16. 16 Choose TOPIC using by Wikipedia Entity Vector and Word Net 同じような概念があるはず ： それをまとめたい
- 17. Choose TOPIC using by Wikipedia Entity Vector and Word Net • Wikipedia Entity Vectorは何？？ – 単語、および Wikipedia で記事となっているエンティティの分 散表現ベクトル 17
- 18. 18 Choose TOPIC using by Wikipedia Entity Vector and Word Net 概念にベクトルが付与できる ： つまり計算が可能に （注意：今回は計算量とメモリ の関係で20万単語のみ使用）
- 19. Choose TOPIC using by Wikipedia Entity Vector and Word Net 19 Word Netと Wikipedia Entity Vector を組み合わせることで 概念クラスを 分散ベクトル化
- 20. Choose TOPIC using by Wikipedia Entity Vector and Word Net • Word Net とWikipedia Entity Vectorを組み合わせ １：Word Netの概念クラスをWikipedia Entity Vectorを用いて サマライズ ２： Word Netの未知語をWikipedia Entity Vectorで付与 ３：概念クラスの平均ベクトルをWikipedia Entity Vectorで 導出 ４：概念クラスをサマライズ ５：概念クラス内の単語の頻度が1000以上だけ残す 20
- 21. Choose TOPIC using by Wikipedia Entity Vector and Word Net 1：Word Netの概念クラスをWikipedia Entity Vectorを用いて サマライズ 21 ネコ:[0.2, 0.3, 0.4…] 犬:[0.3, 0.4, 0.5…] Wikipedia Entity Vector うさぎ:[0.2, 0.5, 0.4…] コ サ イ ン 類 似 度 計 算
- 22. Choose TOPIC using by Wikipedia Entity Vector and Word Net 2: Word Netの未知語をWikipedia Entity Vectorで付与 22 クロネコ 白猫 ： 三毛猫 ： ネコWikipedia Entity Vector コサイン類似 度 近い 未知語なら 追加
- 23. 23 Choose TOPIC using by Wikipedia Entity Vector and Word Net 各概念に属する単語数が増え ある程度まとまったが ： まだ多い
- 24. Choose TOPIC using by Wikipedia Entity Vector and Word Net 3: 概念クラスの平均ベクトルをWikipedia Entity Vectorで導出 24 クロネコ:[0.2, 0.3, 0.4…] 白猫:[0.1, 0.3, 0.…] ： ネコ 柴犬:[0.1, 0.3, 0.4…] 土佐犬:[0.1, 0.2, 0.…] ： 犬 平均ベクトル 平均ベクトル
- 25. Choose TOPIC using by Wikipedia Entity Vector and Word Net 4: 概念クラスをサマライズ 25 クロネコ:[0.2, 0.3, 0.4…] 白猫:[0.1, 0.3, 0.…] ： ネコ 柴犬:[0.1, 0.3, 0.4…] 土佐犬:[0.1, 0.2, 0.…] ： 犬 平均ベクトル 平均ベクトル コサイン類似度計算
- 26. 26 Choose TOPIC using by Wikipedia Entity Vector and Word Net 各概念に属する単語数が増え ある程度まとまったが ： まだ多い（20000程度）
- 27. Choose TOPIC using by Wikipedia Entity Vector and Word Net 5: 概念クラス内の単語の頻度が1000以上だけ残す 27 クロネコ 白猫 ： ネコ 柴犬 土佐犬 ： 犬 白鳥 アヒル ： トリ コアラ コアラ
- 28. 28 Choose TOPIC using by Wikipedia Entity Vector and Word Net これで76概念まで減少 ： 他は概念を与えないことに 全てのベクトル 使えばもっと良くなるはず・・
- 29. Choose TOPIC using by Wikipedia Entity Vector and Word Net 29 その 服 可愛い どこ で 買ったの？ 彼氏 イケメン かっこいい ： 妹 可愛い 服 ： パパ お金 小遣い ： 単語の平均一致 率計算
- 30. Focus Speech of contents using by Attention Model 30
- 31. Focus Speech of contents using by Attention Model 31 私 と仕事の どっちが 大事 ？ その 服 可愛い どこ で 買ったの？ パパ 小遣い 頂戴 彼氏 妹 パパ
- 32. Focus Speech of contents using by Attention Model 32 • Attention Modelとは • 詳しくは下記のスライドで http://www.slideshare.net/yutakikuchi927/deep-learning-nlp-attention
- 33. Conclusion 33
- 34. Conclusion • 概念クラスをまとめて、分散表現 – 概念クラスの辞書を入れ替えれば、特定の目的にそった分散表現が可能！！ – バージョンアップ予定： – https://github.com/SnowMasaya/Chainer-Slack-Twitter-Dialogue • Wikipedia Entity Vector全てのデータを使用できるようにする。 • Dockerコンテナで動作可能 • 固有表現の拡充 • Chainerの最新バージョン対応（1.5.1で動作確認） • コサイン類似度で発言を分類（今は単純な単語一致率） – 出来たら良いかな • キャラクター性の付与 • 感情を考慮した対話 • GithubにStarをくれるとやる気が加速します！！ – githubを“Chainer Slack Twitter”で検索 34
- 35. Reference 35
- 36. Reference • Chainerで学習した対話用のボットをSlackで使用+Twitterから学習データ を取得してファインチューニング – http://qiita.com/GushiSnow/items/79ca7deeb976f50126d7 • WordNet – http://nlpwww.nict.go.jp/wn-ja/ • 日本語 Wikipedia エンティティベクトル – http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/ • PAKUTASO – https://www.pakutaso.com/ • A Neural Attention Model for Sentence Summarization – http://www.aclweb.org/anthology/D15-1044 • A Neural Attention Model for Sentence Summarization [Rush+2015] (Slide Share) – http://www.slideshare.net/yutakikuchi927/a-neural-attention- model-for-sentence-summarization 36
Editor's Notes
- http://compfight.com/
- 単純に終わらないので印ドメインにリカレントが強いと言っています。 計算上のテクニックが発展すれば、アウトドメインに対応できるようになると思います。
- 単純に終わらないので印ドメインにリカレントが強いと言っています。 計算上のテクニックが発展すれば、アウトドメインに対応できるようになると思います。
- 単純に終わらないので印ドメインにリカレントが強いと言っています。 計算上のテクニックが発展すれば、アウトドメインに対応できるようになると思います。
- エンティティとは一つの概念
- エンティティとは一つの概念
- サマライズした理由は一つの概念クラスの単語数が少ないので疎なクラスしか用意できないため、後述のニューラルネットに用意するための学習データが十分確保できないため
- 0.5以上ならまとめる。
- 0.5以上ならまとめる。
- 0.5以上ならまとめる。
- 0.5以上ならまとめる。
- 0.5以上ならまとめる。
- 単純に終わらないので印ドメインにリカレントが強いと言っています。 計算上のテクニックが発展すれば、アウトドメインに対応できるようになると思います。
- 単純に終わらないので印ドメインにリカレントが強いと言っています。 計算上のテクニックが発展すれば、アウトドメインに対応できるようになると思います。
- http://www.aclweb.org/anthology/D15-1044