Successfully reported this slideshow.
Your SlideShare is downloading. ×

Ad

さくさくテキストマイニング勉強会 #5




あなたの質問に応えてみた。
 ー疑問に対する応答ー

Ad

自己紹介

Ad

自己紹介
  早川 敦士
 電気通信大学
システム工学科三年

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Upcoming SlideShare
Unit1-2
Unit1-2
Loading in …3
×

Check these out next

1 of 37 Ad
1 of 37 Ad

More Related Content

Viewers also liked

QaA

  1. 1. さくさくテキストマイニング勉強会 #5 あなたの質問に応えてみた。 ー疑問に対する応答ー
  2. 2. 自己紹介
  3. 3. 自己紹介 早川 敦士 電気通信大学 システム工学科三年
  4. 4. 興味 テキストマイニング データマイニング 統計解析 品質管理
  5. 5. ブログ http://d.hatena.ne.jp/gepuro/ 自己紹介 Twitter @gepuro
  6. 6. 花火打ち上げた♪
  7. 7. 富士山登った〜
  8. 8. やってみたこと
  9. 9. Webから拾ってきた テキストに対して、 やってみたこと 質問を投げかけて、 何か応えてもらう。
  10. 10. どうやって?
  11. 11. 一般的?には データから互いに関連の強 い実体(単語等)を探してき て、特定の関係がなりたつよ うにテキストデータから情報 を抽出する。
  12. 12. 建造物 地名 電気通信大学西5 東京都調布市 号館 東京タワー 東京都港区 名古屋城 EXAMPLE 愛知県名古屋市 愛・地球博記念公 愛知県愛知郡 園
  13. 13. 一般的?には 抽出した情報のデー タベースに対して、特 定の質問の回答を見 つけることができる。
  14. 14. 今回は・・・
  15. 15. 形態素解析 と 係り受け解析 どうやって? を 使いました。 それだけ・・・
  16. 16. 準備その1
  17. 17. wikipediaから、 イカ娘に関する記事 を入手した。
  18. 18. CaboChaを 利用して、 係り受け解析を行う。
  19. 19. 係り受け解析は、一 行ずつ行いましょう。 コーパスは「。」で改 行されている必要が ある。
  20. 20. 解析後のファイルを そのままでXML として利用できない。 ひと手間加える必要がある。
  21. 21. CaboChaによって XMLで出力された ファイルをパースする http://d.hatena.ne.jp/gepuro/20111014
  22. 22. 準備その2
  23. 23. 質問文を考える 準備
  24. 24. 質問文に対しても、 CaboChaを用いて 準備 係り受け解析を行う
  25. 25. 疑問詞を質問文から 探しだして、これに係 準備 るチャンクを求める。
  26. 26. 応えを探せ
  27. 27. 疑問詞かかるチャンクに 含まれるトークンを 取り出し、 応えを探せ イカ娘の記事に含まれる 同じチャンクに 係るチャンクを求める。
  28. 28. 分かりにくいので、 具体例を・・・
  29. 29. 質問文 (何の)→(予定だったか?) イカ娘の記事 (短期集中連載という)→ (予定だったが)
  30. 30. これだけでは、 応えの候補が多くなっ てしまう場合が あるので・・・
  31. 31. 質問文から、 応えのありそうな文 を搾り出そう
  32. 32. 質問文 「侵略イカ娘という作品は、 初めは何の予定だったか?」 質問に含まれる名詞がある 文中に応えになりそうな文が あるのでは?
  33. 33. 記事全体から、 複数の文に絞り込む
  34. 34. 結果は? 当初は 短期集中連載という
  35. 35. 文を絞り込む事によって、 取り除いた応え ●判明。 ●本来は ●『週間少年チャンピオン』誌 上及び、 ●公開する
  36. 36. 課題 ●応えありきで質問文を考え てしまっている。 ●質問文によっては、応えが 大量に出てしまう。 例:「何のために」 (何の)→(ために)
  37. 37. ご清聴、 ありがとうございました

×