More Related Content
What's hot
What's hot (17)
Viewers also liked
Viewers also liked (7)
Similar to tmu_science_cafe02
Similar to tmu_science_cafe02 (20)
More from Tomoyuki Kajiwara
More from Tomoyuki Kajiwara (16)
tmu_science_cafe02
- 2. 自己紹介：梶原智之（かじわらともゆき） • 新居浜工業高等専門学校（2006年4月∼2011年3月） – 電気情報工学科 – 音楽情報処理（遺伝的アルゴリズムを用いた自動作曲） • 長岡技術科学大学（2011年4月∼2015年3月） – 修士課程：工学研究科 電気電子情報工学専攻 – 自然言語処理（文章読解支援のための語彙平易化） • 首都大学東京（2015年4月∼） – 博士後期課程：システムデザイン研究科 情報通信システム学域 – 自然言語処理（文章読解支援のためのテキスト平易化） – NLP若手の会プログラム委員 – https://sites.google.com/site/moguranosenshi/ 2
- 3. • 自然言語処理とは （専門用語と数学を極力使わない易しい説明） • 自然言語処理の技術を用いて 難しい日本語を易しい日本語に 書き換える「文章読解支援」 ← 我々の研究 • 文章読解支援技術の今後の課題 難しい日本語を易しい日本語に 書き換える文章読解支援技術 3
- 5. Web検索 1. 文書ごとに単語の重要度を計算する – 文書を単語の集合と考え、ベクトルで表現する d0 = [計算機, コンピュータ, が, 言葉, を, 扱う, 学ぶ] d1 = [ 1 , 0 , 1 , 1 , 1 , 1 , 0 , …] d2 = [ 0 , 1 , 1 , 1 , 1 , 0 , 1 , …] – ある文書内で繰り返し出現する単語は重要である – 多くの文書に出現する単語は重要な単語ではない 文書i中の単語jの重要度 = freqij/maxk(freqik) log(N/nj) di = [ 0.00 , 0.41 , 0.22 , 0.00 , 0.00 , 0.54 , 0.35 , …] 2. 検索キーワードと文書の関連度を計算する – ベクトルの向きが近いほど検索したい文書である キーワードdkと文書diの関連度 = dk・di / ¦dk¦¦di¦ （←cos） 5
- 6. かな漢字変換 • 「かな」を「かな漢字」に変換する確率（ベイズの定理） P(かな漢字¦かな) ← P(かな¦かな漢字) P(かな漢字) • 単語の読みを数える: P(かな¦かな漢字) = P(読み¦単語) – 大量のテキストデータ(読み付き)から出現回数を数える P(読み¦単語) = freq(単語, 読み) / freq(単語) • 単語の繋がりを数える: P(かな漢字) = P(単語¦前の単語) – 大量のテキストデータから出現回数を数える P(単語¦前の単語) = freq(前の単語, 単語) / freq(前の単語) 6
- 7. 機械翻訳 私 は ピアノ を 弾く I playthe piano I play the piano 1. 句の抽出 2. 句単位の翻訳 3. 並べ替え 対訳データを使って 単語単位の対応を探し 1 3の確率を計算 私 は ギター を 弾く I ■ play ■ the ■ guitar ■ 7
- 8. 難しい日本語を易しい日本語に 書き換える文章読解支援技術 自然言語処理の技術を使って 理解しやすい日本語を生成 大量・多様なテキストデータ 子ども 外国人 高齢者 アクセスは容易 理解も容易に！四国に赴く おググりください ↓ ↓ 四国に行く 調べてください 8
- 10. • 特定のニュース記事が平易な日本語で公開されている • NHK: NEWS WEB EASY http://www3.nhk.or.jp/news/easy/ 10 日本語学習者は任意の日本語の テキストをWeb上で平易化できない
- 11. 日本語の語彙平易化システム 言い換え 担う：伝承する, 支える, 受け継ぐ 難解語の検出 担う 文脈に合わない語の削除 担う, 支える, 受け継ぐ 平易な順にランキング 1: 支える, 2: 受け継ぐ, 3: 担う 難解な日本語（入力文） 未来は若者が担う 平易な日本語（出力文） 未来は若者が支える 11 Tomoyuki Kajiwara and Kazuhide Yamamoto. Evaluation Dataset and System for Japanese Lexical Simplification. In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp.35-40. Beijing, China, July 2015.
- 12. 1. 難解語の検出 • 形態素解析 （MeCab 0.993） • 文を単語に区切る技術 • 未来 / は / 若者 / が / 担う • 平易語リスト （学習基本語彙） • ここに含まれない単語が難解語になる • 子ども向け（小学校で習う単語リスト） • 外国人向け（日本語能力試験のレベル別単語リスト） 12
- 13. 日本語の語彙平易化システム 言い換え 担う：伝承する, 支える, 受け継ぐ 難解語の検出 担う 文脈に合わない語の削除 担う, 支える, 受け継ぐ 平易な順にランキング 1: 支える, 2: 受け継ぐ, 3: 担う 難解な日本語（入力文） 未来は若者が担う 平易な日本語（出力文） 未来は若者が支える 13 Tomoyuki Kajiwara and Kazuhide Yamamoto. Evaluation Dataset and System for Japanese Lexical Simplification. In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp.35-40. Beijing, China, July 2015.
- 15. 2. 言い換え • 分布仮説：似た意味の語は似た文脈で使われる • ＿＿に教わる, ＿＿に尋ねる, ＿＿に叱られる → 先生 = 教師, 先生 猫 • うどんが＿＿ → 好き, 嫌い （反義語） • ＿＿＿が好き → うどん, そば（類義語） • 国語辞典 • 【要求】強く求めること 要求する = 強く求める • ２回翻訳 • 先生 → Teacher → 教師 先生 = 教師 15
- 16. 日本語の語彙平易化システム 言い換え 担う：伝承する, 支える, 受け継ぐ 難解語の検出 担う 文脈に合わない語の削除 担う, 支える, 受け継ぐ 平易な順にランキング 1: 支える, 2: 受け継ぐ, 3: 担う 難解な日本語（入力文） 未来は若者が担う 平易な日本語（出力文） 未来は若者が支える 16 Tomoyuki Kajiwara and Kazuhide Yamamoto. Evaluation Dataset and System for Japanese Lexical Simplification. In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp.35-40. Beijing, China, July 2015.
- 17. 3. 文脈に合わない語の削除 • 述語項構造解析 （SynCha 0.3.0） • 述語のガ格,ヲ格,ニ格が何か当てる技術 • 未来は若者が担う → 述語：担う, ガ格：若者 • 格フレーム辞書 （京都大学格フレーム1.0） • 述語のガ格,ヲ格,ニ格に何が入るかという辞書 • 先生, ニ, 尋ねる 猫, ニ, 尋ねる 17
- 18. 日本語の語彙平易化システム 言い換え 担う：伝承する, 支える, 受け継ぐ 難解語の検出 担う 文脈に合わない語の削除 担う, 支える, 受け継ぐ 平易な順にランキング 1: 支える, 2: 受け継ぐ, 3: 担う 難解な日本語（入力文） 未来は若者が担う 平易な日本語（出力文） 未来は若者が支える 18 Tomoyuki Kajiwara and Kazuhide Yamamoto. Evaluation Dataset and System for Japanese Lexical Simplification. In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp.35-40. Beijing, China, July 2015.
- 19. 4. 平易な順にランキング • 単語だけを見る手法 • 出現回数：よく使われる表現が平易 • 親 密 度 ：多くの人が知っている表現が平易 • 使用者数：多くの人が使っている表現が平易 • 文脈との馴染みを見る手法 • N単語の出現確率：確率の高い表現が正しい 19
- 20. 日本語の語彙平易化システム 言い換え 担う：伝承する, 支える, 受け継ぐ 難解語の検出 担う 文脈に合わない語の削除 担う, 支える, 受け継ぐ 平易な順にランキング 1: 支える, 2: 受け継ぐ, 3: 担う 難解な日本語（入力文） 未来は若者が担う 平易な日本語（出力文） 未来は若者が支える 20 Tomoyuki Kajiwara and Kazuhide Yamamoto. Evaluation Dataset and System for Japanese Lexical Simplification. In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp.35-40. Beijing, China, July 2015.
- 22. 文章読解支援技術の今後の課題 • 語彙レベルの平易化 – 現在は単語から単語への変換のみ – 複合名詞は？複合動詞は？慣用表現は？句単位の変換は？ • 文書レベルの平易化 – このシステムは、市街地での渋滞の主な要因となっている、交通量が 多い交差点での信号待ちの車を減らす目的で、東京大学大学院情報学 環の⃝⃝准教授の研究室と警視庁が共同で開発しました。 – 交差点で信号を待つ車が増えると渋滞（＝道路が混んで、車があまり 進まないこと）の原因の１つになります。 東京大学大学院の⃝⃝さんのグループと警視庁は、信号で待つ車を減 らすための新しいシステムを作りました。 – 句節の挿入：詳細な情報を加えて分かり易くする – 句節の省略：不要な情報を削って分かり易くする – 語順の交替：情報の提示の順序を分かり易くする 22
- 23. 文章読解支援技術の今後の課題 • English Text Simplification – 語彙と文法に制限をかけた平易な大規模テキストデータ • English Wikipedia Simple English Wikipedia – 難しい文 から 易しい文 への機械翻訳というアプローチ • 日本語のテキスト平易化 – Simple Wikipedia のような大規模データが存在しない – クラウドソーシングでデータを作成するためのタスク設計 • [梶原&小町 2015]で着手 • 専門知識がなくても易しい文へ書き換えられるように マニュアルを整備し、書き換え支援ツールを作成中... 23 梶原智之, 小町守. テキスト平易化コーパスの構築指針. NLP若手の会第10回シンポジウム, P05, September 2015.
- 24. 参考文献 自然言語処理とは • 【Web検索】情報検索と自然言語処理 http://www.kamishima.net/archive/irnlp.pdf • 【かな漢字変換】統計的かな漢字変換の仕組み: ChaIME 徹底解説 http://cl.sd.tmu.ac.jp/ komachi/chaime/statime.html • 【機械翻訳】自然言語処理シリーズ4 機械翻訳 http://www.coronasha.co.jp/np/isbn/9784339027549/ 難しい日本語を易しい日本語に書き換える文章読解支援技術 • 梶原智之（論文、デモ、データなど） https://sites.google.com/site/moguranosenshi/ 24