自然言語処理とは何か簡単にまとめたもの

1. 自然言語処理
東京大学 工学部 杉浦光紀
1

2. 目次
• スライドの概要…p3
• 自然言語処理とは
-概要…p4
-形態素解析…p8
-構文解析…p12
-意味解析…p16
-文脈解析…p20
• 自然言語処理の展望…p24
2

3. スライドの概要
• 目的
インターン生で自然言語処理についての研究を始めたため、それを共有で
きればと思い作成しました。
• 対象者
自然言語処理について何も知らない方が対象です。
• 内容
自然言語処理において、日本語をどのように扱っていくかについての簡単
なまとめです。詳しい理論や数式は扱いません。
3

4. 自然言語処理とは-概要-
• 自然言語とは、我々人間が普段日常的に用いている言葉のこと。
⇔人工言語(プログラミング言語)
自然
なう
プログラミング
hello
言語 int i=0
char *a;
std::cin>>a;
printf(“%dn”,i);
i++;
自然言語例 人工言語例
コンピュータには理解できない コンピュータにも理解できる
4

5. 自然言語処理とは-概要-
• 自然言語とは、我々人間が普段日常的に用いている言葉のことである。
⇔人工言語(プログラミング言語)
自然
なう
プログラミング
hello
言語
自然言語例
そのままではコンピュータには
理解できない 5
これをコンピュータに
理解させ処理させるの
が自然言語処理！

6. 自然言語処理とは-概要-
• 日本語の自然言語処理は次の手順で行われることが多い。
1. 形態素解析
2. 構文解析
3. 意味解析
4. 文脈解析
以下、これらを「太郎の手は大きい。その手で飛ぶ蚊を叩い
た。」の自然言語で書かれた例文に適用することで学んでいく。
6

7. Q. 自然言語をどのように扱うか？
7
どうやって自然言語で書かれた文章を理解させるのか？
そのままでは扱いきれない。
文章=文+文+…
=文節+文節+…
=単語+単語+…
だからまず文章を文節や単語に分けよう！

8. 8
このような考えに基づいてまず、
形態素解析
という処理が行われる。

9. 自然言語処理とは-形態素解析-
• 形態素とは、意味を持つ最小の言語単位のことである。
• 単語はいくつかの形態素列として構成されている。
例：非合理的->非+合理+的
• この形態素に対する自然言語処理のことを形態素解析と呼ぶ。
• 日本語の文章は形態素解析によって単語や文節に分けられ、そ
れらの情報(次ページ参照)も明らかにされる。
否定の役割
名詞
形容的表現に変える役割
9

10. 太郎の手は大きい
→ 太郎 + の ＋ 手 ＋ は ＋ 大きい
その手で飛ぶ蚊を叩いた
→ その + 手 + で + 飛ぶ + 蚊 + を + 叩い + た
※格フレームとはある単語がどのような単語とともに使用されるかを記述した用例のようなもの
「叩く」の格フレーム例：＜手、紙...＞デ＜頭、机...＞ヲ…
名詞
助動詞動詞助詞名詞動詞助詞連体詞 名詞
形容詞助詞名詞助詞
10
Ex)「太郎の手は大きい。その手で飛ぶ蚊を叩いた。」を形態素解析する。
各文を構成する形態素とそれらの情報が出力される！
情報としては、品詞や句名の
他に活用形や格フレーム※が
ある

11. Q. 各形態素はどのように関わるのか？
Q. そもそも元の文章は日本語として正しい文章
なのか？
11
形態素解析により、文章を形態素列として考えることができるようになっ
た！
では、これらの形態素は互いにどのように関わっているのだろうか？
そもそも、＜名詞句+動詞句=文＞などのルールをもとに考えてみて、元
の文章が日本語として正しい文により構成されているのだろうか？

12. 12
このような関心をもとに行われるのが
構文解析
という処理である。

13. 自然言語処理とは-構文解析-
• 構文解析とは、入力された文(単語の並び)に対して、単語の並
び方の妥当性を判断し、妥当なものに対して構文構造を出力す
る処理のことである。
• 構文構造の表現には木構造が用いられ、木構造で表現された構
文構造を構文木と呼ぶ。
• 主に句構造解析と依存構造解析の2つのアプローチがあるが、
日本語においては、係り受けを見る依存構造解析をすることが
多い。
13

14. 文
名詞句
文
Ex)「その手で飛ぶ蚊を叩いた」を構文解析する。
構文木が出力される！
助動詞動詞
動詞句
助詞名詞動詞助詞名詞連体詞
名詞句
名詞句
名詞句
動詞句名詞句
た叩いを蚊飛ぶで手その
助動詞動詞助詞名詞動詞助詞名詞連体詞
た叩いを蚊飛ぶで手その
動詞句
名詞句
動詞句
名詞句
名詞句
14
「その手で」という名詞
句が「飛ぶ」という動詞
とともに動詞句を形成し
ている
「その手で」という
名詞句が「叩いた」
を含む動詞句ととも
に文を形成している

15. Q. どの構文木が元の文章を正しく表現できているのか？
Q. 各形態素はどのような意味で用いられているのか？
15
構文解析によりそれぞれの文がどのように形態素が関わって構成され
得るかが分かった！
しかし明らかに、形態素の関わり方の異なる構文木が複数出力されて
しまった。
どの構文木が、それぞれの文をもっともよく表現しているのだろう
か？
また複数意味を持つ、「飛ぶ」という単語はどの意味で使われている
のだろうか？

16. 16
このような疑問を解決するために行われるのが
意味解析
という処理である。

17. 自然言語処理とは-意味解析-
• 意味解析とは、構文木の得られた文に対して意味的に妥当な構
文木を選択するとともに、語義曖昧性のある単語については、
それを解消する処理のことである。
語義曖昧性：
語義曖昧性とは、文中の単語がどの意味で使われているか明らかでない状態のことである。
これを解消するのが語義曖昧性解消という処理である。
17

18. 文
名詞句
助動詞動詞助詞名詞動詞助詞名詞連体詞
た叩いを蚊飛ぶで手その
動詞句
名詞句
動詞句
名詞句
名詞句
18
Ex)「その手で飛ぶ蚊を叩いた」を意味解析をする.
不適切な構文木は排除され、適切な構文木のみ出力される！
また「飛ぶ」の語義曖昧性が解消される！
「手で飛ぶ蚊」という表
現が意味的におかしい
文
助動詞動詞
動詞句
助詞名詞助詞名詞連体詞
名詞句
名詞句
名詞句
動詞句名詞句
た叩いを蚊飛ぶで手その
動詞
「宙に浮く」という意味

19. Q. 文章はどのように構成されるのか？
19
形態素解析、構文解析、意味解析により、文章を構成する各文がどの
ような意味を持つのかというのが明らかになった。
ではこれらの文がどのように関わって文章を構成しているのだろう
か？
「その手で飛ぶ蚊を叩いた。」の指示語「その」とは何を指すのか？
また省略されている主語は何なのか？

20. 20
このような複数文間にまたがる処理を
文脈解析
と呼ぶ。

21. 自然言語処理とは-文脈解析-
• 形態素解析、構文解析、意味解析は、文単位で処理されるのに
対して文脈解析では、複数文にまたがる「構文木」を作成し、
それらの関係を明らかにする。
• 日本語では、省略や代名詞による置き換えが非常に多く、代名
詞の照応、省略の補完が行われる。
21

22. 22
（太郎は）その手で飛ぶ蚊を叩いた。
太郎の 大きい
Ex)「太郎の手は大きい。その手で飛ぶ蚊を叩いた。」を文脈解析する。
指示語の対象や省略された語を明らかにした完全な文章が出力される！
照応関係が明らかになり、
省略が補完され、一文だけ
で文意がわかるようになる
省略された主語の補完

23. 23
以上の4ステップにより、自然言語処理が行われる。
自然言語処理の流れをもう一度簡単にまとめると以下のよう
になる。
1. 形態素解析
-文を形態素に分割し、品詞などの情報を付与する。
2. 構文解析
-不適切な文を排除、適切な文に対して構文木を得る。
3. 意味解析
-得られた構文木のうち正しいものを選択し、さらに語義曖昧性解消をする。
4. 文脈解析
-各文がどのような関係にあるかを明らかにし、照応関係の解明、省略の補完をする。

24. 自然言語処理の展望
• これまでに自然言語処理は大きく発展してきて、形態素解析と
構文解析は、十分な精度でコンピュータに処理させることがで
きている。
• それらを生かした応用例も身近に存在する。
応用例：
・予測変換 ・音声認識 ・仮名漢字変換
・自動要約 ・文書校正 ・機械翻訳 ・対話ロボット
24

25. 自然言語処理の展望
• しかし、意味解析や文脈解析ではいまだに十分な精度を実現し
ておらず、研究の余地はまだまだ存在する。
例）ある翻訳サイトでの翻訳例
このように主語が間違っているなど、文脈を読むことができない。
25
「太郎の手は大きい。その手で飛ぶ蚊を叩いた。」
Taro’s hand is big. I struck a mosquito that fly by that hand.

26. 自然言語処理の展望
• 近年、単語意味の効率的なベクトル表現が開発され、機械学習
の発展とともに意味解析や文脈解析の精度の向上が期待されて
いる。
• コンピュータが自然言語を完全に理解できるようになれば、イ
ンターネット上にあるさまざまな自然言語情報からあらゆる物
事を考えることができるようになり、ここが言語学的なシン
ギュラリティであろう。
• 未開拓なことが多い分野であるが、応用性が高く人間の生活を
より良いものにする技術であることに間違いない。
26

27. 27
以上、自然言語処理の大まかな説明でした！
ご覧いただきありがとうございます。
インターン生では、これからも自然言語処理について勉強し、
なにかサービスを開発していけたらと考えております。
勉強の成果は、またブログの記事として書きたいと考えてお
りますので、そちらの方もご覧いただけたらと思います！