ae-8. 自然言語処理（問答，要約，テキスト生成，単語の特徴ベクトル，単語の類似度）

1. ８. 自然言語処理（問答，要約，テキスト生成，単語の特徴ベクトル，単語の類似度） 1 金子邦彦（ディープラーニング，Python を使用）（全１５回） https://www.kkaneko.jp/cc/ae/index.html

2. 2 問答リカレントニューラルネットワークは，回帰により，過去の情報を保持する．時系列データなどのデータの並びを扱う能力を持つテキスト質問回帰答え保持する AIが生成する結果の例要約要約データは回帰する能力がある．テキスト生成生成リカレントニューラルネットワークは，回帰により，過去の情報を保持する．時系列データなどのデータの並びを扱う能力を持つ.線形回帰モデル(pn-model)は,過去のデータが現在から何百年後かに再度出現する.つまり, リカレントニューラルネットワークは，回帰により，過去の情報を保持する．時系列データなどのデータの並びを扱う能力を持つリカレントニューラルネットワークは，回帰により，過去の情報を保持する．時系列データなどのデータの並びを扱う能力を持つ

3. 機械学習 • 学習による上達の能力 • 訓練データを使用して，学習を行う 3

4. フィードフォワードとリカレントニューラルネットワーク 4 フィードフォワードネットワークある層の出力を，次の層が受け取るリカレントニューラルネットワーク回帰により，前回の実行時での結果の一部が，次の実行に反映される．回帰

5. リカレントニューラルネットワークの動作イメージ ① 5 データの並び保持使用

6. リカレントニューラルネットワークの動作イメージ ② 6 データの並び保持使用前回の実行時での結果も使用

7. リカレントニューラルネットワークの動作イメージ ③ 7 データの並び保持使用前回の実行時での結果も使用

8. リカレントニューラルネットワークの応用 • 時系列データを用いた予測データの並びを扱う • 手書き文字認識筆記の動きを扱う • 音声認識音の並びを扱う • 「言葉」の理解，翻訳，テキスト生成，プログラム生成単語の並びを扱う 8

9. アウトライン 9 番号項目 8-1 自然言語処理 8-2 単語の特徴ベクトル 8-3 自然言語を扱うニューラルネットワーク 8-4 演習各自，資料を読み返したり，課題に取り組んだりも行う

10. 全体まとめ • 自然言語処理で行うこと：問答，要約，テキスト生成などさまざま． • 語の類似性を扱うため：単語の特徴ベクトル・・・単語を数値化（１つの単語を複数の数値の組で置き換えたもの） • 文章は長い．単語の順が変わっても同じ意味ということもある：文章全体を単語の列として扱う．2017年発表の Transformer などの技術がある． 10 多数の数値の組 iPhone 数値化単語

11. 8-1. 自然言語処理 11

12. 自然言語処理 • 人間の言葉（日本語や英語など）を，コンピュータが処理することを，自然言語処理という • 人間の言葉を理解できる能力をもつアプリやサービスの制作に役立つ 12

13. インターネットでの検索では，人間の言葉を使うことが当たり前に 13 「明日の天気は」で検索検索結果

14. 人間の言葉を理解し，曲をかけたり，電気製品を制御したりするスマートスピーカー 14

15. 自然言語の処理の例 • 問答 • 要約 • テキスト生成 • 分類 • 翻訳 • 欠損の補充 • 文章の類似度 • 人間の言葉として正しいか正しくないかの判定 • 文法に関するもの（品詞，係り受け）など 15

16. 翻訳（日本語から英語，英語から日本語） 16 DeepL 翻訳ツール https://www.deepl.com/ja/translator

17. 翻訳ワード，パワーポイントファイルの中から，文字のデータを取り出すことも当たり前に 17 元のパワーポイントファイル翻訳結果 DeepL 翻訳ツール https://www.deepl.com/ja/translator

18. 文章からの画像の合成 18 I like chocolate DALL-E mini のオンラインデモ https://huggingface.co/spaces/dalle-mini/dalle-mini 元の文章 AI が生成した画像

19. まとめ • 人間の言葉（日本語や英語など）を，コンピュータが処理することを，自然言語処理という • 自然言語処理には，さまざまな種類がある主なもの • 問答 • 要約 • テキスト生成 • 分類 • 翻訳 • 欠損の補充 • 文章の類似度 • 人間の言葉として正しいか正しくないかの判定 • 文法に関するもの（品詞，係り受け） 19

20. 8-2. 単語の特徴ベクトル 20

21. 【自然言語処理の課題①】語の類似性を扱うこと私の母は親切だ私の母は優しい私の母は思いやりがある 21 これらの単語は類似しているということを、データをもとに裏付けること自体も課題

22. 22 多数の数値の組（ここでは 300個の数値）単語を数値化し，単語の特徴ベクトルを得ている iPhone 数値化 iPad 数値化多数の数値の組（ここでは 300個の数値）単語単語

23. 数値と距離 23 10 9 100 近い（距離: 1）遠い（距離: 90）

24. ベクトルと距離 24 近い遠い複数の数値の組（ベクトル）で考えることもある１つの点が２個の数値の場合 5, 5 4, 4 10, 6

25. 単語の特徴ベクトル • 単語の特徴ベクトルは，単語を数値化したものこのとき，複数の数値の組（ベクトル）を考える • 意味の近い単語は近くになるようにする。 25 みかんりんごバス

26. 単語の特徴ベクトルどうやって，コンピュータが単語の特徴ベクトルを得るか？【分布仮説】同じ文脈で出現する単語は、類似する意味を持つみかんは甘いりんごは甘いみかんを食べたりんごを食べたバスは速いバスを探した 26 Harris, Z. (1954). Distributional structure. Word, 10(23): 146-162. 互いに同じ文脈違う文脈

27. 27 Stefan Evert, Marco Baroni and Aslessanddro Lenci, Distributional Semantic Models, Tutorial as NAACL-HLT 2010, 2010. http://wordspace.collocations.de/lib/exe/fetch.php/course:acl2010:naacl2010_part1.slides.pdf 値は、２つの単語の共起頻度（共起する回数） cat, pig と傾向が似ているヒエログリフの ??? の単語は，何と似ているか？（??? の単語の意味は、実は dog である）

28. どうやって，コンピュータが単語の特徴ベクトルを得るか？ • 分布仮説，多数の文書データを使用 • 実在の文書データをそのまま利用できる。 • 特別な準備は不要（「国語辞典」を使うというような考え方ではない） 28

29. Word2vec • 分布仮説，多数の文書データを使用して，単語の特徴ベクトルを求める１手法．2013年発表 ① Skip-Gram: 中心の単語から周辺の単語を予測するモデル ② CBoW (continuous bag-of-words): 周辺の単語から中心の単語を予測するモデル ①あるいは②を用いる．多数の文書データを用いて，予測精度を上げる．その結果，単語の特徴ベクトルが求まる． 29

30. Word2vec • 意味の近い単語は近くになる • 対立する意味の言葉の中間地点に、中間の意味の単語が来るように「angry」と「pleased」の中間地点に「unhappy」 30 Joo-Kyung Kim and Marie-Catherine de Marneffe. 2013. Deriving Adjectival Scales from Continuous Space Word Representations. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 1625–1630, Seattle, Washington, USA. Association for Computational Linguistics.

31. まとめ • 自然言語処理では，語の類似性を考慮することが大切 • 単語の特徴ベクトルは，単語を数値化したものこのとき，複数の数値の組（ベクトル）を考える • Word2vec など，分布仮説，多数の文書データを使用して，単語の特徴ベクトルを求める方法がある 31 多数の数値（ここでは 300個の数値） iPhone 数値化単語

32. 8-3. 自然言語を扱うニューラルネットワーク 32

33. 【自然言語処理の課題①】語順が違っても扱えること今日は晴れだが、明日も晴れだ。明日は晴れだが、今日も晴れだ。 33 同じ意味の文章

34. 自然言語を扱うニューラルネットワーク【種類】 • リカレントニューラルネットワーク，LSTM やその改良版 • Transformer （2017年発表）など 34

35. 自然言語を扱うニューラルネットワーク＜文章＞＝単語１単語２単語３ 35 単語１単語２単語３特徴ベクトル特徴ベクトル特徴ベクトルニューラルネットワーク

36. 自然言語を扱うニューラルネットワーク＜文章＞＝単語１単語２単語３ 36 単語１単語２単語３特徴ベクトル特徴ベクトル特徴ベクトルニューラルネットワーク１番目の出力

37. 自然言語を扱うニューラルネットワーク＜文章＞＝単語１単語２単語３ 37 単語１単語２単語３特徴ベクトル特徴ベクトル特徴ベクトルニューラルネットワーク２番目の出力

38. 自然言語を扱うニューラルネットワーク 38 単語１単語２単語３特徴ベクトル特徴ベクトル特徴ベクトルニューラルネットワーク３番目の出力順々に処理される（文章が長いときも同じ）

39. 自然言語を扱うニューラルネットワーク 39 • 翻訳など，多くの自然言語処理を AI で行うときは，教師あり学習であるコンピュータプログラム列訓練データ文章（単語の列）

40. Transformer リカレントニューラルネットワークの欠点を克服するものとして，Transformer が 2017年提案された • 列を入力とし，列を出力とする点などは，リカレントニューラルネットワークと同じ • リカレントニューラルネットワークの欠点を克服するため，離れた単語間に依存関係を直接扱う Attention の仕組みを導入 • リカレントニューラルネットワークにあった「回帰」の仕組みは廃止 40 自然言語処理で，リカレントニューラルネットワークや LSTM を使うと，保持できる情報が少なすぎるのが欠点．（単語の特徴ベクトル１つ分の情報しか保持できないという考え方も）長い文章を扱うのが困難であったり，精度が出なかったりする．

41. 全体まとめ • 自然言語処理で行うこと：問答，要約，テキスト生成などさまざま． • 語の類似性を扱うため：単語の特徴ベクトル・・・単語を数値化（１つの単語を複数の数値の組で置き換えたもの） • 文章は長い．単語の順が変わっても同じ意味ということもある：文章全体を単語の列として扱う．2017年発表の Transformer などの技術がある． 41 多数の数値の組 iPhone 数値化単語

42. 8-4. 演習 42

43. Google Colaboratory の使い方概要 ① 43 Google Colaboratory ノートブックコードセルの再実行や変更には， Google アカウントでのログインが必要実行コードセル

44. テキストセルコードセルコードセル • WEBブラウザでアクセス • コードセルは Python プログラム．各自の Google アカウントでログインすれば，変更，再実行可能 Google Colaboratory の使い方概要 ② 44 実行一番上のコードセルから順々に実行実行

45. ① 単語の特徴ベクトル，単語の類似度 1. 使用するページ: https://colab.research.google.com/drive/1E86OSq90AyI1z- ULE6hNoVmpCJ_7fCR8?usp=sharing 2. 必要な事前知識 • 単語の特徴ベクトルは，単語を数値化したものこのとき，複数の数値の組（ベクトル）を考える • Word2vec など，分布仮説，多数の文書データを使用して，単語の特徴ベクトルを求める方法がある 3. 各自で行うこと各自で説明、ソースコード、実行結果を確認する． 45

46. ② 自然言語処理（問答、要約、テキスト生成）（Transformer を使用） 1. 使用するページ: https://colab.research.google.com/drive/1L9n5E0_BTRy1q0j E1I2xT3MTuSpceVSY?usp=sharing 2. 必要な事前知識 Google Colaboratory の使い方 3. 各自で行うこと • コードセルの１－③，２－③，３－④を書き換えることにより、「自分の考えた文章」で、問答、要約、テキスト生成を考えてみること • 必ずしも成功するわけではない • いろいろ試し「どういう場合には成功しそうか」、「どういう用途で本当に役に立ちそうか」を考察してみる 46

ae-8. 自然言語処理（問答，要約，テキスト生成，単語の特徴ベクトル，単語の類似度）

You are reading a preview.

Check these out next

ae-8. 自然言語処理（問答，要約，テキスト生成，単語の特徴ベクトル，単語の類似度）

More Related Content

More from kunihikokaneko1 (20)

Recently uploaded (20)