Download as PDF, PPTX
Uploaded byYuki Arase
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
最新版のJSAI2018でのチュートリアル資料です。 --- 6月7日（木） 13:50-15:30 I会場（2F ロイヤルガーデンA） ---
![[DL輪読会]ドメイン転移と不変表現に関するサーベイ](https://cdn.slidesharecdn.com/ss_thumbnails/20190614iwasawa-190614005939-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0401-220405031053-thumbnail.jpg?width=640&height=640&fit=bounds)
![[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn.slidesharecdn.com/ss_thumbnails/jsai2018tutorialslideshare-180606065226-thumbnail.jpg?width=640&height=640&fit=bounds)
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
- 1.
- 2.
- 3. 自然言語処理でできること（代表例） • 基礎 • 単語分割 •構文解析 • 固有表現抽出 • パラフレーズ etc. • 応用 • テキスト分類（ラベル予測） • 知識抽出 • 要約 • 翻訳、対話 3 俺は海賊王に なるすごい かっこいい https://news.yahoo.co.jp/pickup/6284525 →IT
- 4. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 4
- 5. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 5
- 6. ざっくり深層学習 入力：入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力：各出力候補𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 6
- 7. ざっくり深層学習 入力：入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力：各出力候補𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 7
- 8.
- 9.
- 10. 深層学習によるNLPの課題 入力：入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力：各出力候補𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 10
- 11. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 11
- 12.
- 13. 単語のベクトル化 •Word embedding, wordvector, 分散表現, 単語埋め込み, 単語ベクトル •単語を200～500次元程度のベクトルで表現 •分布仮説に基づき、単語ベクトルを学習 13
- 14.
- 15. CBoWとskip-gram •深層学習による分布仮説の自然なモデル化 •word2vecに実装されている２つのモデル • CBoW (ContinuousBag-of-Words ) • skip-gram •“king-man+woman=queen” の例でおなじみ 15
- 16. CBoWとskip-gram 内積 スイーツ 美味しい を プレゼントに CBoW: 周辺単語からある単語を 予測 Skip-gram : ある単語から周辺単語を 一つずつ予測 CBoWの特殊ケース スイーツ 美味しい 内積 16
- 17.
- 18.
- 19. （現状の）単語ベクトルは万能ではない •共起単語が近いと似たベクトルをもってしまう • 出現頻度の高い単語：have, take,etc. • 対義語 •一単語一ベクトル • 多義語 19
- 20.
- 21. 「単語」が最適？ •伝統的に「単語」が最小単位。解釈も容易。 •単語分割が必要。でも「単語」の単位って？ • 最適な単語の単位はアプリケーション依存 • Web検索：「大阪大学」→「大阪」「大学」として検索 した方が多くのドキュメントにマッチしやすい •翻訳：「大阪大学」は「Osaka University」と訳したい •未知語（Unknown word）の問題 21
- 22. サブワードの台頭 • 「単語」に捕らわれないユニット • 単語より小さな単位を含むため、未知語の低減に効果 •機械翻訳ではスタンダードな手法 お誕生日 → お 誕生 日 食べたくなっちゃう → 食べ た くなっちゃう employer → employ er 22
- 23. サブワードの抽出手法 BPE (Byte PairEncoding) • データ圧縮のため提案された手法 • 頻出する文字列を新たな記号（サブワード）とする 手法 • データからサブワードを抽出、分割 • アプリケーションにおいて最適な分割かどうかは 不明 • 分割における曖昧性が存在 23 employer →employ er; em p loyer; e m p l o y e r
- 24.
- 25. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 25
- 26. 単語から文のベクトルへ 1. 単語ベクトルの平均 2. 系列を考慮：Recurrentneural net 3. 文法構造を考慮：Recursive neural net アクティブな研究分野 26
- 27.
- 28. IDF (Inverse DocumentFrequency) あるドキュメントに集中して現れる単語は、特徴 的な単語 𝐼𝐼 𝐼𝐼 𝐼𝐼 𝑡𝑡 = log 全ドキュメント数 単語𝑡𝑡が現れるドキュメント数 IDF 大：単語𝑡𝑡は様々なドキュメントに現れる （冠詞、前置詞） 28
- 29. 系列を考慮 単語の順番には意味がある A dog bitJohn. John bit a dog. 29
- 30. 再帰型ニューラルネットワーク （RNN, recurrent neuralnetwork） 任意の長さの文を入力可能 𝑤𝑤0 𝑤𝑤1 𝑤𝑤2 … 30
- 31.
- 32. 記憶力の改善 遠く離れた時刻（単語）を記憶する能力の付加 •LSTM (Long-Short-Term-Memory) • 長期記憶、短期記憶のバランス •GRU(Gated Recurrent Unit) • LSTMよりも少ない計算量、使用空間量 32
- 33. InferSent •SNLI (Stanford NaturalLanguage Inference) で学習 • 2つの文に含意関係があるか、矛盾しているか、 どちらでもないかを予測 •あらゆるアプリケーションで高い性能を発揮する、 汎用的な文ベクトルを生成 美味しいスイーツをプレゼント 人気スイーツを購入 https://github.com/facebookresearch/InferSent 33
- 34.
- 35. 木構造再帰ニューラルネットワーク •RvNN (Recursive neuralnet) •文の文法構造に従ってNNを展開 a eats traditionalrabbit New Year ‘s soup NP NP NP NP NP VP S 35
- 36. 木構造再帰ニューラルネットワーク •葉ノード（単語ベクトル）からボトムアップに 計算 New Year ‘ssoup New Year ‘s soup NP NP NP 36
- 37.
- 38.
- 39. STS Benchmark •2つの文の類似度を0～5の6段階でラベル付け •人間のラベルと、自動的に推定した類似度の相関 により、文ベクトルの性能を評価 •Webサイトで最新の手法の性能がチェックできる http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark 手法 Pearsoncorrelation ×100 GloVeの平均 40.6 InferSent 75.8 Tree-LSTM 71.9 39
- 40. CNNによるベクトル化 •CNN (Convolutional NeuralNetwork) も文のベクトル化 に利用される • 局所的な変換に対して頑健 • 並列化しやすく、高速 40
- 41.
- 42. マルチモーダルなデータ処理 画像・音声・センサデータなど、多様なデータと テキストを融合 this is adark blue bird with white eyes and a small beak this bird has wings that are brown and black and has a white belly 42
- 43. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 43
- 44.
- 45. 系列変換モデル •Seq2seq (Sequence-to-Sequence), Encoder-Decoder •Transformer •入力から「系列」を生成する柔軟なモデル •英語文を入力として、日本語文を生成→翻訳 • 発話を入力として、返事を生成→対話 • 画像を入力として、説明文を生成→キャプション 45
- 46. Seq2seq 甘くて 美味しい スイーツ <s> Sweetand tasty candies Sweet and tasty … 46
- 47. Seq2seq 甘くて 美味しい スイーツ <s> Sweetand tasty candies Sweet and tasty … “甘くて美味しいスイーツ” のベクトル表現 Encoder 47
- 48. Seq2seq 甘くて 美味しい スイーツ <s> Sweetand tasty candies Sweet and tasty … 自身の一つ前の出力を考慮 しながら単語を生成 Decoder 48
- 49.
- 50.
- 51. Seq2seqにおけるソフト注意機構 甘くて 美味しい スイーツ <s> Sweetand tasty candies Sweet and tasty … 𝛼𝛼𝑖𝑖 = exp(Ω(𝒄𝒄𝑖𝑖)) ∑ exp(Ω(𝒄𝒄𝑗𝑗)) 51
- 52.
- 53.
- 54. NLPでよく使われるNNパッケージ •PyTorch https://pytorch.org/ • PyTorchForum https://discuss.pytorch.org/ •Chainer https://chainer.org/ •TensorFlow https://www.tensorflow.org/ •Torch (Lua) http://torch.ch/ 54
- 55. 有名な系列変換モデルの実装 •OpenNMT http://opennmt.net/ •Pytorch examples https://github.com/pytorch/examples •Chainerexamples https://github.com/chainer/chainer/tree/mast er/examples 55
- 56. 再現実験は大変 •実装にはたくさんの選択肢が存在 • LSTMのデザインは複数存在、ライブラリによって サポートしているものが違う • Attentionの計算方法 •Linear layer はさむ？はさまない？ •著者が公開している実装、前処理のスクリプト を使う •第三者が公開している実装を使うときは、信頼で きそうな人のものを使う 56
- 57. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 57
- 58. 深層学習には大量の学習データが必要 •学習データ：入力と、正解がペアになったもの • ニューステキストとカテゴリ • 日本語とその英訳 •深層学習には多数の学習データが必要 •Seq2seq：100万文ペア以上 • 分類問題：数万～数十万 58
- 59. 学習データが「ちょっと」あるとき 例）一般ドメインの英日対訳データは大量にある 医療ドメインの英日対訳データは少ししかない •Pre-training • 大量にある一般ドメインのデータで単語ベクトルを 学習 •Fine-tuning • 大量にある一般ドメインのデータでseq2seqを訓練 •学習したパラメータを初期値として、少量の医療ド メインデータを使ってseq2seqを再訓練 59
- 60.
- 61.
- 62.
- 63.
- 64. 学習データがないとき： 目的を置き換えてみる •quick thoughts (Logeswaran& Lee 2018) 文を上手くベクトル化できていれば、周辺の文を 判別できるはず Logeswaran & Lee: An efficient framework for learning sentence representations, ICLR 2018. 美味しいスイーツをプレゼント RNN 商品がすぐに壊れた RNN ケーキと一緒にコーヒーを飲んだ RNN いい天気ですね RNN Classifier 2 64
- 65. 学習データがないとき： 目的を置き換えてみる Doersch, Gupta, andEfros. Unsupervised visual representation learning by context prediction. in Proc. of ICCV 2015. ※図は論文より引用 65
- 66. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 66
- 67.
- 68.
- 69. よくあるノイズ •URL •非文（@mention，hashtag，商品コード，etc.） •アクセント記号：ã，ä，é •対象以外の言語データ •記号のバリエーション -－﹣ ‐ -⁃ ˗ − ➖ ‒ – ～ ~ ∼ ˜ ˷ ∽ ∾ ∿ 〜 〰 ﹏ •謎のUnicode文字 69
- 70. ノイズ除去 • URL・非テキスト・記号のバリエーション →データに頻繁に出現するパターンを観察してルール で除去 • アクセント記号 →文字コードに注意すれば大丈夫 HTMLでは特殊記号に置き替えられるので置換 •対象言語以外 →Unicodeの範囲指定である程度何とかなる • 謎のUnicode文字 →テキストをまずデコード、失敗したものは排除 70
- 71. テキスト正規化 • 顔文字、絵文字の正規化や除去 • 連続した長音符、記号の除去 •全角数字・アルファベットの半角数字への統一 • 数値表現（年、月、日、金額、etc. ）のタグ置き換え 例）2018年6月3日→ $date ※必要かどうかはアプリケーション依存 ※顔文字・絵文字は感情表現として重要 71
- 72. 未知語への対処 •単語ベクトルはあるが、モデルの語彙にない • seq2seqは語彙サイズに制限 • 単語ベクトルの最も近い語に置き換える (Liet al. 2016) • サブワードを使う •単語ベクトルにない • <unk> タグを学習しておく • 「適当」に作る • 文字単位の分散表現から近似する Li, Zhang, and Zong. Towards zero unknown word in neural machine translation. in Proc. of IJCAI 2016. 72
- 73.
- 74. Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 74
- 75. もっと詳しく知りたい方に •出た本 深層学習による自然言語処理 (機械学習プロフェッショ ナルシリーズ) 坪井 祐太、海野裕也、鈴木 潤 (著) •青本 深層学習 (機械学習プロフェッショナルシリーズ) 岡谷 貴之 (著) 75
- 76.
- 77.
- 78.
- 79.
- 80.