自然言語処理によるテキストデータ処理
•
0 likes•606 views
自然言語処理によるテキストデータ処理について、基礎技術を解説します。 （2020年11月27日「自然言語処理の基礎と活用について」セミナー講演資料）
Recommended
More Related Content
What's hot
What's hot (20)
More from Yuki Arase
自然言語処理によるテキストデータ処理
- 2. テキストデータを用いた様々なサービス •テキスト分類 • レビューの感情値（ポジティブ・ネガティブ）推定 • ニュースのトピック（スポーツ、政治、etc.）推定 •系列ラベリング • 文書から人名や組織名、商品名を抽出 •テキスト生成 • 機械翻訳 • 対話システム 3
- 9. 様々な教師あり機械学習 マッピングを表現するモデルには様々なものがある • 深層学習（ディープラーニング） • サポートベクターマシン（SVM） • ランダムフォレスト • … 10 入力 𝒙𝒙 出力 𝑦𝑦 モデル 𝑓𝑓 高次元の行列の計算 （掛け算など）
- 10. テキストは記号 •計算するためには入力𝒙𝒙は数値でないといけない •記号→数値（ベクトル）に変換する仕組みが必要 11 素晴らしいホテルです 記号の世界 最高の宿でした ごはんが美味しい とても静かでゆっくり休めました 猫は最高 数値（ベクトル）の世界 0.012 ⋯ −0.0087 0.031 ⋯ −0. 746 0.029 ⋯ 0. 225
- 11. ナイーブな表現方法：ワンホットベクトル •単語の出現を 0/1 で表現 •非常に次元が大きい（次元数＝単語の種類数） •語順や文法構造を表現できない 12 単語数次元（~1M） とても静かでゆっくり休めました = [0 1 0 0 … 1 0 0]
- 12. 大規模ニューラル言語モデルによる変換 •近年の言語処理分野における大きなブレイクスルー •文のベクトルへの変換に使える 13 ニューラル ネットワーク とても静かで ゆっくり休めました タスクを解く ための ニューラル ネット [0.5 1.2 ⋯ 0.7] 数千次元の密ベクトル
- 15. BERTモデルの学習（Devlin et al. 2019） 16 ニューラルネットワーク ジョン [Mask] 犬 に 噛まれたは 獰猛な
- 16. BERTモデルの学習（Devlin et al. 2019） 17 ニューラルネットワーク ジョン 犬 に 噛まれたは 凶暴な [Mask]
- 17. BERTモデルの学習（Devlin et al. 2019） 18 ニューラルネットワーク ジョン 犬 に 噛まれたは 隣の [Mask]
- 18. BERTモデルの学習（Devlin et al. 2019） 19 ニューラルネットワーク ジョン 凶暴な に 噛まれたは 犬 [Mask]
- 19. BERTモデルの学習（Devlin et al. 2019） 20 ニューラルネットワーク ジョン 凶暴な に 噛まれたは チワワ [Mask]
- 20. BERTモデルの学習（Devlin et al. 2019） 21 ニューラルネットワーク ジョン 凶暴な に犬は 噛まれた [Mask]
- 21. BERTモデルの学習（Devlin et al. 2019） 22 ニューラルネットワーク ジョン 凶暴な に犬は 吠えられた [Mask]
- 22. BERTモデルの学習（Devlin et al. 2019） 23 ニューラルネットワーク ジョン 凶暴な に犬は 殴られた [Mask]
- 23. BERTの性能 •言語理解に関する11のタスクで既存研究を大幅に 上回る最高性能を達成 •SQuAD 1.0 (Rajpurkar et al. 2016) では人間の正答率を 上回る 24
- 24. 大規模ニューラル言語モデルによる 文のベクトル化 •現在の言語処理におけるスタンダード •日本語モデル • NICT BERT 日本語 Pre-trained モデル (Wikipedia) • Laboro.AI日本語版BERT (2.6M Webページ) • hottoSNS-BERT (85M Tweets) • 日本語ビジネスニュースBERT (ビジネスニュース3M記事) •日本語特有の前処理が必要 25
- 25. テキストの前処理 26
- 30. Byte Pair Encoding (Sennrich et al. 2016) •サブワード分割の標準的なアルゴリズム 1. 文字で分割（1文字＝1サブワード） 2. 全サブワードの内、最も頻度の高いペアを新たなサブ ワードと見なす 3. 指定された語彙サイズになるまで２を繰り返す •単語分割済みの文を入力する場合は、空白も1文字と みなされる 31
- 32. サブワードの利用 •欧州語間の機械翻訳では文を直接サブワード分割する のが標準的 • 単語という単位を必ずしも扱わなくて良い • 日本語翻訳でもこの流れは加速しそう •日本語の系列ラベリングのように単語の「境界」が 重要なタスクでは単語分割が必要 • 単語分割してからサブワード分割 33
- 33. 前処理は訓練済みモデルの前処理設定に 合わせる NICT BERT 日本語 Pre-trained モデルの場合 https://alaginrc.nict.go.jp/nict-bert/index.html
- 34. 文の分類・系列ラベリング 35
- 35. 文の分類問題 •文全体に対してついたラベル（一つでも複数でも）を 予測する問題 •ポジネガ判定でも、トピック分類でも、レビューの ★数分類でも、基本的には同じ枠組みで解ける 36 ニューラル ネットワーク とても静かで ゆっくり休めました タスクを解く ための ニューラル ネット [0.5 1.2 ⋯ 0.7] 数千次元の密ベクトル
- 36. BERTによる分類 37 (Devlin et al. 2019) Fig. 4 より
- 38. IOBタグに変換 IOB (Inside-outside-beggining) タグに 変換することで、各単語の分類問題に 変換できる •B：スパンの始まり •I：スパンの中身 • O：それ以外 39 有馬 B-LOC 温泉 I-LOC 最古 O の O … 陶泉 B-ORG さん O に O …
- 39. BERTによる系列ラベリング 40 (Devlin et al. 2019) Fig. 4 より
- 40. 実装・実験テクニック 41
- 41. ライブラリ •深層学習はPythonの実装環境が充実 • PyTorch • TensorFlow •大規模ニューラル言語モデルを使うためのライブラリ • Transformers •ライブラリの実装を流用できる問題では数十行のプロ グラムで記述可能 42
- 42. パラメータとハイパーパラメータ •パラメータ：深層学習モデルの本体 •ハイパーパラメータ：モデルの外にいる設定 •典型的なハイパーパラメータ • 最適化手法、学習率 • 語彙サイズ、レイヤ数 • バッチサイズ • Dropout率 • Layer normalizationの有無 43 ニューラル ネットワーク 実際は巨大な行列
- 43. データセットの分割 • 訓練セット：パラメータの学習 • 開発セット：学習終了の判断・ハイパーパラメータ調整 • テストセット：最終的な性能評価 • 訓練 : 開発 : テスト ＝ 80 : 10 : 10 が目安 44
- 45. Early-Stopping •モデルの訓練を止めるため の手法 •Patience: 訓練終了を決断す る回数 • 深層学習が最小化する損失 関数の値 • 最終タスクでの評価関数 •Minimum delta: 性能変化と 見なす差分 46 訓練回数 エラー率 訓練セット 開発セット
- 47. 学習データ構築 •データのラベル付け • 事前学習済みニューラル言語モデルを使用する場合、 数千～数万件のアノテーションが必要 •ラベル一致率の評価：κ値を計測 • Cohen’s κ：アノテータが2名の場合 • Fleiss’ κ：アノテータが３名以上の場合 •一致率の低いデータを学習する意義は薄い（かつ学習 も困難） 48
- 49. クラウドソーシングによるラベル付け •上手く利用できれば非常に強力 • 速い • ただし試行錯誤は必要 •ガイドライン作成 • 重要なアノテーション基準を簡潔に伝える • 例は必須 •一般的にノイズが加わりやすい • 複数人のアノテータに依頼し、外れ値を除去 50