Home
Explore
Submit Search
Upload
Login
Signup
Advertisement
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Report
Yuki Arase
Follow
Associate Professor at Osaka University
Jun. 7, 2018
•
0 likes
59 likes
×
Be the first to like this
Show More
•
43,948 views
views
×
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Check these out next
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
Triplet Loss 徹底解説
tancoro
Transformerを雰囲気で理解する
AtsukiYamaguchi1
全力解説!Transformer
Arithmer Inc.
機械学習モデルのハイパパラメータ最適化
gree_tech
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
1
of
80
Top clipped slide
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Jun. 7, 2018
•
0 likes
59 likes
×
Be the first to like this
Show More
•
43,948 views
views
×
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Download Now
Download to read offline
Report
Technology
最新版のJSAI2018でのチュートリアル資料です。 --- 6月7日(木) 13:50-15:30 I会場(2F ロイヤルガーデンA) ---
Yuki Arase
Follow
Associate Professor at Osaka University
Advertisement
Advertisement
Advertisement
Recommended
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
Deep Learning JP
20.3K views
•
29 slides
Transformer メタサーベイ
cvpaper. challenge
25.8K views
•
181 slides
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
3.8K views
•
34 slides
Attentionの基礎からTransformerの入門まで
AGIRobots
24K views
•
38 slides
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
1.4K views
•
23 slides
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
56.1K views
•
43 slides
More Related Content
Slideshows for you
(20)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
•
3.4K views
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
•
231 views
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
•
85.3K views
Triplet Loss 徹底解説
tancoro
•
10.9K views
Transformerを雰囲気で理解する
AtsukiYamaguchi1
•
4.4K views
全力解説!Transformer
Arithmer Inc.
•
7.4K views
機械学習モデルのハイパパラメータ最適化
gree_tech
•
27.4K views
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
•
6.7K views
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
•
39.7K views
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
•
71.7K views
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
•
13.9K views
「世界モデル」と関連研究について
Masahiro Suzuki
•
12.6K views
DSIRNLP#1 ランキング学習ことはじめ
sleepy_yoshi
•
32.6K views
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
•
249.4K views
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
•
800 views
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
•
24.1K views
A3C解説
harmonylab
•
14K views
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
•
6.2K views
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
•
4.4K views
[DL輪読会]World Models
Deep Learning JP
•
5.8K views
Similar to [最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
(20)
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Yuki Arase
•
8.2K views
さくさくテキストマイニング入門セッション
antibayesian 俺がS式だ
•
5.7K views
Argmax Operations in NLP
Hitoshi Nishikawa
•
3K views
Jacet2014ykondo_final
早稲田大学
•
640 views
Colorful image colorization
Hiroki Yamamoto
•
4.8K views
オトナのプログラミング勉強会 オトナのDeep Learning 2016-11
Katsuhiro Morishita
•
1.6K views
20120731 ALC Eijiro User Meeting
akikom0819
•
1.1K views
PFPファシグラ(2009/07/03)
nishikawa_makoto7
•
999 views
言語資源と付き合う
Yuya Unno
•
10.4K views
日本語の語彙平易化システムおよび評価セットの構築
Tomoyuki Kajiwara
•
6.4K views
質問応答システム入門
Hiroyoshi Komatsu
•
15.4K views
TDDを研ぎ究める
pocketberserker
•
1K views
Chainer with natural language processing hands on
Ogushi Masaya
•
2.8K views
CVPR2017 参加報告 速報版 本会議 2日目
Atsushi Hashimoto
•
1.9K views
Deep Learningと自然言語処理
Preferred Networks
•
87.9K views
[ICLR2016] 採録論文の個人的まとめ
Yusuke Iwasawa
•
2.6K views
議論を描く技術「ファシリテーショングラフィック」
nishikawa_makoto7
•
26K views
日本語の語彙平易化評価セットの構築
Tomoyuki Kajiwara
•
468 views
XP movement In Japan
Kenji Hiranabe
•
1.2K views
Perl入学式をやってみた! - YAPC::Asia 2012
Takayuki Fukumoto
•
1.4K views
Advertisement
More from Yuki Arase
(6)
闘病ブログからの医薬品奏功情報認識
Yuki Arase
•
98 views
自然言語処理によるテキストデータ処理
Yuki Arase
•
494 views
SPADE: Evaluation Dataset for Monolingual Phrase Alignment
Yuki Arase
•
795 views
NLP R&D 育成と連携:NLP若手の会 (YANS)の取り組み
Yuki Arase
•
665 views
Monolingual Phrase Alignment on Parse Forests (EMNLP2017 presentation)
Yuki Arase
•
1K views
ゼロから始める自然言語処理 【FIT2016チュートリアル】
Yuki Arase
•
16.2K views
Recently uploaded
(20)
統計学の攻略_推測統計学の考え方.pdf
akipii Oga
•
115 views
統計学の攻略_統計的仮説検定の9パターン.pdf
akipii Oga
•
112 views
統計学の攻略_正規分布ファミリーの全体像.pdf
akipii Oga
•
111 views
20230523_IoTLT_vol99_kitazaki_v1.pdf
Ayachika Kitazaki
•
107 views
JSTQB_テストプロセスの概念モデル.pdf
akipii Oga
•
109 views
第2回Matlantis User Conference_20230421_畠山歓先生
Matlantis
•
396 views
留信网认证可查【拜欧拉大学文凭证书毕业证购买】
1lkjhg
•
3 views
留信网认证可查【皇家霍洛威学院文凭证书毕业证购买】
32lkhng
•
2 views
Kubernetes超入門
Takashi Suzuki
•
4 views
CDLEハッカソン2022参加報告.pdf
SHOIWA1
•
7 views
量子論.pdf
hiro150493
•
0 views
Forguncy8 製品概要 202305.pptx
フォーガンシー
•
7 views
20230516 @Mix Leap Hirohiko_Suwa
Masashi Nakagawa
•
82 views
TestSIP (1).pdf
DeependraSingh712859
•
2 views
ペンタエリスリトール市場.pdf
HinaMiyazu
•
3 views
《杨百翰大学毕业证|学位证书校内仿真版本》
d520dasw12
•
2 views
☀️【卡尔顿大学毕业证成绩单留学生首选】
15sad
•
2 views
①【麦吉尔大学毕业证文凭学位证书|工艺完美复刻】
love445ds
•
2 views
①【戴尔豪斯大学毕业证文凭学位证书|工艺完美复刻】
love445ds
•
2 views
①【阳光海岸大学毕业证文凭学位证书|工艺完美复刻】
vgh215w
•
2 views
Advertisement
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
"深層学習時代の" ゼロから始める自然言語処理 大阪大学大学院情報科学研究科 荒瀬由紀 1
Disclaimer 深層学習を使った自然言語処理に •初めてふれる方 •ざっくりと様子を知りたい方 が対象です。 ※詳細な技術的解説や最新モデルの紹介は ありません。 2
自然言語処理でできること(代表例) • 基礎 • 単語分割 •
構文解析 • 固有表現抽出 • パラフレーズ etc. • 応用 • テキスト分類(ラベル予測) • 知識抽出 • 要約 • 翻訳、対話 3 俺は海賊王に なるすごい かっこいい https://news.yahoo.co.jp/pickup/6284525 →IT
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 4
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 5
ざっくり深層学習 入力:入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力:各出力候補
𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 6
ざっくり深層学習 入力:入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力:各出力候補
𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 7
テキスト分類 入力:ニュース本文を表現する ベクトル 出力:ニュースのカテゴリの スコア(≒確率) スポーツ IT… https://news.yahoo.co.jp/pickup/6284525 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘,
𝒃𝒃𝑘𝑘 … 8
口コミの☆予測 入力:口コミを表現するベクトル 出力:☆~☆☆☆☆が付く スコア(≒確率) ☆ ☆☆☆☆… http://www.cosme.net/product/product_id/10142888/top 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘,
𝒃𝒃𝑘𝑘 … 9
深層学習によるNLPの課題 入力:入力データを表現する ベクトル 𝑊𝑊1, 𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 出力:各出力候補
𝑦𝑦 のスコアが並んだ ベクトル 𝑦𝑦0 𝑦𝑦𝑁𝑁… 10
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 11
言語は「記号」 •言語(単語)=人間がある事象や概念を表すため に創り出した「記号」 Cf. 画像のRGB値=物理量 •文は可変長かつ構造をもつ •物理量で表現したい 12
単語のベクトル化 •Word embedding, word
vector, 分散表現, 単語埋め込み, 単語ベクトル •単語を200~500次元程度のベクトルで表現 •分布仮説に基づき、単語ベクトルを学習 13
分布仮説(Distributional hypothesis) 「単語の意味はその単語が出現したときに周辺に 現れる単語(共起する単語)によって決まる」 お誕生日に食べたくなっちゃうケーキですよ! 誕生日やお祝いに美味しいスイーツをプレゼントしたい。 がんの検査の内容は症状によって異なります。 病気の治療に症状にあった薬の使用が必要です。 14
CBoWとskip-gram •深層学習による分布仮説の自然なモデル化 •word2vecに実装されている2つのモデル • CBoW (Continuous
Bag-of-Words ) • skip-gram •“king-man+woman=queen” の例でおなじみ 15
CBoWとskip-gram 内積 スイーツ 美味しい を プレゼントに CBoW
: 周辺単語からある単語を 予測 Skip-gram : ある単語から周辺単語を 一つずつ予測 CBoWの特殊ケース スイーツ 美味しい 内積 16
Skip-gramにズームイン 美味しい … 𝑁𝑁 𝑉𝑉 … … … … … 𝑉𝑉 one-hot ベクトル: “美味しい” のインデックスに1、 他は0 “美味しい”→”スイーツ”の スコアが高くなるように学習 スイーツ 美味しい 内積 17
https://sites.google.com/site/iwanamidatascience/vol2/ word-embedding 18
(現状の)単語ベクトルは万能ではない •共起単語が近いと似たベクトルをもってしまう • 出現頻度の高い単語:have, take,
etc. • 対義語 •一単語一ベクトル • 多義語 19
定番の学習済み単語ベクトル •word2vec https://code.google.com/archive/p/word2vec/ gensim https://radimrehurek.com/gensim/ •GloVe (Stanford University) https://nlp.stanford.edu/projects/glove/ 20
「単語」が最適? •伝統的に「単語」が最小単位。解釈も容易。 •単語分割が必要。でも「単語」の単位って? • 最適な単語の単位はアプリケーション依存 • Web検索:「大阪大学」→「大阪」「大学」として検索 した方が多くのドキュメントにマッチしやすい •
翻訳:「大阪大学」は「Osaka University」と訳したい •未知語(Unknown word)の問題 21
サブワードの台頭 • 「単語」に捕らわれないユニット • 単語より小さな単位を含むため、未知語の低減に効果 •
機械翻訳ではスタンダードな手法 お誕生日 → お 誕生 日 食べたくなっちゃう → 食べ た くなっちゃう employer → employ er 22
サブワードの抽出手法 BPE (Byte Pair
Encoding) • データ圧縮のため提案された手法 • 頻出する文字列を新たな記号(サブワード)とする 手法 • データからサブワードを抽出、分割 • アプリケーションにおいて最適な分割かどうかは 不明 • 分割における曖昧性が存在 23 employer →employ er; em p loyer; e m p l o y e r
サブワード抽出のツール SentencePiece https://github.com/google/sentencepiece 24
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 25
単語から文のベクトルへ 1. 単語ベクトルの平均 2. 系列を考慮:Recurrent
neural net 3. 文法構造を考慮:Recursive neural net アクティブな研究分野 26
Simple is best:単語ベクトルの平均 •文を構成する単語 のベクトルの要素 の平均 •IDF値を使って重み をつけたりもする •シンプルだが結構 高性能 美味しい スイーツ を プレゼント 美味しいスイーツを プレゼント 27
IDF (Inverse Document
Frequency) あるドキュメントに集中して現れる単語は、特徴 的な単語 𝐼𝐼 𝐼𝐼 𝐼𝐼 𝑡𝑡 = log 全ドキュメント数 単語𝑡𝑡が現れるドキュメント数 IDF 大:単語𝑡𝑡は様々なドキュメントに現れる (冠詞、前置詞) 28
系列を考慮 単語の順番には意味がある A dog bit
John. John bit a dog. 29
再帰型ニューラルネットワーク (RNN, recurrent neural
network) 任意の長さの文を入力可能 𝑤𝑤0 𝑤𝑤1 𝑤𝑤2 … 30
双方向RNN •前の文脈だけでなく、後ろの文脈も考慮したい 𝑤𝑤0 𝑤𝑤1 𝑤𝑤2 … … 31
記憶力の改善 遠く離れた時刻(単語)を記憶する能力の付加 •LSTM (Long-Short-Term-Memory) • 長期記憶、短期記憶のバランス •GRU
(Gated Recurrent Unit) • LSTMよりも少ない計算量、使用空間量 32
InferSent •SNLI (Stanford Natural
Language Inference) で学習 • 2つの文に含意関係があるか、矛盾しているか、 どちらでもないかを予測 •あらゆるアプリケーションで高い性能を発揮する、 汎用的な文ベクトルを生成 美味しいスイーツをプレゼント 人気スイーツを購入 https://github.com/facebookresearch/InferSent 33
InferSent 双方向RNN (LSTM) +max-pooling https://github.com/facebookresearch/InferSent 𝑤𝑤0
𝑤𝑤1 𝑤𝑤2 … … 34
木構造再帰ニューラルネットワーク •RvNN (Recursive neural
net) •文の文法構造に従ってNNを展開 a eats traditionalrabbit New Year ‘s soup NP NP NP NP NP VP S 35
木構造再帰ニューラルネットワーク •葉ノード(単語ベクトル)からボトムアップに 計算 New Year ‘s
soup New Year ‘s soup NP NP NP 36
木構造再帰ニューラルネットワーク 基本単位は左・右の子 ノードのベクトルを入 力とするRNN •単語ベクトル or 子 ノードの出力 •左の子、右の子の 区別あり 37
https://nlp.stanford.edu/sentiment/treebank.html?na=7&nb=10&sd=1838
STS Benchmark •2つの文の類似度を0~5の6段階でラベル付け •人間のラベルと、自動的に推定した類似度の相関 により、文ベクトルの性能を評価 •Webサイトで最新の手法の性能がチェックできる http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark 手法 Pearson
correlation ×100 GloVeの平均 40.6 InferSent 75.8 Tree-LSTM 71.9 39
CNNによるベクトル化 •CNN (Convolutional Neural
Network) も文のベクトル化 に利用される • 局所的な変換に対して頑健 • 並列化しやすく、高速 40
CNNによるベクトル化 •感情分析 •テキスト分類 で良い性能を発揮 商品 が すぐ 壊れ た に 商品 が すぐ 壊れ た に 同じ! 商品がすぐに壊れた すぐに商品が壊れた 41 Max pooling
マルチモーダルなデータ処理 画像・音声・センサデータなど、多様なデータと テキストを融合 this is a
dark blue bird with white eyes and a small beak this bird has wings that are brown and black and has a white belly 42
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 43
(Recap) 口コミの☆予測 入力:口コミを表現するベクトル 出力:☆~☆☆☆☆が付く スコア(≒確率) ☆ ☆☆☆☆… http://www.cosme.net/product/product_id/10142888/top 𝑊𝑊1,
𝒃𝒃1 𝑊𝑊𝑘𝑘, 𝒃𝒃𝑘𝑘 … 44
系列変換モデル •Seq2seq (Sequence-to-Sequence), Encoder-Decoder •Transformer •入力から「系列」を生成する柔軟なモデル •
英語文を入力として、日本語文を生成→翻訳 • 発話を入力として、返事を生成→対話 • 画像を入力として、説明文を生成→キャプション 45
Seq2seq 甘くて 美味しい スイーツ <s> Sweet
and tasty candies Sweet and tasty … 46
Seq2seq 甘くて 美味しい スイーツ <s> Sweet
and tasty candies Sweet and tasty … “甘くて美味しいスイーツ” のベクトル表現 Encoder 47
Seq2seq 甘くて 美味しい スイーツ <s> Sweet
and tasty candies Sweet and tasty … 自身の一つ前の出力を考慮 しながら単語を生成 Decoder 48
Decoderの出力層 ボキャブラリ中の各単語 について、出力するスコア (≒確率)を計算 スイーツペン … … 猫 … 49
注意機構 (Attention mechanism) •LSTMを使っても、やっぱり昔のことは 忘れてしまう •(全部の情報を見なくても)ピンポイント で参照したい部分がある 例)翻訳する単語 •注意機構で直接的にその情報を利用 50
Seq2seqにおけるソフト注意機構 甘くて 美味しい スイーツ <s> Sweet
and tasty candies Sweet and tasty … 𝛼𝛼𝑖𝑖 = exp(Ω(𝒄𝒄𝑖𝑖)) ∑ exp(Ω(𝒄𝒄𝑗𝑗)) 51
注意機構はジェネラルな手法 𝑤𝑤0 𝑤𝑤1 𝑤𝑤𝑛𝑛 … 𝑤𝑤1
52
Transformer 53 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
NLPでよく使われるNNパッケージ •PyTorch https://pytorch.org/ • PyTorch
Forum https://discuss.pytorch.org/ •Chainer https://chainer.org/ •TensorFlow https://www.tensorflow.org/ •Torch (Lua) http://torch.ch/ 54
有名な系列変換モデルの実装 •OpenNMT http://opennmt.net/ •Pytorch examples https://github.com/pytorch/examples •Chainer
examples https://github.com/chainer/chainer/tree/mast er/examples 55
再現実験は大変 •実装にはたくさんの選択肢が存在 • LSTMのデザインは複数存在、ライブラリによって サポートしているものが違う • Attentionの計算方法 •
Linear layer はさむ?はさまない? •著者が公開している実装、前処理のスクリプト を使う •第三者が公開している実装を使うときは、信頼で きそうな人のものを使う 56
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 57
深層学習には大量の学習データが必要 •学習データ:入力と、正解がペアになったもの • ニューステキストとカテゴリ • 日本語とその英訳 •深層学習には多数の学習データが必要 •
Seq2seq:100万文ペア以上 • 分類問題:数万~数十万 58
学習データが「ちょっと」あるとき 例)一般ドメインの英日対訳データは大量にある 医療ドメインの英日対訳データは少ししかない •Pre-training • 大量にある一般ドメインのデータで単語ベクトルを 学習 •Fine-tuning • 大量にある一般ドメインのデータでseq2seqを訓練 •
学習したパラメータを初期値として、少量の医療ド メインデータを使ってseq2seqを再訓練 59
学習データが「ちょっと」あるとき •Pre-trainされたモデル(e.g., 単語ベクトル)で 特徴量を生成 •利用できる学習データを使って、SVMやRandom forestなどを訓練する 60
そもそもデータがない 契約するか買うか自分でクローリングするか 6/6(水)13:20-15:00 鳥海 不二夫先生 「計算社会科学におけるWebマイニング」 https://www.slideshare.net/toritorix/ web-100905271 61
学習データがないとき: クラウドソーシング •Web上で様々なアノテーションを依頼できる •簡潔なタスクについては非常にパワフルな仕組み •日本でも各種サービスが利用可能 6/8(金)14:00-15:40 馬場 雪乃 先生 「ヒューマンコンピュテーションと クラウドソーシング」 62
学習データがないとき: 目的を置き換えてみる •InferSent 精度良い文のベクトル化→ 2文の含意・矛盾・それ以外を予測するタスク 美味しいスイーツをプレゼント 人気スイーツを購入63
学習データがないとき: 目的を置き換えてみる •quick thoughts (Logeswaran
& Lee 2018) 文を上手くベクトル化できていれば、周辺の文を 判別できるはず Logeswaran & Lee: An efficient framework for learning sentence representations, ICLR 2018. 美味しいスイーツをプレゼント RNN 商品がすぐに壊れた RNN ケーキと一緒にコーヒーを飲んだ RNN いい天気ですね RNN Classifier 2 64
学習データがないとき: 目的を置き換えてみる Doersch, Gupta, and
Efros. Unsupervised visual representation learning by context prediction. in Proc. of ICCV 2015. ※図は論文より引用 65
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 66
定番の前処理 •HTMLタグなどタグの除去 •スペース記号の除去 •(不要な)改行記号の除去 •文ごとに分割 •単語分割 67
ノイズ除去、テキスト正規化 68
よくあるノイズ •URL •非文(@mention,hashtag,商品コード,etc.) •アクセント記号:ã,ä,é •対象以外の言語データ •記号のバリエーション --﹣ ‐ -
⁃ ˗ − ➖ ‒ – ~ ~ ∼ ˜ ˷ ∽ ∾ ∿ 〜 〰 ﹏ •謎のUnicode文字 69
ノイズ除去 • URL・非テキスト・記号のバリエーション →データに頻繁に出現するパターンを観察してルール で除去 • アクセント記号 →文字コードに注意すれば大丈夫 HTMLでは特殊記号に置き替えられるので置換 •
対象言語以外 →Unicodeの範囲指定である程度何とかなる • 謎のUnicode文字 →テキストをまずデコード、失敗したものは排除 70
テキスト正規化 • 顔文字、絵文字の正規化や除去 • 連続した長音符、記号の除去 •
全角数字・アルファベットの半角数字への統一 • 数値表現(年、月、日、金額、etc. )のタグ置き換え 例)2018年6月3日→ $date ※必要かどうかはアプリケーション依存 ※顔文字・絵文字は感情表現として重要 71
未知語への対処 •単語ベクトルはあるが、モデルの語彙にない • seq2seqは語彙サイズに制限 • 単語ベクトルの最も近い語に置き換える (Li
et al. 2016) • サブワードを使う •単語ベクトルにない • <unk> タグを学習しておく • 「適当」に作る • 文字単位の分散表現から近似する Li, Zhang, and Zong. Towards zero unknown word in neural machine translation. in Proc. of IJCAI 2016. 72
文字単位の分散表現から単語ベクトルの 近似 •文字ベクトルを逐次的 に双方向LSTMに入力 •順方向LSTMと逆方向 LSTMそれぞれの出力を 連結 LSTM LSTM LSTM LSTM 買 い 73
Agenda 1. 深層学習によるNLP 2. 単語のベクトル化 3.
文のベクトル化 4. 系列変換モデル 5. 学習データが、ない 6. 実はとても重要な前処理 7. もっと詳しく知りたい方に 74
もっと詳しく知りたい方に •出た本 深層学習による自然言語処理 (機械学習プロフェッショ ナルシリーズ) 坪井 祐太、海野
裕也、鈴木 潤 (著) •青本 深層学習 (機械学習プロフェッショナルシリーズ) 岡谷 貴之 (著) 75
ACL Anthology https://aclanthology.coli.uni-saarland.de/ 76
言語処理学会 論文誌発行、年次大会(3月) http://www.anlp.jp/ 77
情報処理学会NL研 年4回研究会開催中 https://nl-ipsj.or.jp/ 78
NLP若手の会 NLPおよび関連分野の若手研究者・若手技術者の 交流を促進 http://yans.anlp.jp/ 79
NLP若手の会 •大学をまたいだ学生の交流 •企業と大学研究者、企業と学生の橋渡し 2018年シンポジウム:8/27-29@香川 80
Advertisement