NN時代の自然言語処理の設計と評価

NN
135 WBA -
Koki Yasuda(@himanandayonaxa)
: (B4)
: , ,
: NLP
: nltk
235 WBA -
NN
▼ github
github.com/yasudadesu/nlp_analayze
335 WBA -
1. NLP NN
2. NLP
3.
4.
5.
NN
435 WBA -
NN
535 WBA -
1. NLP NN
2. NLP
3.
4.
5.
635 WBA -
NLP NN
NLP
ACL
2011-2018
www.aclweb.org/
EMNLP
2011-2017
emnlp2017.net/
NAACL HLT
2013, 15, 16, 18
naacl2018.org/
735 WBA -
▼
ACL (Association for Computational Linguistics)
year_w …
year_r … accepted paper
835 WBA -
935 WBA -
year_w …
year_r … accepted paper
ACL (Association for Computational Linguistics)
EMNLP (Empirical Methods in Natural Language Processing)
1035 WBA -
NAACL HLT (North American Chapter of the Association for Computational Linguistics:
Human Language Technologies)
1135 WBA -
1235 WBA -
NLP NN
’neural’
’model’
1335 WBA -
NLP NN
Recent Trends in Deep Learning Based Natural Language Processing
Tom et al. arxiv.org/pdf/1708.02709.pdf
NN
70%
1. NLP NN
2. NLP
3.
4.
5.
NN
1435 WBA -
1535 WBA -
Slideshare -
1635 WBA -
Slideshare -
1735 WBA -
1835 WBA -
N-gram
(Embedding)
RNN, CNNSVM
NN
NN
1935 WBA -
1. NLP NN
2. NLP
3.
4.
5.
2035 WBA -
NN
NN
▼
▼
▼ 100
▶︎▶︎
2135 WBA -
▼ ( )
▼ one-hot ( )
▶︎▶︎ ( )
NN
NN
2235 WBA -
N-gram
(Embedding)
NN
RNN, CNNSVM
-
2335 WBA -
MeCab, Janome
JUMAN++
:
:
/ / / / / / / / / /
/ / / / / /
/ / / / / / / /
/ / /
2435 WBA -
▼
Twitter UGC
▼
RNN
[ + DEIM2018]
- NN
2535 WBA -
▼ 20
(MT)
▼ ,
n-gram
)
- NN
- NN
2635 WBA -
▼
▼ 1/10
2735 WBA -
N-gram
(Embedding)
NN
RNN, CNNSVM
- one-hot
2835 WBA -
2935 WBA -
-
▼
▼
cf. Sense Embeddings
NN
3035 WBA -
arxiv.org/pdf/1605.07725.pdf
ADVERSARIAL
TRAINING METHODS FOR
SEMI-SUPERVISED TEXT CLASSIFICATION
NLP
Embedding
IMDB Embedding
3135 WBA -
arxiv.org/pdf/1804.08166.pdf
Embedding
Word Embedding Perturbation
for Sentence Classification
NLP
NN
3235 WBA -
1. NLP NN
2. NLP
3.
4.
5.
NN
3335 WBA -
NN
https://www.rinna.jp/
3435 WBA -
Ledge.ai -
ledge.ai/chatbot_market_size/
3535 WBA -
▶︎
▶︎▶︎ Human-like
BLEU, ROUGE, METEOR
3635 WBA -
-
BLEU ROUGE
(MT)
precision
MT
recall
, N-gram
3735 WBA -
www.anlp.jp/proceedings/annual_meeting/2012/pdf_dir/E2-8.pdf
N-gram
( )
-
3835 WBA -
How NOT To Evaluate Your Dialogue System:
An Empirical Study of Unsupervised Evaluation Metrics
for Dialogue Response Generation
arxiv.org/abs/1603.08023
-
BLEU
Embedding Based
3935 WBA -
Towards an Automatic Turing Test:
Learning to Evaluate Dialogue Responses
arxiv.org/abs/1708.07149
-
ADEM
RNN
hierarchicalRNN[El Hihi and Bengio, 1995;Sordoni+ 2015]
[shang+, 2016]
Human-like
4035 WBA -
-
Human-like
1. NLP NN
2. NLP
3.
4.
5.
NN
4135 WBA -
NLP
NN
NN
NN
4235 WBA -
4335 WBA -
datascience.stackexchange.com/questions/13138/what-is-the-
difference-between-word-based-and-char-based-text-generation-rnns
What is the difference between
word-based and char-based text generation RNNs?
Neural Machine Translation of Rare Words with Subword Units
arxiv.org/abs/1508.07909
NMT
1 of 43

Recommended

形態素解析の過去・現在・未来 by
形態素解析の過去・現在・未来形態素解析の過去・現在・未来
形態素解析の過去・現在・未来Preferred Networks
27.9K views69 slides
BERT入門 by
BERT入門BERT入門
BERT入門Ken'ichi Matsui
7.6K views36 slides
ngx_mrubyを用いた柔軟なABテスト基盤 by
ngx_mrubyを用いた柔軟なABテスト基盤ngx_mrubyを用いた柔軟なABテスト基盤
ngx_mrubyを用いた柔軟なABテスト基盤Recruit Lifestyle Co., Ltd.
2.2K views34 slides
[DL輪読会]representation learning via invariant causal mechanisms by
[DL輪読会]representation learning via invariant causal mechanisms[DL輪読会]representation learning via invariant causal mechanisms
[DL輪読会]representation learning via invariant causal mechanismsDeep Learning JP
536 views21 slides
Overcoming Catastrophic Forgetting in Neural Networks読んだ by
Overcoming Catastrophic Forgetting in Neural Networks読んだOvercoming Catastrophic Forgetting in Neural Networks読んだ
Overcoming Catastrophic Forgetting in Neural Networks読んだYusuke Uchida
2.6K views12 slides
[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Ne... by
[DL Hacks]Variational Approaches For Auto-Encoding  Generative Adversarial Ne...[DL Hacks]Variational Approaches For Auto-Encoding  Generative Adversarial Ne...
[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Ne...Deep Learning JP
7.3K views99 slides

More Related Content

What's hot

CVPR 2018 速報 by
CVPR 2018 速報CVPR 2018 速報
CVPR 2018 速報cvpaper. challenge
63K views163 slides
音声認識における言語モデル by
音声認識における言語モデル音声認識における言語モデル
音声認識における言語モデルKOTARO SETOYAMA
4.4K views41 slides
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス by
JTubeSpeech:  音声認識と話者照合のために YouTube から構築される日本語音声コーパスJTubeSpeech:  音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパスShinnosuke Takamichi
1.4K views15 slides
NIPS2017報告 SPEECH & AUDIO by
NIPS2017報告 SPEECH & AUDIONIPS2017報告 SPEECH & AUDIO
NIPS2017報告 SPEECH & AUDIOKoichiro Mori
10.8K views33 slides
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) by
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP
3.7K views24 slides
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~ by
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~MicroAd, Inc.(Engineer)
362 views27 slides

What's hot(20)

音声認識における言語モデル by KOTARO SETOYAMA
音声認識における言語モデル音声認識における言語モデル
音声認識における言語モデル
KOTARO SETOYAMA4.4K views
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス by Shinnosuke Takamichi
JTubeSpeech:  音声認識と話者照合のために YouTube から構築される日本語音声コーパスJTubeSpeech:  音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
NIPS2017報告 SPEECH & AUDIO by Koichiro Mori
NIPS2017報告 SPEECH & AUDIONIPS2017報告 SPEECH & AUDIO
NIPS2017報告 SPEECH & AUDIO
Koichiro Mori10.8K views
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) by Deep Learning JP
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP3.7K views
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~ by MicroAd, Inc.(Engineer)
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
Word2vecの理論背景 by Masato Nakai
Word2vecの理論背景Word2vecの理論背景
Word2vecの理論背景
Masato Nakai6.8K views
Long Short-term Memory by nishio
Long Short-term MemoryLong Short-term Memory
Long Short-term Memory
nishio84.9K views
(研究会輪読) Weight Uncertainty in Neural Networks by Masahiro Suzuki
(研究会輪読) Weight Uncertainty in Neural Networks(研究会輪読) Weight Uncertainty in Neural Networks
(研究会輪読) Weight Uncertainty in Neural Networks
Masahiro Suzuki2.8K views
[DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜 by Deep Learning JP
[DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜 [DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜
[DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜
Deep Learning JP739 views
番組宣伝に関するAbemaTV分析事例の紹介 by cyberagent
番組宣伝に関するAbemaTV分析事例の紹介番組宣伝に関するAbemaTV分析事例の紹介
番組宣伝に関するAbemaTV分析事例の紹介
cyberagent2.7K views
【DL輪読会】Patches Are All You Need? (ConvMixer) by Deep Learning JP
【DL輪読会】Patches Are All You Need? (ConvMixer)【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP2.3K views
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks by Deep Learning JP
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Deep Learning JP5.2K views
強化学習における好奇心 by Shota Imai
強化学習における好奇心強化学習における好奇心
強化学習における好奇心
Shota Imai3.3K views
猫でも分かるVariational AutoEncoder by Sho Tatsuno
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno131.6K views
[DL輪読会] マルチエージェント強化学習と心の理論 by Deep Learning JP
[DL輪読会] マルチエージェント強化学習と心の理論[DL輪読会] マルチエージェント強化学習と心の理論
[DL輪読会] マルチエージェント強化学習と心の理論
Deep Learning JP4.1K views
単語のベクトル表現/Word2Vecの基礎 by So
単語のベクトル表現/Word2Vecの基礎単語のベクトル表現/Word2Vecの基礎
単語のベクトル表現/Word2Vecの基礎
So 282 views
[DL輪読会]Attention Is All You Need by Deep Learning JP
[DL輪読会]Attention Is All You Need[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
Deep Learning JP19.1K views
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料) by Shota Imai
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai274.5K views
ルールベースから機械学習への道 公開用 by nishio
ルールベースから機械学習への道 公開用ルールベースから機械学習への道 公開用
ルールベースから機械学習への道 公開用
nishio92.6K views

Recently uploaded

Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc... by
Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...
Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...csegroupvn
5 views210 slides
BCIC - Manufacturing Conclave - Technology-Driven Manufacturing for Growth by
BCIC - Manufacturing Conclave -  Technology-Driven Manufacturing for GrowthBCIC - Manufacturing Conclave -  Technology-Driven Manufacturing for Growth
BCIC - Manufacturing Conclave - Technology-Driven Manufacturing for GrowthInnomantra
6 views4 slides
Ansari: Practical experiences with an LLM-based Islamic Assistant by
Ansari: Practical experiences with an LLM-based Islamic AssistantAnsari: Practical experiences with an LLM-based Islamic Assistant
Ansari: Practical experiences with an LLM-based Islamic AssistantM Waleed Kadous
5 views29 slides
SUMIT SQL PROJECT SUPERSTORE 1.pptx by
SUMIT SQL PROJECT SUPERSTORE 1.pptxSUMIT SQL PROJECT SUPERSTORE 1.pptx
SUMIT SQL PROJECT SUPERSTORE 1.pptxSumit Jadhav
18 views26 slides
REACTJS.pdf by
REACTJS.pdfREACTJS.pdf
REACTJS.pdfArthyR3
34 views16 slides
Web Dev Session 1.pptx by
Web Dev Session 1.pptxWeb Dev Session 1.pptx
Web Dev Session 1.pptxVedVekhande
11 views22 slides

Recently uploaded(20)

Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc... by csegroupvn
Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...
Design of Structures and Foundations for Vibrating Machines, Arya-ONeill-Pinc...
csegroupvn5 views
BCIC - Manufacturing Conclave - Technology-Driven Manufacturing for Growth by Innomantra
BCIC - Manufacturing Conclave -  Technology-Driven Manufacturing for GrowthBCIC - Manufacturing Conclave -  Technology-Driven Manufacturing for Growth
BCIC - Manufacturing Conclave - Technology-Driven Manufacturing for Growth
Innomantra 6 views
Ansari: Practical experiences with an LLM-based Islamic Assistant by M Waleed Kadous
Ansari: Practical experiences with an LLM-based Islamic AssistantAnsari: Practical experiences with an LLM-based Islamic Assistant
Ansari: Practical experiences with an LLM-based Islamic Assistant
M Waleed Kadous5 views
SUMIT SQL PROJECT SUPERSTORE 1.pptx by Sumit Jadhav
SUMIT SQL PROJECT SUPERSTORE 1.pptxSUMIT SQL PROJECT SUPERSTORE 1.pptx
SUMIT SQL PROJECT SUPERSTORE 1.pptx
Sumit Jadhav 18 views
REACTJS.pdf by ArthyR3
REACTJS.pdfREACTJS.pdf
REACTJS.pdf
ArthyR334 views
Web Dev Session 1.pptx by VedVekhande
Web Dev Session 1.pptxWeb Dev Session 1.pptx
Web Dev Session 1.pptx
VedVekhande11 views
fakenews_DBDA_Mar23.pptx by deepmitra8
fakenews_DBDA_Mar23.pptxfakenews_DBDA_Mar23.pptx
fakenews_DBDA_Mar23.pptx
deepmitra816 views
MongoDB.pdf by ArthyR3
MongoDB.pdfMongoDB.pdf
MongoDB.pdf
ArthyR345 views
_MAKRIADI-FOTEINI_diploma thesis.pptx by fotinimakriadi
_MAKRIADI-FOTEINI_diploma thesis.pptx_MAKRIADI-FOTEINI_diploma thesis.pptx
_MAKRIADI-FOTEINI_diploma thesis.pptx
fotinimakriadi8 views
Searching in Data Structure by raghavbirla63
Searching in Data StructureSearching in Data Structure
Searching in Data Structure
raghavbirla6314 views
Design_Discover_Develop_Campaign.pptx by ShivanshSeth6
Design_Discover_Develop_Campaign.pptxDesign_Discover_Develop_Campaign.pptx
Design_Discover_Develop_Campaign.pptx
ShivanshSeth637 views
GDSC Mikroskil Members Onboarding 2023.pdf by gdscmikroskil
GDSC Mikroskil Members Onboarding 2023.pdfGDSC Mikroskil Members Onboarding 2023.pdf
GDSC Mikroskil Members Onboarding 2023.pdf
gdscmikroskil58 views
ASSIGNMENTS ON FUZZY LOGIC IN TRAFFIC FLOW.pdf by AlhamduKure
ASSIGNMENTS ON FUZZY LOGIC IN TRAFFIC FLOW.pdfASSIGNMENTS ON FUZZY LOGIC IN TRAFFIC FLOW.pdf
ASSIGNMENTS ON FUZZY LOGIC IN TRAFFIC FLOW.pdf
AlhamduKure6 views
2023Dec ASU Wang NETR Group Research Focus and Facility Overview.pptx by lwang78
2023Dec ASU Wang NETR Group Research Focus and Facility Overview.pptx2023Dec ASU Wang NETR Group Research Focus and Facility Overview.pptx
2023Dec ASU Wang NETR Group Research Focus and Facility Overview.pptx
lwang78109 views

NN時代の自然言語処理の設計と評価