SlideShare a Scribd company logo

読解支援@2015 07-03

•
•
S
sekizawayuuki
Education
1 of 17
Download to read offline
Distributed  Representa/ons  of   Words  and  Phrases  and  their   Composi/onality     Tomas  Mikolov,  Ilya  Sutskever,    Kai  Chen,  Greg  Corrado,  Jeffrey  Dean    In  Advances  on  Neural  InformaBon  Processing   Systems,  2013   プレゼンテーション   関沢祐樹 2015/07/03 1
概要 •  conBnuous  Skip-­‐gram  model     – ベクトル表現の学習においてよい方法   •  ベクトルの質、学習スピードが良い   – ベクトル表現の限界   •  単語の順番を考慮しない   •  慣用句を表現できない   – この課題に対応できる方法を紹介する   2015/07/03 2
Skip-­‐gram  model •  行列の積を   　　必要としない   –  効率的学習が可能   •  線形計算ができる   2015/07/03 3
Skip-­‐gram  model •  ある文（　　　　　　　　　　　　　　　　　　　　）　　　 に対して、以下の平均対数確率を最大にする   •  c:文脈のとる範囲   – 大きいほど高正解率   2015/07/03 4
Skip-­‐gram  の確率式 w:単語   vw:単語wに対する入力ベクトル   v’w:単語wに対する出力ベクトル   W:単語語彙数　（105  〜  107  になることも）   •  計算量がWに比例するため、実用的でない   – Σの部分 2015/07/03 5
Skip-­‐gram  modelの拡張 •  訓練中に高頻度語のサブサンプリング   – ２〜１０倍ほどの速さになる   – 低頻度単語表現の正解率向上   •  訓練にNoise  ContrasBve  EsBmaBon  の異形を 使用   – より複雑な  hierarchical  soSmax  の代用   – 訓練が速い   – 高頻度単語ベクトル表現の向上   2015/07/03 6
Hierarchical  SoSmax  （HS） •  full  soSmax  の近似：　W→log2(W)   –  出力層Wに、２分木を使うことで実現   –  葉の部分に単語がある　（上の例では３つ）   –  本実験では、２値ハフマン木を使用   •  高頻度語ほど、ビット数が少ない（探索しやすい） 2015/07/03 7
単語ベクトルの限界 •  単語ベクトルは、単語１つ１つの意味を持つ   – 慣用句を表現できない   – 例：”Boston  Globe”  ・・・ 新聞の名前   　　　　Boston  +  Glove    =  ボストンの手袋？     •  ここから、提案手法を紹介 2015/07/03 8
Noise  ContrasBve  EsBmaBon（NCE） •  雑音対照推定   – 良いモデルは、ロジスティック回帰で、   　 データと雑音を区別できるべきであるという仮定   – サンプルと、雑音分布確率が必要   – ソフトマックスの対数確率を、おおよそで最大化   •  計算量が減る   2015/07/03 9
NegaBve  Sampling（NS） •  正しくないサンプリング   – 単語数k  に対して  negaBve  sampling  をする   •  ある事象（ここでは単語w）を１つ持ってくる   •  さらに、k個の事象選び、正しくないものとする   •  それらの事象がwに対応する確率を下げる   –  間違った対応になりにくくなる   – サンプルのみを必要とする   – 対数確率の最大化は重要でない 2015/07/03 10
Subsampling  of  Frequent  Words   •  高頻度単語の部分サンプリング(平滑化、間引き)   – in,  a,  the  などの単語は、情報量が少ない   – 頻度をバランスよくする必要がある   •  各単語を、以下の確率で訓練セットから捨てる   •  　　　　　　　　　　　　　　　　wi    :  単語   • 　　　　　　　　　　　　　　　　　　　 f()  :  単語の頻度   • 　　　　　　　　　　　　　t        :  閾値（普通は10-­‐5）   • f  >  t  でサブサンプリング   • fが大きいほど、P(wi)も大きい   2015/07/03 11
実験 •  Mikolov  の実験を使用   –  ５種類の意味的問題　　 問題数：８８６９　　（表の上２つ）   –  ９種類の文法的問題　　 問題数：１０６７５　（表の下２つ）   –  コサイン距離を使用し、正解の単語と比較   •  Skip-­‐gram  の訓練：Google  News   –  頻度５回未満の単語は破棄→語彙数692,000   2015/07/03 12
実験結果 –  NEG-­‐5  ：NegaBve  Sampling  を５単語にした場合   –  HS-­‐Huffman  ：HSで、頻度ベースのハフマン符号使用   –  NEGがより良い結果となった。   2015/07/03 13
実験結果 –  NEG-­‐5  ：NegaBve  Sampling  を５単語にした場合   –  HS-­‐Huffman  ：HSで、頻度ベースのハフマン符号使用   –  サブサンプリングで、訓練スピードが数倍に   –  さらに、正解率がわずかに向上   2015/07/03 14
句を学習する •  学習方法   – ある単語に対して、同時によく出る単語を探す   – 他の文脈ではあまり出ない単語である   •  分母：各単語の１gram頻度   •  分子：単語の２gram頻度   •  δ：頻度の低い単語からなる句の大量生成を防ぐ   2015/07/03 15
句ベクトルの正解率 •  ベクトルの次元は３００   •  サブサンプリングをすると正解率向上   – 特にHS-­‐Huffmanで大きな伸び   2015/07/03 16
まとめ •  提案手法   – 良い単語ベクトル、句ベクトルを生成   – 計算を効率的に行う   •  低頻度単語はサブサンプリングで実現   – ネガティブサンプリングは高頻度語正解率向上   2015/07/03 17

Recommended

論文紹介: Improving grammatical error correction models with purpose built advers...
論文紹介: Improving grammatical error correction models with purpose built advers...論文紹介: Improving grammatical error correction models with purpose built advers...
論文紹介: Improving grammatical error correction models with purpose built advers...広樹 本間
 
読解支援@2015 07-13
読解支援@2015 07-13読解支援@2015 07-13
読解支援@2015 07-13sekizawayuuki
 
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
[DL輪読会]Learning to Generalize: Meta-Learning for Domain GeneralizationDeep Learning JP
 
[DL輪読会]It's not just size that maters small language models are also few sho...
[DL輪読会]It's not just size that maters small language models are also few sho...[DL輪読会]It's not just size that maters small language models are also few sho...
[DL輪読会]It's not just size that maters small language models are also few sho...Deep Learning JP
 
Infusing sequential information into conditional masked translation model wit...
Infusing sequential information into conditional masked translation model wit...Infusing sequential information into conditional masked translation model wit...
Infusing sequential information into conditional masked translation model wit...広樹 本間
 
Emnlp読み会@2015 10-09
Emnlp読み会@2015 10-09Emnlp読み会@2015 10-09
Emnlp読み会@2015 10-09sekizawayuuki
 
Nlp2016 sekizawa
Nlp2016 sekizawaNlp2016 sekizawa
Nlp2016 sekizawasekizawayuuki
 
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...sekizawayuuki
 

Recommended

論文紹介: Improving grammatical error correction models with purpose built advers...
論文紹介: Improving grammatical error correction models with purpose built advers...論文紹介: Improving grammatical error correction models with purpose built advers...
論文紹介: Improving grammatical error correction models with purpose built advers...広樹 本間
 
読解支援@2015 07-13
読解支援@2015 07-13読解支援@2015 07-13
読解支援@2015 07-13sekizawayuuki
 
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
[DL輪読会]Learning to Generalize: Meta-Learning for Domain GeneralizationDeep Learning JP
 
[DL輪読会]It's not just size that maters small language models are also few sho...
[DL輪読会]It's not just size that maters small language models are also few sho...[DL輪読会]It's not just size that maters small language models are also few sho...
[DL輪読会]It's not just size that maters small language models are also few sho...Deep Learning JP
 
Infusing sequential information into conditional masked translation model wit...
Infusing sequential information into conditional masked translation model wit...Infusing sequential information into conditional masked translation model wit...
Infusing sequential information into conditional masked translation model wit...広樹 本間
 
Emnlp読み会@2015 10-09
Emnlp読み会@2015 10-09Emnlp読み会@2015 10-09
Emnlp読み会@2015 10-09sekizawayuuki
 
Nlp2016 sekizawa
Nlp2016 sekizawaNlp2016 sekizawa
Nlp2016 sekizawasekizawayuuki
 
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...
[論文紹介]Selecting syntactic, non redundant segments in active learning for mach...sekizawayuuki
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
 
Segmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principleSegmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principleYusuke Matsubara
 
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPApproximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPKoji Matsuda
 
読解支援@2015 06-26
読解支援@2015 06-26読解支援@2015 06-26
読解支援@2015 06-26sekizawayuuki
 
論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained Models論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained ModelsToru Tamaki
 
Chainer with natural language processing hands on
Chainer with natural language processing hands onChainer with natural language processing hands on
Chainer with natural language processing hands onOgushi Masaya
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for PredictionDeep Learning JP
 
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random FieldsShohei Okada
 
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについてMasahiro Suzuki
 
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by ExampleA Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by ExampleKoji Matsuda
 
Translating phrases in neural machine translation
Translating phrases in neural machine translation Translating phrases in neural machine translation
Translating phrases in neural machine translation sekizawayuuki
 
Improving lexical choice in neural machine translation
Improving lexical choice in neural machine translationImproving lexical choice in neural machine translation
Improving lexical choice in neural machine translationsekizawayuuki
 
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...sekizawayuuki
 
Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...sekizawayuuki
 
paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...sekizawayuuki
 
Coling2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translationColing2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translationsekizawayuuki
 
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善sekizawayuuki
 
Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15sekizawayuuki
 
Acl reading@2016 10-26
Acl reading@2016 10-26Acl reading@2016 10-26
Acl reading@2016 10-26sekizawayuuki
 
Acl読み会@2015 09-18
Acl読み会@2015 09-18Acl読み会@2015 09-18
Acl読み会@2015 09-18sekizawayuuki
 
読解支援@2015 08-10-6
読解支援@2015 08-10-6読解支援@2015 08-10-6
読解支援@2015 08-10-6sekizawayuuki
 
読解支援@2015 08-10-5
読解支援@2015 08-10-5読解支援@2015 08-10-5
読解支援@2015 08-10-5sekizawayuuki
 

More Related Content

Similar to 読解支援@2015 07-03

Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
 
Segmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principleSegmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principleYusuke Matsubara
 
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPApproximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPKoji Matsuda
 
読解支援@2015 06-26
読解支援@2015 06-26読解支援@2015 06-26
読解支援@2015 06-26sekizawayuuki
 
論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained Models論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained ModelsToru Tamaki
 
Chainer with natural language processing hands on
Chainer with natural language processing hands onChainer with natural language processing hands on
Chainer with natural language processing hands onOgushi Masaya
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for PredictionDeep Learning JP
 
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random FieldsShohei Okada
 
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについてMasahiro Suzuki
 
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by ExampleA Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by ExampleKoji Matsuda
 

Similar to 読解支援@2015 07-03 (10)

Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
 
Segmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principleSegmenting Sponteneous Japanese using MDL principle
Segmenting Sponteneous Japanese using MDL principle
 
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPApproximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
 
読解支援@2015 06-26
読解支援@2015 06-26読解支援@2015 06-26
読解支援@2015 06-26
 
論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained Models論文紹介：A Survey of Vision-Language Pre-Trained Models
論文紹介：A Survey of Vision-Language Pre-Trained Models
 
Chainer with natural language processing hands on
Chainer with natural language processing hands onChainer with natural language processing hands on
Chainer with natural language processing hands on
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
 
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
文献紹介：Extracting Opinion Expression with semi-Markov Conditional Random Fields
 
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
 
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by ExampleA Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by Example
 

More from sekizawayuuki

Translating phrases in neural machine translation
Translating phrases in neural machine translation Translating phrases in neural machine translation
Translating phrases in neural machine translation sekizawayuuki
 
Improving lexical choice in neural machine translation
Improving lexical choice in neural machine translationImproving lexical choice in neural machine translation
Improving lexical choice in neural machine translationsekizawayuuki
 
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...sekizawayuuki
 
Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...sekizawayuuki
 
paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...sekizawayuuki
 
Coling2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translationColing2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translationsekizawayuuki
 
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善sekizawayuuki
 
Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15sekizawayuuki
 
Acl reading@2016 10-26
Acl reading@2016 10-26Acl reading@2016 10-26
Acl reading@2016 10-26sekizawayuuki
 
Acl読み会@2015 09-18
Acl読み会@2015 09-18Acl読み会@2015 09-18
Acl読み会@2015 09-18sekizawayuuki
 
読解支援@2015 08-10-6
読解支援@2015 08-10-6読解支援@2015 08-10-6
読解支援@2015 08-10-6sekizawayuuki
 
読解支援@2015 08-10-5
読解支援@2015 08-10-5読解支援@2015 08-10-5
読解支援@2015 08-10-5sekizawayuuki
 
読解支援@2015 08-10-4
読解支援@2015 08-10-4読解支援@2015 08-10-4
読解支援@2015 08-10-4sekizawayuuki
 
読解支援@2015 08-10-3
読解支援@2015 08-10-3読解支援@2015 08-10-3
読解支援@2015 08-10-3sekizawayuuki
 
読解支援@2015 08-10-2
読解支援@2015 08-10-2読解支援@2015 08-10-2
読解支援@2015 08-10-2sekizawayuuki
 
読解支援@2015 08-10-1
読解支援@2015 08-10-1読解支援@2015 08-10-1
読解支援@2015 08-10-1sekizawayuuki
 
読解支援@2015 07-24
読解支援@2015 07-24読解支援@2015 07-24
読解支援@2015 07-24sekizawayuuki
 
読解支援@2015 07-17
読解支援@2015 07-17読解支援@2015 07-17
読解支援@2015 07-17sekizawayuuki
 
Naacl読み会@2015 06-24
Naacl読み会@2015 06-24Naacl読み会@2015 06-24
Naacl読み会@2015 06-24sekizawayuuki
 
読解支援@2015 06-12
読解支援@2015 06-12読解支援@2015 06-12
読解支援@2015 06-12sekizawayuuki
 

More from sekizawayuuki (20)

Translating phrases in neural machine translation
Translating phrases in neural machine translation Translating phrases in neural machine translation
Translating phrases in neural machine translation
 
Improving lexical choice in neural machine translation
Improving lexical choice in neural machine translationImproving lexical choice in neural machine translation
Improving lexical choice in neural machine translation
 
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
Improving Japanese-to-English Neural Machine Translation by Paraphrasing the ...
 
Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...Incorporating word reordering knowledge into attention-based neural machine t...
Incorporating word reordering knowledge into attention-based neural machine t...
 
paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...paper introducing: Exploiting source side monolingual data in neural machine ...
paper introducing: Exploiting source side monolingual data in neural machine ...
 
Coling2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translationColing2016 pre-translation for neural machine translation
Coling2016 pre-translation for neural machine translation
 
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
目的言語の低頻度語の高頻度語への言い換えによるニューラル機械翻訳の改善
 
Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15Emnlp読み会@2017 02-15
Emnlp読み会@2017 02-15
 
Acl reading@2016 10-26
Acl reading@2016 10-26Acl reading@2016 10-26
Acl reading@2016 10-26
 
Acl読み会@2015 09-18
Acl読み会@2015 09-18Acl読み会@2015 09-18
Acl読み会@2015 09-18
 
読解支援@2015 08-10-6
読解支援@2015 08-10-6読解支援@2015 08-10-6
読解支援@2015 08-10-6
 
読解支援@2015 08-10-5
読解支援@2015 08-10-5読解支援@2015 08-10-5
読解支援@2015 08-10-5
 
読解支援@2015 08-10-4
読解支援@2015 08-10-4読解支援@2015 08-10-4
読解支援@2015 08-10-4
 
読解支援@2015 08-10-3
読解支援@2015 08-10-3読解支援@2015 08-10-3
読解支援@2015 08-10-3
 
読解支援@2015 08-10-2
読解支援@2015 08-10-2読解支援@2015 08-10-2
読解支援@2015 08-10-2
 
読解支援@2015 08-10-1
読解支援@2015 08-10-1読解支援@2015 08-10-1
読解支援@2015 08-10-1
 
読解支援@2015 07-24
読解支援@2015 07-24読解支援@2015 07-24
読解支援@2015 07-24
 
読解支援@2015 07-17
読解支援@2015 07-17読解支援@2015 07-17
読解支援@2015 07-17
 
Naacl読み会@2015 06-24
Naacl読み会@2015 06-24Naacl読み会@2015 06-24
Naacl読み会@2015 06-24
 
読解支援@2015 06-12
読解支援@2015 06-12読解支援@2015 06-12
読解支援@2015 06-12
 

Recently uploaded

次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～Kochi Eng Camp
 
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2Tokyo Institute of Technology
 
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料Takayuki Itoh
 
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentationTokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentationYukiTerazawa
 
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学ssusere0a682
 
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024koheioishi1
 
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料Tokyo Institute of Technology
 

Recently uploaded (7)

次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
次世代機の製品コンセプトを描く　～未来の機械を創造してみよう～
 
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院　建築学系　大学院入学入試・進学説明会2024_v2
 
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて：お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
 
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentationTokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
 
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
 
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
 
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
2024年度　東京工業大学　工学院 機械系 大学院 修士課程　入試 説明会　資料
 

読解支援@2015 07-03

  • 1. Distributed  Representa/ons  of   Words  and  Phrases  and  their   Composi/onality     Tomas  Mikolov,  Ilya  Sutskever,    Kai  Chen,  Greg  Corrado,  Jeffrey  Dean    In  Advances  on  Neural  InformaBon  Processing   Systems,  2013   プレゼンテーション   関沢祐樹 2015/07/03 1
  • 2. 概要 •  conBnuous  Skip-­‐gram  model     – ベクトル表現の学習においてよい方法   •  ベクトルの質、学習スピードが良い   – ベクトル表現の限界   •  単語の順番を考慮しない   •  慣用句を表現できない   – この課題に対応できる方法を紹介する   2015/07/03 2
  • 3. Skip-­‐gram  model •  行列の積を   　　必要としない   –  効率的学習が可能   •  線形計算ができる   2015/07/03 3
  • 5. Skip-­‐gram  の確率式 w:単語   vw:単語wに対する入力ベクトル   v’w:単語wに対する出力ベクトル   W:単語語彙数　（105  〜  107  になることも）   •  計算量がWに比例するため、実用的でない   – Σの部分 2015/07/03 5
  • 6. Skip-­‐gram  modelの拡張 •  訓練中に高頻度語のサブサンプリング   – ２〜１０倍ほどの速さになる   – 低頻度単語表現の正解率向上   •  訓練にNoise  ContrasBve  EsBmaBon  の異形を 使用   – より複雑な  hierarchical  soSmax  の代用   – 訓練が速い   – 高頻度単語ベクトル表現の向上   2015/07/03 6
  • 7. Hierarchical  SoSmax  （HS） •  full  soSmax  の近似：　W→log2(W)   –  出力層Wに、２分木を使うことで実現   –  葉の部分に単語がある　（上の例では３つ）   –  本実験では、２値ハフマン木を使用   •  高頻度語ほど、ビット数が少ない（探索しやすい） 2015/07/03 7
  • 8. 単語ベクトルの限界 •  単語ベクトルは、単語１つ１つの意味を持つ   – 慣用句を表現できない   – 例：”Boston  Globe”  ・・・ 新聞の名前   　　　　Boston  +  Glove    =  ボストンの手袋？     •  ここから、提案手法を紹介 2015/07/03 8
  • 9. Noise  ContrasBve  EsBmaBon（NCE） •  雑音対照推定   – 良いモデルは、ロジスティック回帰で、   　 データと雑音を区別できるべきであるという仮定   – サンプルと、雑音分布確率が必要   – ソフトマックスの対数確率を、おおよそで最大化   •  計算量が減る   2015/07/03 9
  • 10. NegaBve  Sampling（NS） •  正しくないサンプリング   – 単語数k  に対して  negaBve  sampling  をする   •  ある事象（ここでは単語w）を１つ持ってくる   •  さらに、k個の事象選び、正しくないものとする   •  それらの事象がwに対応する確率を下げる   –  間違った対応になりにくくなる   – サンプルのみを必要とする   – 対数確率の最大化は重要でない 2015/07/03 10
  • 11. Subsampling  of  Frequent  Words   •  高頻度単語の部分サンプリング(平滑化、間引き)   – in,  a,  the  などの単語は、情報量が少ない   – 頻度をバランスよくする必要がある   •  各単語を、以下の確率で訓練セットから捨てる   •  　　　　　　　　　　　　　　　　wi    :  単語   • 　　　　　　　　　　　　　　　　　　　 f()  :  単語の頻度   • 　　　　　　　　　　　　　t        :  閾値（普通は10-­‐5）   • f  >  t  でサブサンプリング   • fが大きいほど、P(wi)も大きい   2015/07/03 11
  • 12. 実験 •  Mikolov  の実験を使用   –  ５種類の意味的問題　　 問題数：８８６９　　（表の上２つ）   –  ９種類の文法的問題　　 問題数：１０６７５　（表の下２つ）   –  コサイン距離を使用し、正解の単語と比較   •  Skip-­‐gram  の訓練：Google  News   –  頻度５回未満の単語は破棄→語彙数692,000   2015/07/03 12
  • 13. 実験結果 –  NEG-­‐5  ：NegaBve  Sampling  を５単語にした場合   –  HS-­‐Huffman  ：HSで、頻度ベースのハフマン符号使用   –  NEGがより良い結果となった。   2015/07/03 13
  • 14. 実験結果 –  NEG-­‐5  ：NegaBve  Sampling  を５単語にした場合   –  HS-­‐Huffman  ：HSで、頻度ベースのハフマン符号使用   –  サブサンプリングで、訓練スピードが数倍に   –  さらに、正解率がわずかに向上   2015/07/03 14
  • 15. 句を学習する •  学習方法   – ある単語に対して、同時によく出る単語を探す   – 他の文脈ではあまり出ない単語である   •  分母：各単語の１gram頻度   •  分子：単語の２gram頻度   •  δ：頻度の低い単語からなる句の大量生成を防ぐ   2015/07/03 15
  • 16. 句ベクトルの正解率 •  ベクトルの次元は３００   •  サブサンプリングをすると正解率向上   – 特にHS-­‐Huffmanで大きな伸び   2015/07/03 16
  • 17. まとめ •  提案手法   – 良い単語ベクトル、句ベクトルを生成   – 計算を効率的に行う   •  低頻度単語はサブサンプリングで実現   – ネガティブサンプリングは高頻度語正解率向上   2015/07/03 17