EMNLP2014読み会 "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space"

Yuya Unno
Yuya Unno-- at Preferred Networks
EMNLP2014 @PFI 
Efficient Non-parametric Estimation 
of Multiple Embeddings per Word in 
Vector Space 
Arvind Neelakantan, Jeevan Shankar, 
Alexandre Passos, Andrew McCallum 
®Preferred Infrastructure 
š~ôø (@unnonouno)
nìûÏ 
š~ôø (@unnonouno) 
! n՞ǽ‹6ODKPYARbF6ÿå 
! ´ò½‹57'+6:2 
! NLP¾q/fµt©†k2014- 
! rc§‹¨Û¹IBM¢ýÊPFI
îÓ
NLP¾q/fYANS 
! YANSIbXJBZ9o 
! ¾qÊÒl40ÈãØ9/¾qÊÒln 
Ã/ÊÒ˜4;$4/¸2: 
! s6¤jCbJR@/»œ5üç 
! ƒd0mê* $
! YANSĀ3o 
! žÇ½‹fŒecf’yg.ĀÑf 2 
! à-;õ3f*
“þ 
! word2vecÙÉ )1(/àÇ.í™/”× 
WEPaÁ; 
! àÇ/—å+ÇÂĄă•¥¿tx.¥ 
! ”×WEPa/™nŽ*4;w„5«£  
);
ù*=;Skip-gram [Mikolov+13] 
$(#%' 
 
éā 
0 
Ă 
* 
;
‰{€™*=;Skip-gram 
! àÇ/WEPa v(wt) +GbODKP/WEP 
a v(c) /|ÐIFAQ.; 
 
Ă*;
Multi Sense Skip-gram (MSSG) model 
1. ÞÚàÇ/GbODKPWEPa9›æG 
bODKP±h 
2. ”×âÀ/g9iËGbODKP/ßú $ 
”׈ó 
3. #/”×.v¼;”×WEPaˆó 
4. ˆó$”×WEPa.Ý')ÞÚGbOD 
KPz );+.;Skip-gram+ 
t!
ù*=;MSSG 
Skip-gram 
 
	$(#%'!
‰{€™*=;MSSG 
! ˆó $”×WEPa¯% 
! àÇ/WEPa0”×ï.ª:GbODKP 
/WEPa01(%ª;
@aH`LZ*=;MSSG 
! ÞÚGbO 
DKP 
¯')”× 
ˆó; 
G
Qu 
;%
Non-Parametric MSSG (NP-MSSG) model 
! MSSG*0”×WEPa/™04¬%'$ 
! NP-MSSG*0nŽ*4; 
! 4w0àö.ƒ2*+GbODKPWEP 
a/›æƶ$9} ”×WEPa 
͜;%
NP-MSSG.;”×/ˆó/Ôw 
! ƒ2*+ÆGbODKPh— $9}9 
 ”×Ëä²:‘)8 
! k(wt)0ƒ2*wt.²:‘)$”×/™ 
! vcontext0wt/ݾGbODKPWEPa 
! (wt, k)0kˉ/”×/GbODKPg¦
q„/2+4 
! MSSG 
! àÇ.v )kÅ/”×WEPa²:‘);S_ 
[
Mkè 
!
!
 
! ˆó$”×WEPa¯')ñ‚.Skip-gram 
! NP-MSSG 
! kÅ/”×WEPa²:‘);/0t! 
!
#	 

 
! ˆó$”×WEPa*Skip-gram;/0t!
ŠÌ¡°Apple 
! ° +J^VK.p;
1 of 17

Recommended

表現学習時代の生成語彙論ことはじめ by
表現学習時代の生成語彙論ことはじめ表現学習時代の生成語彙論ことはじめ
表現学習時代の生成語彙論ことはじめYuya Unno
9K views54 slides
ใบงานที่ 9 16 มิก เติด by
ใบงานที่ 9 16 มิก เติดใบงานที่ 9 16 มิก เติด
ใบงานที่ 9 16 มิก เติดNoonnu Ka-noon
177 views32 slides
Collection of three suttas in three languages tribute to founders by
Collection of three suttas in three languages tribute to foundersCollection of three suttas in three languages tribute to founders
Collection of three suttas in three languages tribute to foundersDXT007
4.3K views63 slides
G mc ghee data stories by
G mc ghee data stories G mc ghee data stories
G mc ghee data stories padatascience
538 views86 slides
C++ in sinhala by
C++ in sinhalaC++ in sinhala
C++ in sinhalaUditha Kekulawala
16.1K views121 slides
ICT 2017 Model Paper by
ICT 2017 Model PaperICT 2017 Model Paper
ICT 2017 Model PaperMahesh Kodituwakku
4.4K views11 slides

More Related Content

What's hot

Grade 10 1st Term IT Notes by
Grade 10 1st Term IT NotesGrade 10 1st Term IT Notes
Grade 10 1st Term IT NotesNavinda Dissanayake
35.9K views154 slides
List of URL's for Washing Machine Repairs London by
List of URL's for Washing Machine Repairs London List of URL's for Washing Machine Repairs London
List of URL's for Washing Machine Repairs London Nathan Wynne
10 views3 slides
GIT Model Paper by
GIT Model PaperGIT Model Paper
GIT Model PaperMahesh Kodituwakku
94.4K views7 slides
Unpacking GLEs Presentation by
Unpacking GLEs PresentationUnpacking GLEs Presentation
Unpacking GLEs Presentationtblanchet
371 views20 slides
Kmap by
KmapKmap
KmapMahesh Kodituwakku
3.5K views21 slides
صناعة التأثير by
صناعة التأثيرصناعة التأثير
صناعة التأثيرHani Al-Menaii
16.2K views237 slides

What's hot(20)

List of URL's for Washing Machine Repairs London by Nathan Wynne
List of URL's for Washing Machine Repairs London List of URL's for Washing Machine Repairs London
List of URL's for Washing Machine Repairs London
Nathan Wynne10 views
Unpacking GLEs Presentation by tblanchet
Unpacking GLEs PresentationUnpacking GLEs Presentation
Unpacking GLEs Presentation
tblanchet371 views
صناعة التأثير by Hani Al-Menaii
صناعة التأثيرصناعة التأثير
صناعة التأثير
Hani Al-Menaii16.2K views
هندسة التغيير by Hani Al-Menaii
هندسة التغييرهندسة التغيير
هندسة التغيير
Hani Al-Menaii7.9K views
Compul sub sin w'fmd'i ^idudkH fm<& úNd.h jr®I 2016 yd bka miqj meje;afjk úNd... by lakinduDabare1
Compul sub sin w'fmd'i ^idudkH fm<& úNd.h jr®I 2016 yd bka miqj meje;afjk úNd...Compul sub sin w'fmd'i ^idudkH fm<& úNd.h jr®I 2016 yd bka miqj meje;afjk úNd...
Compul sub sin w'fmd'i ^idudkH fm<& úNd.h jr®I 2016 yd bka miqj meje;afjk úNd...
lakinduDabare1562 views
Detection test - statistical set and probability by lakinduDabare1
Detection test - statistical set and probabilityDetection test - statistical set and probability
Detection test - statistical set and probability
lakinduDabare1175 views
Mbpy application form by BSSO49
Mbpy application formMbpy application form
Mbpy application form
BSSO49250 views
كيف نسوق القضية الفلسطينية by Hani Al-Menaii
كيف نسوق القضية الفلسطينيةكيف نسوق القضية الفلسطينية
كيف نسوق القضية الفلسطينية
Hani Al-Menaii2.2K views
Mbpy new application form by BSSO49
Mbpy new application formMbpy new application form
Mbpy new application form
BSSO491.1K views
[D2 오픈세미나]2.모바일웹디버깅 by NAVER D2
[D2 오픈세미나]2.모바일웹디버깅[D2 오픈세미나]2.모바일웹디버깅
[D2 오픈세미나]2.모바일웹디버깅
NAVER D212.7K views
هندسة الأفكار - تيداكس جدة - هاني المنيعي by Hani Al-Menaii
هندسة الأفكار  -  تيداكس جدة - هاني المنيعيهندسة الأفكار  -  تيداكس جدة - هاني المنيعي
هندسة الأفكار - تيداكس جدة - هاني المنيعي
Hani Al-Menaii4K views

More from Yuya Unno

深層学習で切り拓くパーソナルロボットの未来 by
深層学習で切り拓くパーソナルロボットの未来深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来Yuya Unno
6K views69 slides
深層学習時代の 自然言語処理ビジネス by
深層学習時代の自然言語処理ビジネス深層学習時代の自然言語処理ビジネス
深層学習時代の 自然言語処理ビジネスYuya Unno
19.4K views22 slides
ベンチャー企業で言葉を扱うロボットの研究開発をする by
ベンチャー企業で言葉を扱うロボットの研究開発をするベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をするYuya Unno
7.4K views76 slides
PFNにおける セミナー活動 by
PFNにおけるセミナー活動PFNにおけるセミナー活動
PFNにおける セミナー活動Yuya Unno
4.8K views12 slides
深層学習フレームワーク Chainerとその進化 by
深層学習フレームワークChainerとその進化深層学習フレームワークChainerとその進化
深層学習フレームワーク Chainerとその進化Yuya Unno
3.9K views32 slides
進化するChainer by
進化するChainer進化するChainer
進化するChainerYuya Unno
6.7K views18 slides

More from Yuya Unno(20)

深層学習で切り拓くパーソナルロボットの未来 by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
Yuya Unno6K views
深層学習時代の 自然言語処理ビジネス by Yuya Unno
深層学習時代の自然言語処理ビジネス深層学習時代の自然言語処理ビジネス
深層学習時代の 自然言語処理ビジネス
Yuya Unno19.4K views
ベンチャー企業で言葉を扱うロボットの研究開発をする by Yuya Unno
ベンチャー企業で言葉を扱うロボットの研究開発をするベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をする
Yuya Unno7.4K views
PFNにおける セミナー活動 by Yuya Unno
PFNにおけるセミナー活動PFNにおけるセミナー活動
PFNにおける セミナー活動
Yuya Unno4.8K views
深層学習フレームワーク Chainerとその進化 by Yuya Unno
深層学習フレームワークChainerとその進化深層学習フレームワークChainerとその進化
深層学習フレームワーク Chainerとその進化
Yuya Unno3.9K views
進化するChainer by Yuya Unno
進化するChainer進化するChainer
進化するChainer
Yuya Unno6.7K views
予測型戦略を知るための機械学習チュートリアル by Yuya Unno
予測型戦略を知るための機械学習チュートリアル予測型戦略を知るための機械学習チュートリアル
予測型戦略を知るための機械学習チュートリアル
Yuya Unno23.7K views
深層学習による機械とのコミュニケーション by Yuya Unno
深層学習による機械とのコミュニケーション深層学習による機械とのコミュニケーション
深層学習による機械とのコミュニケーション
Yuya Unno12.7K views
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy L... by Yuya Unno
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy L...
Yuya Unno5.5K views
Chainer, Cupy入門 by Yuya Unno
Chainer, Cupy入門Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno68.1K views
Chainerのテスト環境とDockerでのCUDAの利用 by Yuya Unno
Chainerのテスト環境とDockerでのCUDAの利用Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
Yuya Unno16.5K views
深層学習フレームワークChainerの特徴 by Yuya Unno
深層学習フレームワークChainerの特徴深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
Yuya Unno59.4K views
子供の言語獲得と機械の言語獲得 by Yuya Unno
子供の言語獲得と機械の言語獲得子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Yuya Unno35.7K views
NIP2015読み会「End-To-End Memory Networks」 by Yuya Unno
NIP2015読み会「End-To-End Memory Networks」NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」
Yuya Unno11.5K views
Chainer入門と最近の機能 by Yuya Unno
Chainer入門と最近の機能Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno110K views
Chainerの使い方と 自然言語処理への応用 by Yuya Unno
Chainerの使い方と自然言語処理への応用Chainerの使い方と自然言語処理への応用
Chainerの使い方と 自然言語処理への応用
Yuya Unno30.4K views
GPU上でのNLP向け深層学習の実装について by Yuya Unno
GPU上でのNLP向け深層学習の実装についてGPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno31.1K views
言語と知識の深層学習@認知科学会サマースクール by Yuya Unno
言語と知識の深層学習@認知科学会サマースクール言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
Yuya Unno26.9K views
企業における自然言語処理技術利用の最先端 by Yuya Unno
企業における自然言語処理技術利用の最先端企業における自然言語処理技術利用の最先端
企業における自然言語処理技術利用の最先端
Yuya Unno15.9K views
「知識」のDeep Learning by Yuya Unno
「知識」のDeep Learning「知識」のDeep Learning
「知識」のDeep Learning
Yuya Unno24.6K views

Recently uploaded

Melek BEN MAHMOUD.pdf by
Melek BEN MAHMOUD.pdfMelek BEN MAHMOUD.pdf
Melek BEN MAHMOUD.pdfMelekBenMahmoud
14 views1 slide
Perth MeetUp November 2023 by
Perth MeetUp November 2023 Perth MeetUp November 2023
Perth MeetUp November 2023 Michael Price
15 views44 slides
Empathic Computing: Delivering the Potential of the Metaverse by
Empathic Computing: Delivering  the Potential of the MetaverseEmpathic Computing: Delivering  the Potential of the Metaverse
Empathic Computing: Delivering the Potential of the MetaverseMark Billinghurst
470 views80 slides
Igniting Next Level Productivity with AI-Infused Data Integration Workflows by
Igniting Next Level Productivity with AI-Infused Data Integration Workflows Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows Safe Software
225 views86 slides
Piloting & Scaling Successfully With Microsoft Viva by
Piloting & Scaling Successfully With Microsoft VivaPiloting & Scaling Successfully With Microsoft Viva
Piloting & Scaling Successfully With Microsoft VivaRichard Harbridge
10 views160 slides
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors by
TouchLog: Finger Micro Gesture Recognition  Using Photo-Reflective SensorsTouchLog: Finger Micro Gesture Recognition  Using Photo-Reflective Sensors
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensorssugiuralab
15 views15 slides

Recently uploaded(20)

Perth MeetUp November 2023 by Michael Price
Perth MeetUp November 2023 Perth MeetUp November 2023
Perth MeetUp November 2023
Michael Price15 views
Empathic Computing: Delivering the Potential of the Metaverse by Mark Billinghurst
Empathic Computing: Delivering  the Potential of the MetaverseEmpathic Computing: Delivering  the Potential of the Metaverse
Empathic Computing: Delivering the Potential of the Metaverse
Mark Billinghurst470 views
Igniting Next Level Productivity with AI-Infused Data Integration Workflows by Safe Software
Igniting Next Level Productivity with AI-Infused Data Integration Workflows Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Safe Software225 views
Piloting & Scaling Successfully With Microsoft Viva by Richard Harbridge
Piloting & Scaling Successfully With Microsoft VivaPiloting & Scaling Successfully With Microsoft Viva
Piloting & Scaling Successfully With Microsoft Viva
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors by sugiuralab
TouchLog: Finger Micro Gesture Recognition  Using Photo-Reflective SensorsTouchLog: Finger Micro Gesture Recognition  Using Photo-Reflective Sensors
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
sugiuralab15 views
Five Things You SHOULD Know About Postman by Postman
Five Things You SHOULD Know About PostmanFive Things You SHOULD Know About Postman
Five Things You SHOULD Know About Postman
Postman27 views
【USB韌體設計課程】精選講義節錄-USB的列舉過程_艾鍗學院 by IttrainingIttraining
【USB韌體設計課程】精選講義節錄-USB的列舉過程_艾鍗學院【USB韌體設計課程】精選講義節錄-USB的列舉過程_艾鍗學院
【USB韌體設計課程】精選講義節錄-USB的列舉過程_艾鍗學院
DALI Basics Course 2023 by Ivory Egg
DALI Basics Course  2023DALI Basics Course  2023
DALI Basics Course 2023
Ivory Egg14 views
From chaos to control: Managing migrations and Microsoft 365 with ShareGate! by sammart93
From chaos to control: Managing migrations and Microsoft 365 with ShareGate!From chaos to control: Managing migrations and Microsoft 365 with ShareGate!
From chaos to control: Managing migrations and Microsoft 365 with ShareGate!
sammart939 views
Web Dev - 1 PPT.pdf by gdsczhcet
Web Dev - 1 PPT.pdfWeb Dev - 1 PPT.pdf
Web Dev - 1 PPT.pdf
gdsczhcet55 views
Attacking IoT Devices from a Web Perspective - Linux Day by Simone Onofri
Attacking IoT Devices from a Web Perspective - Linux Day Attacking IoT Devices from a Web Perspective - Linux Day
Attacking IoT Devices from a Web Perspective - Linux Day
Simone Onofri15 views
STPI OctaNE CoE Brochure.pdf by madhurjyapb
STPI OctaNE CoE Brochure.pdfSTPI OctaNE CoE Brochure.pdf
STPI OctaNE CoE Brochure.pdf
madhurjyapb12 views
Black and White Modern Science Presentation.pptx by maryamkhalid2916
Black and White Modern Science Presentation.pptxBlack and White Modern Science Presentation.pptx
Black and White Modern Science Presentation.pptx
maryamkhalid291614 views

EMNLP2014読み会 "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space"