Slides for SIGNATE Student Cup 2020 (https://signate.jp/competitions/281) 2nd (?) solution.
For more details in GitHub: https://github.com/OctopCat/StudentCup2020
Slides for SIGNATE Student Cup 2020 (https://signate.jp/competitions/281) 2nd (?) solution.
For more details in GitHub: https://github.com/OctopCat/StudentCup2020
BERT を中心に解説した資料です.BERT に比べると,XLNet と RoBERTa の内容は詳細に追ってないです.
あと,自作の図は上から下ですが,引っ張ってきた図は下から上になっているので注意してください.
もし間違い等あったら修正するので,言ってください.
(特に,RoBERTa の英語を読み間違えがちょっと怖いです.言い訳すいません.)
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
XLNet: Generalized Autoregressive Pretraining for Language Understanding
RoBERTa: A Robustly Optimized BERT Pretraining Approach
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...禎晃 山崎
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multiple Languages
Word Sense Disambiguation, BERT, clustering
ということで読みました.
p. 7 は「solid は glass の上位語,glassware は glass の下位語」でした。。。
BERT を中心に解説した資料です.BERT に比べると,XLNet と RoBERTa の内容は詳細に追ってないです.
あと,自作の図は上から下ですが,引っ張ってきた図は下から上になっているので注意してください.
もし間違い等あったら修正するので,言ってください.
(特に,RoBERTa の英語を読み間違えがちょっと怖いです.言い訳すいません.)
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
XLNet: Generalized Autoregressive Pretraining for Language Understanding
RoBERTa: A Robustly Optimized BERT Pretraining Approach
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multipl...禎晃 山崎
CluBERT: A Cluster-Based Approach for Learning Sense Distributions in Multiple Languages
Word Sense Disambiguation, BERT, clustering
ということで読みました.
p. 7 は「solid は glass の上位語,glassware は glass の下位語」でした。。。
Entity linking meets Word Sense Disambiguation: a unified approach(TACL 2014)の紹介Koji Matsuda
My presentation of the paper that "Entity Linking meets Word Sense Disambiguation: a Unified Approach" (TACL 2014), Andrea Moro, Alessandro Raganato, Roberto Navigli (University of Roma)
Align, Disambiguate and Walk : A Unified Approach forMeasuring Semantic Simil...Koji Matsuda
The document presents a unified approach for measuring semantic similarity between texts at multiple levels (sense, word, text) using semantic signatures. It generates semantic signatures through multi-seeded random walks over the WordNet graph. It then aligns and disambiguates words and senses to extract sense "seeds" for the signatures. Finally, it calculates signature similarity using measures like cosine similarity, weighted overlap, and top-k Jaccard. The approach provides a unified framework for semantic similarity that can be applied to various NLP tasks.
Joint Modeling of a Matrix with Associated Text via Latent Binary Features
1. Joint
Modeling
of
a
Matrix
with
Associated
Text
via
Latent
Binary
Features
XianXing
Zhang
and
Lawrence
Carin
NIPS
2012
すずかけ論文読み会#5
2013/08/03
紹介者
:
matsuda
13/08/03
1
6. Indian
Buffet
Process(IBP)
• 無限隠れ素性モデルのPrior
– [Griffiths
and
Ghahramani,
2005]
• Chinese
Restaurant
Processは無限隠れクラスのPrior
構成法
– 要するに・・・
• Binary
Matrixに対するPrior
• Beta-‐Bernoulli過程の行列に対する拡張(自信なし)
13/08/03
6
7. Indian
Buffet
ProcessとCRP
• Chinese
Restaurant
Process
• Indian
Buffet
Process
テーブルは「クラス」
お皿は「素性」
from
hep://mlg.eng.cam.ac.uk/zoubin/talks/turin09.pdf
(IBPとその応用についていろいろ書いてあるスライド,おすすめ)
13/08/03
7
10. Binary
Matrix
FactorizaRon
• X
∈
RP×N
な行列Xの分解
X
=
LHRT
– L
∈
{0,1}P×KL,
H
∈
RKL×KR,
R
∈
{0,1}N×KR
– KL,
KR
:
行列のランク(無限大のこともある)
X
H
L
R
N(人数)
P(
数
)
KL
P
KR
N
=
L,
R はIBPでモデル(KL,
KRは可変)
このへん
13/08/03
10
19. 13/08/03
19
αr
αl
αc
γ
η
y
:
xを0/1に離散化
x
:
probit(s,u,l,v,r)
IBP
IBP
MGP
Dir
gamma
θ
Dir(λ
●
r)
Mult
Mult
Focused
Topic
Model
Binary
Matrix
FactorizaRon
with
low
rank
assumpRon
Mult
行列モデルとトピックモデ
ルでシェアされる変数
行列分解モデル
トピックモデル
ドキュメント数
ユーザー数