2020/04/24 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Revealing the Dark Secrets of BERT
(EMNLP-IJCNLP, 2019)
Kazuki Fujikawa

2. •
– O DHB MC - KE 9 K ML IA . :
• ,IHA K H .45 01,5
• NMCIKL B 2IO O R I HIO HH IB KL HH N LCDLER
• CMMJL PPP P IKB HMCI IBR -
•
– . :fL A MM HMDIHe k m S f m
• 9 A MM HMDIHf/ ao rTw lk g k
• / a e k h U ex Tt l k m
– x Tt a l d b kbS
• KNHDHBi dsynTpv u dce a k

3. •
•
•
•

4. •
•
•
•

5. • / 17 50 fm o s
– -0 1 / 0 7 g i RS E T
– / 17 50 TL Se a -7
• SN t T LP sS S
– fln S R L “ yT
– r g i s A 7 72 B LP
Devlin+, NAACL-HLT 2019

6. •
•
•
•

7. • e b P R] [ [ 72 T C
BC inI 9 ] [ d
– m LA R u N m EPA go
C BC r 0 + 1
– u P 9 ] [ d R v y
LA RC in 0+ , + 1
Tenney+, ICLR2019
Liu+, NAACL2019

8. • 09 8 P r [SPuc
61 +, /
– 09 8 i 02 0 P] r yxTS
M m Pef
• 02P r N n I
• lc 02Pr TS d s TS a N o h

9. •
•
•
•

10. • - 2 3 0 2 6: TE R B
– 2 3 0 2 6: SFA
• i 2 6: R
– 2 3 0 2 6: o FA
• i o d 5201 ne g
• i 2 6: ahd
• i : 2 0 2 6:
– 6 2 6 4 k
• i 6 2 6 4 0 2 6: f
• i 2 6: gl

11. • :1 2 1 5 S i
– A :1 -
•
– -1 2 1 5 h kA B
• T h 41 g a
• T 1 5 F F R
• T 61 1 5
– 5 1 5 3E df
• T 5 1 5 3 E 1 5
• T 1 5 ae

12. • l +- 1 : k SB ]DrE H
s
– 21 [ ]D / L 1 : H ]
– 1 : 1 [ ]Dug uf [ ] 1 : H ]
– 21 1 : 1 t 21 1 : 1 D e aH SB ]
– :2 c H o C i [ ] 1 : H ]
– : : t V Rn T ]

13. •
– ( 8 : P )cre rpsa m H u
– 8 : a )cre Q 11a
– ( H P a ec 8 : N M
•
– 042 nrotH V332 N
.8 8 8 : C 58 : ec N
• v M RN R ec Nw
• H gil NK M M
V
– H 042 ) / 332 ( / Q M P

14. • 4:
– 1:

15. • -E 4 5 65 : TEe E f
– 4 5 65Fa A E
• 5 65 f
– -- - : 2
• :
• 5 65 ES
• -63 5RE 5 65
– 5 5 51BE F
• 5 5 51 BE 5 65
• 5 65

16. • i m
– * 4 RT d tnN 1 /
• * 4 n F n d ET
– Nr 1 / 3 : 1 / F N* 4 ae
26 4 7 d Ntnn * 4 F
•
– N1 / * 4 N d hlNtn
– p * 4 N oF 1 / n F
yB 26 F

17. • -E 51 6 76 A: REf E
– 51 6 76 B E
• Sa 6 76
– 51 6 76 e h B E
• Sa e T2 Ed
• Sa 6 76 E
• Sa -74 6 E 6 76
– - :
• 3 -
• Sa 6 76 T

18. -
• do
– 1 - C GR- 2 2 1 2 8 2 aL U g
• 2 8 2 aL P1 - C EriGRP
• LriPw t C RP
• n
– yEM - 2 C EriF RPQ a -
• hu Pn Ll M MP Me F

19. • :1 2 1 59 F h i A
– -1 2 1 59 B
• a 1 59 i
– 4 -
• a g i 1 f
• A :
• a 961 T 1 59
– 5 1 5 3E e
• a 5 1 5 3SRE 1 59
• a 1 59 d

20. • n
– ,2 L, r Lh r ]C [ ,
S o
• h r d c e a r
• t0 , h r , V S i
• l
– ,2 , L
• E : : P

21. • -F 1 6 4 6E A TF F l
– 1 6 4 6 e B F
• d 6 4 6 l
– -- - : 5
• d l 3 Fi
• d 6 4 6 FS
• -- -
– 46 :6462 Ffh
• d 46 :6462R F 6 4 6a
• d 6 4 6 g

22. • i
– n T Q C ] R D
– eP 2 3 E : Q ] P u
• ] [ FQP QMR D
•
– n No QR :
• Pg L QN E
– - - , 2 3 E S QR 2 -3 l
• Q ] [M P QR M 2 -3 N I C t a M L C

23. 6
• - 1 :: :4 R k l
– 1 :: :4 h B
• g :: :4 l
– 1 :: :4 A B
• g l 3 i ae
• g :: :4 F f F
• g - 5 :: :4
– - :
• g 4 : 4 2TSE :: :4 d
•

24. • o t
– F P 4 - n PT:
P o
• 1 B B P
– i e B u R 24 - P
• 1 - o
•
– P E P a g h E E
• E T: P r
– d P
• r w E h

25. • - d R
– - 4 54 i t oE i
– R2 -/ Te g G U F
• bh B R s a i
n
– Rbh u F 2 -/ G R T
– R 4 4 41 L U R

26. •
•
•
•

27. • - /2 l
– P 7
• H gB t
• H u s io B
– io tH 7 E
• / R a e dn H
– - /2 i
• f i 7 r : H
H i T

28. • -B HFJ K? BO H" BMO 9MB OM FJFJD KC ABBL ?FAFMB OFKJ H OM JNCKMIBMN CKM H JDP DB
PJABMNO JAFJD" 2J , "
• K HB 8HD BO H" :B B HFJD OEB A MG NB MBON KC ?BMO" 2J . 9 2 , 9 "
• BJJBT 2 J BO H" E O AK TKP HB MJ CMKI KJOBSO LMK?FJD CKM NBJOBJ B NOMP OPMB FJ
KJOBSOP HF BA RKMA MBLMBNBJO OFKJN" 2J 2, : "
• FP BHNKJ " BO H" FJDPFNOF GJKRHBADB JA OM JNCBM ?FHFOT KC KJOBSOP H MBLMBNBJO OFKJN" 2J
, "
• F EBH 9 PH 8IBM B T JA 0M E I BP?FD" MB FSOBBJ 1B AN :B HHT BOOBM OE J 8JB " 2J
BPM29 "