A research paper introduction of Universal transformers. This slide is used in a study meeting in our laboratory.

1. - 8 . ./ 2 8 . . .
.92 7 81 0 87 2 8 . . .

2. K ; ; / BAB;G 7 IB;G 0 MOK J 9 G ; K 2;D 8K D J ;G SMD;K
3; K J
0 A .J; G 0 A / I G
-J: IJ IJ G , B IK ;JP JA ; K
& ;I J 1G J M G 3 A 3;O; MJ; &

3. • 3 7 3 7 7
• 7 D A D 3 D7 7 7 8 3 3 I 7 9 7 1//
• 7D 7 G7 7 DI D 7 9 3 2 3 D8 7
• 17 D G7 I D7D D7 8 3 7 7 3 D D 7 7
• -D A 3 3 I G7 D3 2 9 A 7 7
( ) 03A7 - 7 9 3 3 3

4. 7 K G 8B G8 EGC G
G8 EGC G
B 8II I E
08M G2EGC
422 2EGC8B N
8 I K
EC I8I E C
18 8 G GG I I
, I2 I
9 9 C BI B 8I K C8 A
0 1
-47
II I E
C 8 C
8I 2EGC
2 G8B - 7
EL
G
EC B I
2 G8B G
18
8 G IGE I E / E /8L8C G8

5. D
0 DAA
1 7
5 A
5 A !
0 DAA
5 A
2 9 A D D
/ A A 5D - 8 - E DA
5 A !
" < ! " < !
.DD

6. - ED 7A
17 E 7 D
27 8 DD7 D
, 67
I I
67D7 7 !
17 E 7 D
DD7 D
7 67
7 7 ED ED 7A
0 7 - D 6E D .7 9 . E
I I
67D7 7 !
" < ! " < !
/EDED7A
- 9 8 7 ! 8 76
6 D 7 9 D D 76 7 "

7. - 1 2 /21 -/ 2 7 0
!"#$ = LayerNorm Dropout 2"
2"
= 3"
+ Transition 3"
3"
= LayerNorm Dropout 9"
9"
= !"
+ MultiHeadSelfAttention !"
+ A"
A" = PosTimeEmbeddings FGH, J

8. • 0 - 0 - 0 8 2 7- -7 18 0
• 09 87 - 7 72 0 07 0 718 - 87
!"#$,&'
(
= sin
-./
10000 ⁄&' 3
+ sin
5
10000 ⁄&' 3
!"#$,&'67
(
= cos
-./
10000 ⁄&' 3
+ cos
5
10000 ⁄&' 3
• 0 0 : 0 0 8 / 07 87 -7/ ; 0 //07 7 0
-90 7 8/ 87 0 28 - - -

9. 2 0 . 0 , 1 . 1 ,
• 9 81 1 8 1 1 2 1 9 1 9 -
• 0 9 8 979 1 / 1
• 1 8 1 9 1 9
!ℎ# =
%#
&#
ℎ# − (# + *#, (# = ,- ℎ# , &# = ,- ℎ# − (#
.
• 1 1 9 1 9
!ℎ# =
%#
&#
ℎ# − (# + *#, (# = ( =
1
0
1
#23
4
ℎ# , &# = & =
1
0
1
#23
4
ℎ# − ( .
1 B 9 97 1 1 B 1

10. • -1 1 1
!"
/19 9191
( 1 ) 2 8 8 1 1 1
× $ 7 1
91
!%, !', … , !", … , !)
*" $%, $', … , $", … , $) +%, +', … , +", … , +)
× , 19
) 2 1 1
-%, -', … , -", … , -)
0 8 7 1 1
."

11. 8 72 1 1 0 / 29 9
! ∈ ℝ$%×'
, ) ∈ ℝ$*×'
+,
∈ ℝ'×'
- = )+,
, / = !, 0 = !
1 = softmax -/9
2 / ∑; 1<; = 1
Output = 10
) 1 0 27 / 29 9
A ∈ ℝ$×'
+,
, +B
, +C
∈ ℝ'×'
- = A+,
, / = A+B
, 0 = A+C
1 = softmax -/9
2 / ∑; 1<; = 1
Output = 10
( -/ 2 9 1 0 9 2 / /8 /

12. 7 2/1 27 / 29 9
! ∈ ℝ$×&
∀1 ≤ * ≤ +, -.
/
, -.
0
, -.
1
∈ ℝ&×
&
2
3.
= !-.
/
, 5.
= !-.
0
, 6.
= !-.
1
7.
= softmax 3.
5.?
- 2 / ∑A 7⋅A
.
= 1
Output = concat 7.
6.
| ∀*
( / 2 9 1 0 9 2 / /8 /
) 1 0 27 / 29 9
! ∈ ℝ$×&
-/
, -0
, -1
∈ ℝ&×&
3 = !-/
, 5 = !-0
, 6 = !-1
7 = softmax 35?
- 2 / ∑A 7.A = 1
Output = 76

13. 2 3-7 032 0/3 8 17
!"#$ = LayerNorm Dropout 2"
2"
= 3"
+ Transition 3"
3" = LayerNorm Dropout 9:
"
9$
"
= !" + MHSelfAtt !" + A"
A"
= PosTimeEmbeddings GHI, K
9:
"
= L" + MHSelfAtt M, N = !OPQ
RST", U = L"
L"
= LayerNorm Dropout 9$
"

14. 1 , 0 1 0 , 2 ,
• A 87 C C 78 C 9 8 8 7 !
• 8 I ,7 A 8 - A 8 ,- ! 78 8 8C
I C 8AC A 8CC8C 8 A 8 200
) 1 A8 7 /8 / (
ℎ"#$
%
ℎ"
%
ℎ"&$
%
ℎ"#$
%&$
ℎ"
%&$
ℎ"&$
%&$
- A 8 '"
4 7 78

15. - A E D8
28 8 E
8 9 5EE8 E
, 78
5 5
78E8 8D !
28 8 E
EE8 E
8 78
85 8 EA E D8
15A8 - E 7 E .8 .5 5 5
5 5
78E8 8D !
" < ! " < !
0EAED8
/ E8 E 5E ! 8 5 D E max
'
!' 5 7
9 !' < ! ℎ'
)
D A A 87 E ℎ'
)*+

16. • / GI P KA 6 M I I GI I G KA 2 I
. 6 80 I / P )9
• 7G I 2 I . 6 KG 6 M I I GI I
• - I I K G A K N KA 2 I I 1 A 8.I M K (9
• 4 2 I . 6 M I 6 M I I GI I
G M I I G K
• A I K G IG 2 I . 6 KG 6 M I I GI I
KK ! = len &'()* NA A GK G A P GI
I GI I
, I / KIG K G 0 G 0 N I )

17. -/ 9 2 1 9 /A/8 /
/ 1 7
-
- 2
A
0

18. ( / /( )
7/8 8 - 2 /21 8
!"
9 0 9/ / -/9 8/ / 8 9 77/
/ 2 7 8 9/ / -/9 8/
8/7/ / - 7 /

19. ) (/
90 7 8/ 487 0428
!
0 7 0 00
8 -0 18 7/
0 /0/ 4 07 487

20. • . ABA 87 8I I8 B8 9A : A9 8 1 9A 8
• 0 8 8 A :
• 08 9 8 A 8 A 7 BA A 8 A7 :
• 7 8I 98 8
• /8 8 A B A I 7 A A 8
• 8 87 0A 8 8 8 : :
• 2 A 8 8 8 A 8 B 8 8 8 I B 8 8 9 A 899 8
B 8 K A
• A 9 7 A 8 A78
•
B : A 8 A 9 AI 8 A 8 A 88 8 8 A 8 A
A78 8 8
. B8 , A7 A -8 :A - I

21. 8G .A 8
. 9 8 -88 1; 7
A3; A8 A; : AG; A9
2 8A / A 7D6 ; 08;9 0 DA

22. .( ) . .( () (
• 8 9 A 0
• 88 A - 82 A 9 0 9 8 2 72
• 12 2 9 0 1 1 2 2 /82
• 2 11 2 2 1 2
2 1 0 2 A 9

23. ( ) 1 9 3 2 9 1 18 1
ℎ"#$
$
ℎ"
$
ℎ"%$
$
ℎ"#$
&
ℎ"
&
ℎ"%$
&
8 1 917 8
0 3 93 /-- 8
'"#$
'"
= ℎ"
) '"%$

24. -/ 9 2 1 9 / /8 /
/9 9 7/
ℎ"
#$%
&"
8 80 22 9
7/
7/
/7 /
7/
ℎ"
#
'"
#
("
#
)"
#
< 1 − -
)"
#
= )"
#$%
+ ("
#
1 9 9
0
'"
)"
ℎ"
4 1 = 1ℎ"$%

25. • / B > 87 7 > 5 7B 7 7 ! = 1
• 75 B7 ! = 1 > ! ≠ 1 7 B 9> 8 5 > 887 7>
%&
'
= %& + )&,+
• 2 8 7 7>5? 7 7 7 >8? ?> > ? %&
'
• 1> 7 B 0 >B8? 7 B 5 ?
! ! 7 > ? 5 ?> -7 9? -

26. • 6 ID I G6 D
• 6 7 6D9C G D C 9 6D9C / 2
• A I D A I 6 G9 D 6D 200
• 779CC9C D 6 D9 9 I 0 /
• 0 D9 D 6D D C 6I9 C 9 D 9 I C 6 98 9 D 9 7 A D6D 6
D 9 97 C
16A9 D 8 7D -9 -6G6 6

27. • 8 1 2 A 82 8 0 9 2 9
• - 0 2 2 29 A 8 0 / 7 2 0 8 9 7
!"
#
= % &'ℎ"
#
+ *'
• 2 +"
#
= ∑# !"
#
> 1 − 0 29
!"
#
= 1 − 1
#
!"
#
9 12 29 2 !"
⋅
/2 9 / / 7 1 / 9
• 91 3 129 21 / 4"
, 2 9 1 0 9 2 A 8

28. !" ℎ"
• , 0 $"
%
0 12 0/ - 09-10
• - 0
ℎ" = '
%
()
$"
%
ℎ"
%
, !" = '
%
()
$"
%
!"
%
-809 97/ 7 0 17 - - 9-

29. 2 8 91 0 98 2 9 7
- 8 98 2
ℎ"
#$%
&"
- 72 27/211 8
2
2
2
2
ℎ"
#
'"
#
("
#
)"
#
< 1 − -
)"
#
= )"
#$%
+ ("
#
098 8 2
2 0
'"
)"
ℎ"
9 1 = 1ℎ"$%

30. , , , , ,
• ,1 -8 9 7 8 7 1
!" = min ! ∶ (
)*+
,
-"
)
> 1 − 1
/ 9 9 89 0 221 18 - 1 - -71 1
• 8 1-0 7 8 7 1 1 1 9 80 29 !"
2" = !" + 1 − (
)*+
,4+
-"
)
/ 0 221 18 - 1 - 79 1 1 1 1
- 1 8 90 / 98 1 39 - -7 -

31. • 8 7 83
!" = $" + 1 − (
)*+
,-+
."
)
• 1 8 7 7 83
(
)*+
,-+
."
)
• -9 00 98 9 2 8/ 98 / 13 98 1 7
1 18 83 2 97 83 9 92 /97 98 71
, 1 8 90 / 98 1 39 7

32. 2 9> 1 0> 9 2 8
/2>>2
27 9221
- 2 > 9 3 > 2 !" 7 120 2 2
#" 90 2 2

33. ) C D 2AFD 9 8F> A 3 > 3 H D ((
0 >D I > > D H A9 H -. 7 F
1F F
, > !"
2/ A 7 D
A9 AF I
ACD 9>8F 7
, H !"

34. • 0 BCB 98 ,2
• A B BI 1// B 9 A BI A 9C B 9
• -A B 9 B ,2 C9 B 89
• -A 7 9A A 4 C98 7 7 9 C 98 7 BA ,2
B B C9 B 9 9 A9
• 9 !" 99 B 9 9 BA 9 B A
• 2 9 3A 9 2 A B 9 9 B
• /B 9 !" < max
'
!' 9A I9 9 98 9 1// 7
0 C9 -A B8 7 BA 9 B I

35. ) ( )
• 0 7 1? 7 3 0 3? 8 7 77 3
• 8 !" ≪ max
'
!' ? 3? 8 ( 7 887 7? 3 75 35 393 7
7 7 9 7 3 5 ??75 ?
• 2 3 8 53? 3 78 7 7 8 3? ?
• 2 /- 7 3 3 5 ? 7
• ? 3 35 53 7
• 73 5 3 ?3 7 57 3 ?
• 0 3 5 75 7 3 7 7 max
'
!' × max
'
* 3 3 ?7 7 7
3 7 ? 5 ? ,7 9 ,3 3 3

36. ) ) ( )
• MXITUEO TE UJRTPITU
• 9RUVEJE 1ILKLE M VISLE 3RWYU TMRO AM EOU 6ENR U NRTIMV WNEU 7EMUIT .TCMX STISTM V ETCMX- ,
• LVVSU- ET MX RTK E U ,
• .VVI VMR 5U .OO DRW :IIH
• .ULMUL AEUYE M :REP LE IIT :MNM ETPET 6ENR U NRTIMV 8OMR 6R IU .MHE : 3RPI 8WNEU 7EMUIT 5OOME RORUWNLM :5
• LVVSU- SESITU MSU GG SESIT EVVI VMR MU EOO RW IIH
• 8E IT :RTPEOM EVMR
• 6MPP 8IM /E 6EPMI E 7MTRU 3IRJJTI 2 4M VR .TCMX STISTM V ETCMX-
• LVVSU- ET MX RTK E U
• .HESVMXI 0RPSWVEVMR MPI JRT IGWTTI V :IWTEO :IVYRTNU
• .OI 3TEXIU .T MX STISTM V ETCMX- ,
• LVVSU- ET MX RTK E U ,
• TEGNM K VLI BRTOH VEVI YMVL IGWTTI V 2 VMV :IVYRTNU
• 9MNEIO 4I EJJ 6EUR BIUVR .TVLWT OEP . VRM I /RTHIU DE 8I0W 508
• LVVSU- ET MX RTK E U , ,
• :IWTEO 3 U 8IET .OKRTMVLPU
• WNEU 7EMUIT E H 5O E WVUNIXIT 508
• LVVSU- ET MX RTK E U
• :IWTEO WTM K 9EGLM IU
• .OI 3TEXIU 3TIK BE I 5XR 1E MLIONE .T MX STISTM V ETCMX-
• LVVSU- ET MX RTK E U
, ESIT 5 VTRHWGVMR 7IMKR 7EYEPWTE