Computational Information Geometry for Machine Learning

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
ÓÖ Å Ò Ä ÖÒ Ò
Ö Ò Æ Ð× Ò
ÓÐ ÈÓÐÝØ Ò ÕÙ
ËÓÒÝ ÓÑÔÙØ Ö Ë Ò Ä ÓÖ ØÓÖ ×¸ ÁÒ
¹Ñ Ð Ö Ò ºÆ Ð× Ò ÑºÓÖ
ÅÄËË ¾¼½
¾¼½ Ö Ò Æ Ð× Ò ½»½

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ ÖÓÙÒ
ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ Ö Ð × × ÑÐ ××ÐÝ ÓÒ
×Ø Ø ×Ø × Ò ÔÖÓ Ð ØÝ ´ËÌ Ì ² ÈÊµ¸
Ò ÓÖÑ Ø ÓÒ Ø ÓÖÝ ´ÁÌµ¸
Ö ÒØ Ð ÓÑ ØÖÝ ´ ¸ Ò ÐÙ Ò ÑÙÐØ Ð Ò Ö Ð Ö Ó Ø Ò×ÓÖ×µ¸
ÓÑÔÙØ Ø ÓÒ
×¸ Û Ö ÓÑÔÙØ Ö × ÒØ ×Ø× Ò ÔÖÓ Ö ÑÑ Ö× ÀÓÛ Ó Û ÓÑÔÙØ
Ö Ò ÐÝ ´Ñ Û ² Û × Ù× Ó Ù Ð Ø ×ºººµ
Å ÒÝ ÔÔÐ Ø ÓÒ Ð × ÓÑÔÙØ Ø ÓÒ Ð ×Ø Ø ×Ø ×¸ Ñ Ò Ð ÖÒ Ò ´ÅÄµ¸
Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð× ´ÁÊ×µ¸ ÓÑÔÙØ Ö Ú × ÓÒ ´ Îµ¸ Ñ Ð Ñ Ò ¸ Ö Ö
× Ò Ð ÔÖÓ ×× Ò ¸ Ø º
→ Å Ø Ó Ó Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ¾ ´¾¼¼¼µ¸ ÔÖÓÒ Ö Ñ ÛÓÖ
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ¾»½

¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ¿»½

ÅÓØÚ ØÓÒ×Ë ØØÒ Ó Ð×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ »½

ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ Å Ò Ó Ð×
½º ÙÒ Ö×Ø Ò ×Ø Ò × Ò ÖÓÙÔ Ø Ñ Ü ÓÑ Ø ÐÐÝ ÒØÓ Ð ×× × Ò
Ù Ð Ò Ö Ñ Ø ¹ Ð ÓÖ Ø Ñ× ´ÙÒ Ý Ò ÓÖÑ Ö Ð ÓÖ Ø Ñ×µ
Ö Ñ Ò Ú Ö Ò × BF ¸ × ×Þ Ö f ¹ Ú Ö Ò × If ¸ ÔÖÓÔ Ö × ÓÖ Ò ÖÙÐ ×¸
Ø º
→ × ÓÖ ÔÖÓÔ ÖØ × Û Ø Ü Ù×Ø Ú ØÝ ¸
¾º ÙÒ Ö×Ø Ò Ö Ð Ø ÓÒ× Ô× ØÛ Ò ×Ø Ò × Ò ÓÑ ØÖ ×¸
¿º ÙÒ Ö×Ø Ò Ò Ö Ð Þ ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ ×¸ Ñ Ü ÑÙÑ ÒØÖÓÔÝ
ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×¸ Ò Ø Ö Ò Ù ÓÑ ØÖ × ´ ÝÓÒ
Ë ÒÒÓÒ» ÓÐØÞÑ ÒÒ» ×µº
º ÔÖÓÚ ´ ÓÓÖ Ò Ø ¹ Ö µ ÒØÖ Ò× ÓÑÔÙØ Ò Ù× Ò Ø
Ð Ò Ù » ÓÖ Ò × Ó ÓÑ ØÖÝ ´ ÓÖ ÓÑÔÙØ Ø ÓÒ Ð ×Ø Ø ×Ø ×¸ Ñ Ò
Ð ÖÒ Ò Ò ÔÖ Ø Ú Ò ÐÝØ ×µ

Ó Ð ½º ×× Ñ Ð Ö Ø × ´ ×Ø Ò ×µ Ò Ñ Ø ¹ Ð ÓÖ Ø Ñ×
ÙÒ Ý Ð ÓÖ Ø Ñ× ÒØÓ Ñ Ø ¹ Ð ÓÖ Ø Ñ× ÛÓÖ Ò ÓÒ Ð ×× × Ó ×Ø Ò ×
´Ñ ØÖ ×¸ Ú Ö Ò ×µ
Ô Ö Ñ Ø Ö ×Ø Ñ Ø ÓÒ ´Û Ø ÓÓ Ò ××¹Ó ¹ Øµ¸
ÒØ Ö¹ × ÐÙ×Ø Ö Ò ´Û Ø Ö Ñ Ò ×Ø Ò ×µ¸
Ð ÖÒ Ò ´ ÓÓ×Ø Ò Û Ø ×ÙÖÖÓ Ø ÐÓ×× ÙÒ Ø ÓÒ×µ¸
ÓÖ ×Ø Ò ´Û Ø ÔÖÓÔ Ö × ÓÖ ÙÒ Ø ÓÒ×µ¸
Ø º
ÔÖÓÔÓ× Ò Û ÔÖ Ò ÔÐ Ð ×× × Ó ×Ø Ò ×
ØÓØ Ð Ö Ñ Ò Ú Ö Ò × ½ ¸ ØÓØ Ð Â Ò× Ò Ú Ö Ò × ½ ¸ ÓÒ ÓÖÑ Ð
Ú Ö Ò × ¸ Ø º
ÙÒ Ö×Ø Ò Ü ÓÑ Ø ÐÐÝ ÔÖÓÔ ÖØ × Ò Ö Ð Ø ÓÒ× Ô× ØÛ Ò ×Ø Ò ×
´ÓÖ ÑÙÐØ ¹ ÒØ ØÝ Ú Ö× ØÝ Ò Ü ×µ Ò × Ö ÓÖ Ø Ö
Ü Ù×Ø Ú Ö Ø Ö Þ Ø ÓÒ×º

ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ö Ò Æ Ð× Ò¹ ×Ø Ò ×¹ ×ºÔ

Ó Ð ¾º ×Ø Ò × Ò ÓÑ ØÖ ×
ÆÓØ ½¹ØÓ¹½ ´ Ù× × Ñ ÓÑ ØÖÝ Ò Ö Ð Þ ÓÖ Ö ÒØ ×Ø Ò ×µº
ÓÑ ØÖÝ Ñ Ø ¹ÑÓ Ð
Ñ Ò ´ ×ÓÑ ØÖ ÐÐÝµ ÓÑ ØÖÝ ÒØÓ ÒÓØ Ö ÓÑ ØÖÝ ÑÓ Ð
ÒØ ÖÔÖ Ø ÒØÓ ÒÓØ Ö Ð Ö Ö ÑÓ Ðº
ÍÒ ÖÐÝ Ò ÓÑ ØÖ × Ó ×Ø Ò ×» Ú Ö Ò ×
Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Û Ø Ñ ØÖ ×Ø Ò × ´Û Ø Ø Ñ ØÖ Ä Ú ¹ Ú Ø
ÓÒÒ Ø ÓÒµ¸
Ù ÐÐÝ ÓÙÔÐ Ò Ö ÒØ Ð ÓÑ ØÖÝ ´±α¹ ÓÑ ØÖÝµ Ò ÒÓÒ¹Ñ ØÖ
×Ø Ò × ´ º Ú Ö Ò ×µ¸
ÑÓÒÓØÓÒ Ñ Ò × ÒØÓ (ρ, τ)¹×ØÖÙ ØÙÖ ´ ÜØ Ò Ò lα¹ Ñ Ò µ¸
Ø º
ÓÑ ØÖ × Ó ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×»ÔÓ× Ø Ú Ñ ×ÙÖ × Ò ×Ø Ò ×
ÀÓÛ ØÓ Ò ×Ø Ø ×Ø Ð Ñ Ò ÓÐ ×

Ó Ð ¿º ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ ×¸ Ö Ð Ø Ú ÒØÖÓÔ × Ò
Å Ü ÒØ ×ØÖ ÙØ ÓÒ×
ÒØÖÓÔ × H(P) ´Ë ÒÒÓÒ¹ ÓÐØÞÑ ÒÒ¹ ×µ¸ ÖÓ××¹ ÒØÖÓÔ × H×(P : Q)
Ò Ö Ð Ø Ú ÒØÖÓÔ × ÃÄº ÃÄ(P : Q) = H×(P : Q) − H(P) Û Ø
H(P) = H×(P : P)º
Ò Ö Ð Þ ÒØÖÓÔ × ´×Ó ÐÐ ÓÖÑ ÐÓ Ö Ø Ñ× µ¸ Ø ÓÒ ÔØ Ó
× ÓÖØ ×ØÖ ÙØ ÓÒ×¸
Ñ Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ Ò ÕÙ Ð Ö ÙÑ ×ØÖ ÙØ ÓÒ×
´ ÓÐØÞÑ ÒÒ¹ ×¸ Ì× ÐÐ ×³× ÚÝ Ø Ð ×ØÖ ÙØ ÓÒ×¸ Ø ºµ
ÒØÖÓÔ ×¸ Ò ÓÖÑ Ø ÓÒ ´ Ò ¹ ÒØÖÓÔÝµ Ò ÓÑÔÐ Ü ØÝ ´ÃÓÐÑÓ ÓÖÓÚ¸
ÒÓÒ¹ ÓÑÔÙØ Ð ØÝµ

Ó Ð º ÓÑ ØÖ ÓÑÔÙØ Ò ÓÖ ÒØÖ Ò× ÓÑÔÙØ Ò
ÈÖÓÔÓ× Ô Ö Ñ ÓÖ Ø × Ò ÖÓÑ ØÙÑ ´ × µ
ÔÖÓ ×× Ò ØÓ ÓÑ ØÖ ÔÓ ÒØÙÑ ´ÒÓÒ¹ × µ ÓÓÖ Ò Ø ¹ Ö
ÓÑÔÙØ Ò
Ø ÙÒ × ÔÖÓ ×× Ò ÓÓÖ Ò Ø ¹ Ö ¸
Ù× ÓÖ Ò × Ó Ø ÓÑ ØÖ Ð Ò Ù ÓÖ Ù Ð Ò » ÜÔÐ Ò Ò
Ð ÓÖ Ø Ñ×
ÔÓ ÒØ×¸ Ó × ×¸ ÐÐ×¸ ÓÖØ Ó ÓÒ Ð ØÝ¸ ÔÖÓ Ø ÓÒ¸ ÈÝØ ÓÖ ×¸ Ø¸
×Ù Ñ Ò ÓÐ ¸ Ø º
Ò ÐÝØ Ò ×ÝÒØ Ø ÓÑ ØÖ × ´ ÐÓ× ¹ ÓÖÑ ÓÖ
Ü Ø ÓÑ ØÖ Ö Ø Ö Þ Ø ÓÒµº
Ü ÑÔÐ ÌÛÓ Ô× Ù Ó¹× Ñ ÒØ× ÐÛ Ý× ÒØ Ö× Ø Ò ÓÑÑÓÒ ÔÓ ÒØººº
Ø Ø Ñ Ý ÒÓØ Ò ÐÓ× ¹ ÓÖÑº
ÒÚ Ö Ò ´ Ò ×Ø Ø ×Ø Ð ÒÚ Ö Ò µ Ò ÓÑ ØÖÝ
ÖÓÙÔ Ó ÒÚ Ö Ò ¸ ÒÚ Ö Ò Ò ×Ù Ò Ý¸ ×Ø Ø ×Ø Ð ÒÚ Ö Ò ¸ Ø º
ÓÑ ØÖ Þ Ò ÔÖÓ Ð ØÝ ×Ô × Ý Ð × ×Ø Ø ×Ø Ð Ñ Ò ÓÐ ×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½¼»½

È ÖØ Á ÓÑ ØÖÝ Ó×Ø Ø×Ø Ð Ñ Ò ÓÐ ×
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½½»½

ÇÙØÐ Ò Ó È ÖØ Á
½º × Ö Ò ÓÖÑ Ø ÓÒ ´ Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ µ ² ×Ù Ò Ý ´½ ¾¾µ
¾º ËØÖÙ ØÙÖ × ÖÓÑ Ö ÒØ Ð ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô × ´ÀÓØ ÐÐ Ò ¸
½ ¿¼¸ Ê Ó¸ ½ ¸ Ñ Ö ¹ ÒØ×ÓÚ ½ ¼³×µ
¿º Å Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ ´ ÜÔÓÒ ÒØ Ð Ñ Ð ×µ ´½ ¸ Â ÝÒ ×µ
º ÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ× ´ Ò ÈÝØ ÓÖ ×³ Ø ÓÖ Ñµ
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ½¾»½

Áº ËØ Ø×Ø Ð ÁÒ ÓÖÑ ØÓÒ
× Ö ÁÒ ÓÖÑ ØÓÒI(θ)
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ ½¿»½

ÇÐ Ý× ¹ µ × Ö Ø Ò ÓÒØ ÒÙÓÙ× Ö Ò ÓÑ Ú Ö Ð ×
× Ö Ø ÊÎ ÔÖÓ Ð ØÝ Ñ ×× ÙÒ Ø ÓÒ ´ÔÑ µ X ∼ p¸ × Ö Ø ×ÙÔÔÓÖØ
Xº
E[X] =
x∈X
p(x)x = X
×ØÖ ÙØ ÓÒ× ÖÒÓÙÐÐ ¸ ÒÓÑ Ð¸ ÑÙÐØ ÒÓÑ Ð¸ ÈÓ ××ÓÒ¸ Ø º¹∞¸
ÓÒØ ÒÙÓÙ× ÊÎ ÔÖÓ Ð ØÝ Ò× ØÝ ÙÒ Ø ÓÒ ´Ô µ X ∼ p¸ ÓÒØ ÒÙÓÙ×
×ÙÔÔÓÖØ Xº
E[X] =
x∈X
p(x)x x = X
×ØÖ ÙØ ÓÒ× ÜÔÓÒ ÒØ Ð¸ ÒÓÖÑ Ð¸ ÐÓ ÒÓÖÑ Ð¸ ÑÑ ¸ Ø ¸ Ö Ð Ø¸
Ï × ÖØ¸ Ø º¹∞¸
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½

ÖÓÑ Ø × Ø× ØÓ ÑÔ Ö Ð ´ × Ö Ø µ ×ØÖ ÙØ ÓÒ×
Ú Ò X = {x½, ..., xn} Ó × ÖÚ Ø ÓÒ×ººº
ººº Ù Ð Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ
pe(X) =
½
n
n
i=½
δ(X − X(i))
Fe(x) =
½
n
n
i=½
½[xi ≤x] ´ µ
pi
e =
½
n
#{x = i} ´ Ö ÕÙ Ò Ýµ
ËÙÔÔÓÖØ X × ÙÒ ÒÓÛÒ ÔÖ ÓÖ ÒÓØ ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ ÒÓÖ Ò Ø
Ñ ÜØÙÖ
Ë ÑÔÐ Ñ Ò ¯μ = ½
n i xi = X pe = i∈??? pi
eiº
×Ø Ñ Ø ÓÒ X ∼ D(θ) Ý Ø Ñ Ø Ó Ó ÑÓÑ ÒØ×
X pe = E[X] = X

ÇÐ Ý× × Ö Ø Ò ÓÒØ ÒÙÓÙ× Ö Ò ÓÑ Ú Ö Ð ×
× Ö Ø ÊÎº Ë ÒÒÓÒ ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
≥ ¼
ÐÛ Ý× ÔÓ× Ø Ú ´ÒÓØ ÓÒ Ó ÙÒ ÖØ ÒØÝ Ñ Ü ÙÒ ÖØ ÒØÝ ÓÖ ÙÒ ÓÖÑ
×ØÖ ÙØ ÓÒ H(U) = ÐÓ nµ
ÓÒØ ÒÙÓÙ× ÊÎº Ö ÒØ Ð ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
x
Ò Ò Ø Ú ´Ô Ý× Ð ÒØ ÖÔÖ Ø Ø ÓÒ µ ººº
ÓÖ Ü ÑÔÐ ¸ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð× ´ÅÎÆ×µ N(μ, Σ)
H(X) =
½
¾
ÐÓ (¾πe)d
|Σ|

Å ÜØÙÖ × ÑÔÐ Ò Ü ÑÔÐ Ó Ù×× Ò Å ÜØÙÖ ÅÓ Ð
´ ÅÅµ
ÌÓ × ÑÔÐ Ú Ö Ø x ÖÓÑ ÅÅ
ÓÓ× ÓÑÔÓÒ ÒØ l ÓÖ Ò ØÓ Ø Û Ø ×ØÖ ÙØ ÓÒ w½, ..., wk ¸
Ö Û Ú Ö Ø x ÓÖ Ò ØÓ N(μl , Σl )º
→ Ë ÑÔÐ Ò × ÓÙ ÐÝ ×ØÓ ×Ø ÔÖÓ ××
Ø ÖÓÛ × Û Ø k × ØÓ ÓÓ× Ø ÓÑÔÓÒ ÒØ
l ∼ ÅÙÐØ ÒÓÑ Ð(w½, ..., wk )
´ÅÙÐØ ÒÓÑ Ð × ÒÓÖÑ Ð Þ ×ØÓ Ö Ñ Û Ø ÓÙØ ÚÓ Ò×µ
Ø Ò Ö Û Ø Ö Ò ÓÑ Ú Ö Ø x ÖÓÑ Ø l¹Ø ÓÑÔÓÒ ÒØ
x ∼ ÆÓÖÑ Ð(μl , Σl )
x = μ + Cz Û Ø ÓÐ × Ý Σ = CCT Ò z = [z½ ... zd ]T ×Ø Ò Ö
ÒÓÖÑ Ð Ö Ò ÓÑ Ú Ö Ø zi = −¾ÐÓ U½ Ó×(¾πU¾)
º

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × × Ö Ø ¸ ÓÒØ ÒÙÓÙ× ÓÖ Ñ Ü
Ò Ø Ñ ÜØÙÖ ÑÓ Ð× ´k ∈ Nµ Ú ÔÑ »Ô
m(x) =
k
i=½
wi pi (x)
´ÒÓØ ×ÙÑ Ó ÊÎ×¸ M = i wi Xi Ø Ø Ú ÓÒÚÓÐÙØ ÓÒ Ð Ò× Ø ×µ
Ñ ÜØÙÖ × Ó Ù×× Ò× ´ÙÒ Ú Ö× Ð Ö ÔÖ × ÒØ Ø ÓÒ ÓÖ ×ÑÓÓØ Ò× Ø ×µ
ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ × Ñ ÜØÙÖ
´ Ò Ð×Ó Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝºººµ
Ï Ø ÓÙØ Ø Ñ ÜØÙÖ Ó ×Ø Ò Ö Ù×× Ò Û Ø ÒÓÑ Ð
×ØÖ ÙØ ÓÒ → Æ Ø Ö × Ö Ø ÒÓÖ ÓÒØ ÒÙÓÙ×

Å ×ÙÖ Ø ÓÖÝ ´ Ü ÓÑ ×Ý×Ø Ñ Ó ÃÓÐÑÓ ÓÖÓÚ¸ ½ ¿¿µ
ÙÒ Ý × Ö Ø Ò ÓÒØ ÒÙÓÙ× ÊÎ× × ÔÖÓ Ð ØÝ Ñ ×ÙÖ × ´ÔÑµ μ, ν¸ Ø º
Ò Ò Ð ÊÎ× Ø Ø Ö Ò Ø Ö ÓÒØ ÒÙÓÙ× ÒÓÖ × Ö Ø ´ º¸ Ñ ÜØÙÖ
Ó ÈÓ ××ÓÒ Û Ø Ù×× Òµ
ÓÖ ÔÖÓ Ð ØÝ Ñ ×ÙÖ ×¸ ÔÑ ×»Ô × Ö Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
ÜÔ Ø Ø ÓÒ ÒÓØ Ø ÓÒ × ÙÒ ×
E[X] =
x∈X
xp(x) ν(x)
ÌÛÓ Ù×Ù Ð × Ñ ×ÙÖ ×
ÓÙÒØ Ò Ñ ×ÙÖ νC ´ → µ
Ä × Ù Ñ ×ÙÖ νL

Å ×ÙÖ Ø ÓÖÝ ÈÖÓ Ð ØÝ ×Ô ´Ö ÐÐ Ò Ø ÖÑ ÒÓÐÓ Ýµ
X × Ø¸ Ø × ÑÔÐ ×Ô
σ¹ Ð Ö F ÓÚ Ö X ×Ù × Ø× Ó X ÐÓ× ÙÒ Ö ÓÙÒØ Ð Ñ ÒÝ
ÒØ Ö× Ø ÓÒ×¸ ÙÒ ÓÒ×¸ Ò ÓÑÔÐ Ñ ÒØ×º
(X, F) Ñ ×ÙÖ Ð ×Ô
Ñ ×ÙÖ μ : F → R ∪ {±∞} Û Ø
μ(E) ≥ ¼, ∀E ∈ F¸ μ(∅) = ¼
μ (∪i≥½Ei ) = i≥½ μ(Ei ) ÓÖ Ô ÖÛ × × Ó ÒØ × ÕÙ Ò {Ei ∈ F}i
(X, F, μ)¸ ´ÔÓ× Ø Ú µ Ñ ×ÙÖ ×Ô
(X, F, μ) Û Ø μ(X) = ½¸ ÔÖÓ Ð ØÝ ×Ô ¸ F ∈ F Ö Ú ÒØ×
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¼»½

Å ×ÙÖ Ð ÙÒ Ø ÓÒ× Ò Ö Ò ÓÑ Ú Ö Ð ×
Å ×ÙÖ Ð ÙÒ Ø ÓÒ f : X → Y ØÛ Ò ØÛÓ Ñ ×ÙÖ Ð ×Ô × (X, F)
Ò (Y, G)
∀G ∈ G, f −½(G) ∈ F
Ê Ò ÓÑ Ú Ö Ð X Ñ ×ÙÖ Ð ÙÒ Ø ÓÒ X : X → Rº Ì Ö ÓÖ
{x ∈ X | a < X(x) < b} ∈ F
ÐÐ × ÑÔÐ ×Ø Ø × Û Ø X Ø Ò Ú ÐÙ × ØÛ Ò a Ò b × Ò Ú ÒØ ´ µ
ÓÒØ ÒÙÓÙ× ÊÎ Ñ ×ÙÖ × ÓÒ ÓÖ Ð σ¹ Ð Ö
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾½»½

ÓÑ Ò Ò Ò Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
Ñ ×ÙÖ μ × ÓÑ Ò Ø Ý Ñ ×ÙÖ ν ´μ νµ º
ν(E) = ¼ ⇒ μ(E) = ¼
μ ν σ¹ Ò Ø ´X ÓÙÒØ Ð ÙÒ ÓÒ Ó Ñ ×ÙÖ Ð × Ø× Û Ø Ò Ø
Ñ ×ÙÖ µ Ø Ò μ Ñ Ø× Ò× ØÝ f ÛÖØ ØÓ ν¸ Ø Ê ÓÒ¹Æ Ó ÝÑ
Ö Ú Ø Ú
f
Ò.
=
μ
ν
∀ ν − Ñ ×ÙÖ Ð E, μ(E)
Ò.
=
e∈E
f ν(e)
P ν¸ Ë ÒÒÓÒ ÒØÖÓÔÝ H(P) = − p(x) ÐÓ p(x) ν(x)º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¾»½

ËØ Ø ×Ø Ð ×Ø Ñ Ø ÓÒ Ô Ö Ñ ØÖ ×Ø Ñ Ø ÓÒ ˆθ
Ú Ò º X = {x½, ..., xn} ∼ pθ¼ (x) ´ Ò Ý Æ ØÙÖ µ¸ ×Ø Ñ Ø θ Ò
Ñ ÐÝ {pθ(x)}θ
→ ÖÓÑ Ó × ÖÚ Ø ÓÒ × Ø× ØÓ Ö Ò ÓÑ Ú ØÓÖ×
Å Ü ÑÙÑ Ä Ð ÓÓ ÈÖ Ò ÔÐ ´ÅÄ µ
ˆθn = Ö Ñ Üθ
i
pθ(xi ) = Ö Ñ Üθl(X; θ) =
i
ÐÓ pθ(xi )
ÓÒ× ×Ø Ò Ý Ð Ñn→∞
ˆθn = θ¼
× ÓÖ ÙÒ Ø ÓÒ s(θ, x) = ∇θ ÐÓ pθ(x) Û Ø ∇θ = (∂i = ∂
∂θi )i º × ÓÖ
Ò Ø × Ø × Ò× Ø Ú ØÝ Ó Ø ÐÓ ¹Ð Ð ÓÓ ÙÖÚ º
ÓÖ ×ØÖ ØÐÝ ÓÒ Ú ÐÓ ¹Ð Ð ÓÓ ¸ ÙÒ ÕÙ ˆθ ×Ù Ø Ø s(ˆθ, x) = ¼
´ÅÎÆ×¸ Ø ¸ ÈÓ ××ÓÒ¸ Ö Ð Ø¸ Ø µº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¿»½

× Ö Ò ÓÖÑ Ø ÓÒ I(θ) Î Ö Ò Ó Ø × ÓÖ
ÑÓÙÒØ Ó Ò ÓÖÑ Ø ÓÒ Ø Ø Ò Ó × ÖÚ Ð Ö Ò ÓÑ Ú Ö Ð X ÖÖ ×
ÓÙØ Ò ÙÒ ÒÓÛÒ Ô Ö Ñ Ø Ö θ
Ö×Ø ÑÓÑ ÒØ Ó × ÓÖ ¼¸ ÒÓØ × Ö Ñ Ò Ø Ú
E
∂
∂θ
ÐÓ p(X; θ) | θ = E
∂
∂θ p(X; θ)
p(X; θ)
| θ =
∂
∂θ p(x; θ)
p(x; θ)
p(x; θ) x
=
∂
∂θ
p(x; θ) x =
∂
∂θ
f (x; θ) x
=
∂
∂θ
½ = ¼.
Ë ÓÒ ÑÓÑ ÒØ Ó × ÓÖ ´Û Ø ∂i l(x; θ) = ∂
∂θi
l(x; θ)µ
I(θ) = E
∂
∂θ
ÐÓ f (X; θ)
¾
θ =
∂
∂θ
ÐÓ f (x; θ)
¾
f (x; θ) x > ¼
ÅÙÐØ ¹Ô Ö Ñ Ø Ö Ii,j (θ) = Eθ[∂i l(x; θ)∂j l(x; θ)] , I(θ) ¼¸ ÈË´Ëµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¾º ÁÅ ¾ »½

× Ö Ò ÓÖÑ Ø ÓÒ Ò Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ
ÀÓÛ ÓÓ × Ò ×Ø Ñ ØÓÖ ÓÛ ØÓ Ñ ×ÙÖ ÓÓ Ò ××
Å Ò ËÕÙ Ö ÖÖÓÖ ´ÅË µ ÅË (θ)
Õ
= E[ ˆθ − θ¼
¾] ´ ÓÒ× ×Ø Ò Ý
ÅË → ¼µ
Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ ÓÖ Ò ÙÒ × ×Ø Ñ ØÓÖ ˆθ
V[ˆθ] I−½(θ¼)
Ò Ý ÙÒ × ×Ø Ñ ØÓÖ Ñ Ø Ò Ø Ê ÐÓÛ Ö ÓÙÒ
×ÝÑÔØÓØ ÒÓÖÑ Ð ØÝ Ó ˆθ ´ÓÒ Ö Ò ÓÑ Ú ØÓÖ×µ
ˆθ ∼ N θ¼,
½
n
I−½(θ¼)

× Ö ÁÒ ÓÖÑ Ø ÓÒ Å ØÖ Ü ´ ÁÅµ
I(θ) = [Ii,j(θ)]i,j, Ii,j(θ) = Eθ[∂i l(x; θ)∂j l(x; θ)]
ÓÖ ÑÙÐØ ÒÓÑ Ð× (p½, ..., pd )
I(θ) =
⎡
⎢
⎢
⎢
⎣
p½(½ − p½) −p½p¾ ... −p½pk
−p½p¾ p¾(½ − p¾) ... −p¾pk
ººº
ººº
−p½pk −p¾pk ... pk(½ − pk)
⎤
⎥
⎥
⎥
⎦
ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð× ´ÅÎÆ×µ N(μ, Σ)
Ii,j(θ) =
∂μ
∂θi
Σ−½ ∂μ
∂θj
+
½
¾
ØÖ Σ−½ ∂Σ
∂θi
Σ−½ ∂Σ
∂θj
Ñ ØÖ Ü ØÖ ØÖº

Ê Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü
Ä Ø θ = θ(η) Ò η ØÛÓ ½¹ØÓ¹½ Ô Ö Ñ Ø Ö Þ Ø ÓÒ×
J = [Ji,j ]i,j Â Ó Ò Ñ ØÖ Ü Ji,j = ∂θi
∂ηj
º
Iη(η) = J × Iθ(θ(η)) × J
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü Ô Ò × ÓÒ Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø
Ô Ö Ñ Ø Ö ×Ô ´ ÓÚ Ö ÒØµ

ËØ Ø ×Ø × ÁÒ ÓÖÑ Ø ÓÒ Ò ×Ù Ò Ý
×Ù Ò Ý P(x|t, θ) = P(x|t)
⇒ ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ × ÓÒØ Ò Ò× t
Is(X)(θ) ≤ IX (θ) ÓÖ ×Ø Ø ×Ø s¸ Û Ø ÕÙ Ð ØÝ º s × ×Ù ÒØ
× Ö¹Æ ÝÑ Ò³× ØÓÖ Þ Ø ÓÒ Ö Ø Ö ÓÒ t(x) × ×Ù ÒØ Ø Ò Û Ú
Ø ÓÐÐÓÛ Ò ÒÓÒ Ð ØÓÖ Þ Ø ÓÒ
p(x; θ) = g(t(x); θ)h(x)
Üº t(x) = ( i xi , i x¾
i ) ×Ù ÒØ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð×º
ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ Ò ØÛÓ ÕÙ ÒØ Ø × Ø Ö Ù Ø ÓÒ Û Ø ÓÙØ ÐÓ×× Ó
×Ø Ø ×Ø Ð Ò ÓÖÑ Ø ÓÒ
× ÑÔÐ Ñ Ò ¯μ = ½
n i xi ¸ × ÑÔÐ Ú Ö Ò
¯v = ½
n i (xi − ¯μ)¾ = ½
n i x¾
i − ¯μ¾ =
½
n
i
x¾
i − (
½
n
i
xi )¾
ÒÓØ ÐÐ ×Ø Ø ×Ø × ÖÖÝ Ò ÓÖÑ Ø ÓÒ ÓÒ θ Ò ÐÐ ÖÝ ×Ø Ø ×Ø ×¸ ×Ø Ø ×Ø ×
Ø Ø Ó × ÒÓØ Ô Ò ÓÒ Ø Ô Ö Ñ Ø Ö θº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½

X X t(X)
iid.
Inverse probability/Inference
Parameters: λ Statistics
(data reduction)
Loss of information
for recovering λ
suﬃ
cient
insuﬃcient
random vector
random sample
x1, ..., xn
t(x1, ..., xn)
random variable
Ï Ö ÒØ Ö ×Ø Ò Ò Ø ¹ Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø ×ººº ´×Ø Ø ×Ø Ð
ÐÓ××Ð ×× Ø Ö Ù Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½

ÜÔÓÒ ÒØ Ð Ñ Ð × Ò Ò Ø ×Ù Ò Ý
Probability measure
Parametric Non-parametric
Exponential families Non-exponential families
Uniform Cauchy L´evy skew α-stable
Univariate Multivariate
uniparameter multi-parameter
Dirichlet Weibull
GaussianRayleigh
Bernoulli
Binomial
Exponential
Poisson
Gamma ΓBeta β
Bi-parameter
Multinomial
Û Ö ÜÔÓÒ ÒØ Ð ×ØÖ ÙØ ÓÒ ÐÓÒ × ØÓ Ø ÜÔÓÒ ÒØ Ð Ñ Ð × ØÓÓº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ º ÜÔÓÒ ÒØ Ð Ñ Ð × ¿¼»½

ÜÔÓÒ ÒØ Ð Ñ Ð × Ñ Ð × Ó Ô Ö Ñ ØÖ ×ØÖ ÙØ ÓÒ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ ´t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x)
ÙÜ Ð ÖÝ ÖÖ Ö Ø ÖÑµ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÐÓ ¹Ä ÔÐ ØÖ Ò× ÓÖÑ F(θ) = ÐÓ ÜÔ( t(x), θ + k(x)) x
Ñ ÒÝ ×ØÖ ÙØ ÓÒ× p(x; λ) ´ÒÓÖÑ Ð¸ ÑÑ ¸ Ø ¸ ÑÙÐØ ÒÓÑ Ð¸ ÈÓ ××ÓÒµ
Ö ÜÔÓÒ ÒØ Ð Ñ Ð × Û Ø θ(λ)
F × ×ØÖ ØÐÝ ÓÒÚ Ü ÓÒ ÓÒÚ Ü Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô
Θ = {θ ∈ RD | F(θ) < ∞}
Ù Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒ× θ(λ) ÓÖ η(λ) = ∇F(θ(λ)) = E[t(X)]
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü I(θ) = ∇¾F(θ) ¼ ´À ×× Ò Ó ×ØÖ ØÐÝ
ÓÒÚ Ü ÙÒ Ø ÓÒµ
ÅÄ ˆη = ½
n i t(xi ) = ∇F(θ) ´ ÓÒ Ø ÓÒ ÓÒ Ü ×Ø Ò µ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ º ÜÔÓÒ ÒØ Ð Ñ Ð × ¿½»½

ÓÒÚ Ü Ù Ð ØÝ Ä Ò Ö ¹ Ò Ð ØÖ Ò× ÓÖÑ Ø ÓÒ ¾½¸ ½
ÓÖ ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÙÒ Ø ÓÒ F : X → R¸ Ò Ø
ÓÒÚ Ü ÓÒ Ù Ø
F∗
(y) = ×ÙÔ
x∈X
{ y, x − F(x)
lF (y;x);
}
Å Ü ÑÙÑ Ó Ø Ò ÓÖ y = ∇F(x)
∇xlF (y; x) = y − ∇F(x) = ¼ ⇒ y = ∇F(x)
Å Ü ÑÙÑ ÙÒ ÕÙ ÖÓÑ ÓÒÚ Ü ØÝ Ó F ´∇¾F ¼µ
∇¾
xlF (y; x) = −∇¾F(x) ≺ ¼
ÓÒÚ Ü ÓÒ Ù Ø × Û Ø ÓÑ Ò×
(F, X) ⇔ (F∗
, Y), Y = {∇F(x) | x ∈ X}
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¾»½

Ä Ò Ö Ù Ð ØÝ ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ
ÓÒ× Ö Ø Ô Ö Ô Ó F × ÓÒÚ Ü Ó Ø
ÓÒÚ Ü ÙÐÐ ´Ú ÖØ Ü¸ V ¹Ö ÔÖ × ÒØ Ø ÓÒµ¸ Ú Ö×Ù×
Ð ¹×Ô ´ Ð ×Ô ¸ H¹Ö ÔÖ × ÒØ Ø ÓÒµº
O
F
z
x
P : (x, F(x))
(0, F(xP ) − xP F (xP ) = −F∗
(yP ))
HP : z = (x − xP )F (xP ) + F(xP )
Q
xP
zP = F(xP )
HQ : z = (x − xQ)F (p) + F(xQ)
Dual coordinate systems:
P =
⎧
⎨
⎩
xP
HP : yP = F (xP )
0
HP +
Ä Ò Ö ØÖ Ò× ÓÖÑ Ð×Ó ÐÐ ×ÐÓÔ ØÖ Ò× ÓÖÑº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¿»½

Ä Ò Ö Ù Ð ØÝ ² ÒÓÒ Ð Ú Ö Ò
ÓÒÚ Ü ÓÒ Ù Ø × Ú ÙÒ Ø ÓÒ Ð ÒÚ Ö× Ö ÒØ× ∇F−½ = ∇F∗
∇F∗ Ñ Ý Ö ÕÙ Ö ÒÙÑ Ö Ð ÔÔÖÓÜ Ñ Ø ÓÒ
´ÒÓØ ÐÛ Ý× Ú Ð Ð Ò Ò ÐÝØ Ð ÐÓ× ¹ ÓÖÑµ
ÁÒÚÓÐÙØ ÓÒ (F∗)∗ = F Û Ø ∇F∗ = (∇F)−½º
ÓÒÚ Ü ÓÒ Ù Ø F∗ ÜÔÖ ×× Ù× Ò (∇F)−½
F∗
(y) = x, y − F(x), x = ∇y F∗
(y)
F∗
(y) = (∇F)−½(y), y − F((∇F)−½(y))
Ò Ð¹ ÓÙÒ Ò ÕÙ Ð ØÝ Ø Ø ÖØ Ó Ø ÒÓÒ Ð Ú Ö Ò
F(x) + F∗
(y) ≥ x, y
AF (x : y) = AF∗ (y : x) = F(x) + F∗
(y) − x, y ≥ ¼
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½

È Ö Ñ Ø Ö× Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
D ÓÖ Ö Ó Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ
d ÙÒ ¹ ´d = ½µ ÓÖ ÑÙÐØ ¹Ú Ö Ø Ñ ÐÝ
Å ÒÝ Ô Ö Ñ Ø Ö Þ Ø ÓÒ× Ö ÔÓ×× Ð ÙØ ÓÒÐÝ ØÛÓ Ö ÒÓÒ Ð Ò ØÙÖ Ð
Ô Ö Ñ Ø Ö× Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö×º
λ ∈ Λ
η ∈ Hθ ∈ Θ
Exponential family
dual parameterization
η = ∇θF(θ) θ = ∇ηF∗
(η)
Legendre transform
(Θ, F) ↔ (H, F∗
)
Natural parameters Expectation parameters
Original parameters

ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
·, · ÒÒ Ö ÔÖÓ Ù Ø ÓÒ Ú ØÓÖ× ´× Ð Ö ÔÖÓ Ù Øµ¸ Ñ ØÖ × ´Ê ÌÖ(AB∗)µ
t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x) ÙÜ Ð ÖÝ ÖÖ Ö Ø ÖÑ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÆÓØ ÙÒ ÕÙ ÓÑÔÓ× Ø ÓÒ Ù×
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Ò ×Ù ÒØ ×Ø Ø ×Ø t (x) = At(x) Ò θ = A−½θ
´ ÓÖ |A| = ¼ Ò ØÖ Ò× ÓÖÑ Ø ÓÒµ
ÓÒ×Ø ÒØ Ò F (θ) = F(θ) + c Ò k (x) = k(x) − c
Ä Ø Ù× Ú ×ÓÑ ÓÑÔÓ× Ø ÓÒ Ü ÑÔÐ ×ººº

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ê ÝÐ ÅÅ× ¾
ÁÒØÖ Î × ÙÐ Ö ÍÐØÖ ËÓÙÒ ´ÁÎÍËµ Ñ Ò
Ê ÝÐ ×ØÖ ÙØ ÓÒ
p(x; λ) = x
λ¾ e− x¾
¾λ¾
x ∈ R+
d = ½ ´ÙÒ Ú Ö Ø µ
D = ½ ´ÓÖ Ö ½µ
θ = − ½
¾λ¾
Θ = (−∞, ¼)
F(θ) = − ÐÓ (−¾θ)
t(x) = x¾
k(x) = ÐÓ x
´Ï ÙÐÐ k = ¾µ
ÓÖÓÒ ÖÝ ÔÐ ÕÙ × ÖÓØ Ø ××Ù ×¸ Ð Ø ××Ù ×¸ Ð Ô Ø ××Ù ×
Ê ÝÐ Å ÜØÙÖ ÅÓ Ð× ´ÊÅÅ×µ
ÓÖ × Ñ ÒØ Ø ÓÒ Ò Ð ×× Ø ÓÒ Ø × ×

ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ù×× Ò ÅÅ× ½¾¸ ¾ ¸ ½¿
Ù×× Ò Ñ ÜØÙÖ ÑÓ Ð× ´ ÅÅ×µ ÑÓ Ð ÐÓÛ Ö ÕÙ Ò Ýº
ÓÐÓÖ Ñ ÒØ ÖÔÖ Ø × ÜÝÊ ÔÓ ÒØ × Øº
Ù×× Ò ×ØÖ ÙØ ÓÒ p(x; μ, Σ)
½
(¾π)
d
¾
√
|Σ|
e− ½
¾ DΣ−½ (x−μ,x−μ)
ËÕÙ Ö Å Ð ÒÓ × ×Ø Ò
DQ(x, y) = (x − y)T Q(x − y)
x ∈ Rd
d ´ÑÙÐØ Ú Ö Ø µ
D = d(d+¿)
¾ ´ÓÖ Öµ
θ = (Σ−½μ, ½
¾Σ−½) = (θv , θM)
Θ = R × Sd
++
F(θ) = ½θT
v θ−½
M θv − ½
¾ ÐÓ |θM| +
d
¾ ÐÓ π
t(x) = (x, −xxT )
k(x) = ¼

ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ÌÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
η = E[t(x)] = ∇F(θ), θ = (∇F)−½(η) = ∇F∗
(η)
ˆη = 1
n i t(xi) = ¯t
minθ F(θ) − θ, ¯t
Convex optimization Trivial solution
natural parameter: θ-coordinates expectation parameter: η-coordinates
∇F(·)
∇F−1
(·) = ∇F∗
(·)
ÐÓ× ¹ ÓÖÑ Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ η
ˆη = ½
n i t(xi )
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ Ò Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ θº
Ñ Üθ l(θ; x½, ..., xn) = ½
n i ( t(xi ), θ − F(θ)) ≡ Ñ Òθ F(θ) − θ, ¯t ´Ø Ø
×¸ ∇F(ˆθ) = ¯tµ

ÜÔÓÒ ÒØ Ð Ñ Ð × ÍÒ Ú Ö× Ð Ñ Ð ×
ÍÒ Ú Ö× Ð Ö ÔÖ × ÒØ Ø ÓÒ× Ó ×ÑÓÓØ Ò× Ø ×
Ñ ÜØÙÖ × Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ÔÔÖÓÜ Ñ Ø ÒÝ ×ÑÓÓØ Ò× ØÝ
´Ñ ÜØÙÖ × Ó Ù×× Ò×µ
× Ò Ð ÜÔÓÒ ÒØ Ð Ñ ÐÝ ´ÔÓ×× ÐÝ ÑÙÐØ ÑÓ Ðµ ÔÔÖÓÜ Ñ Ø × Ð×Ó ÒÝ
×ÑÓÓØ Ò× ØÝ Ë Ñ Ð Ö ØÓ ÔÔÖÓÜ Ñ Ø ÓÒ× Ó ÙÒ Ø ÓÒ× Ý ÔÓÐÝÒÓÑ Ð×º
Ï Ò ÓÓ× Ø ×Ù ÒØ ×Ø Ø ×Ø × Ò (½, x, x¾, x¿, ...) Ò
(ÐÓ x, ÐÓ ¾ x, ÐÓ ¿ x, ...)º ÙØ Ø Ò F(θ) ÒÓØ Ò ÐÓ× ÓÖÑ
F(θ) =
x
ÜÔ θ t(x) + k(x) ν(x)
´ ÓÑÑÓÒ ÔÖÓ Ð Ñ Ñ Ø Ò ÔÖ Ø ÒÓØ ØÓ Ú ÐÓ× ¹ ÓÖÑ ÜÔÖ ×× ÓÒ Ó
F¸ Á× Ò Ò ÈÓØØ× ÑÓ Ð×¸ Ø ºµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¼»½

ÓÐØÞÑ ÒÒ¹ × ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð Ô Ý× ×
Ä Ø E(X; θ) Ò Ò Ö Ý ÙÒ Ø ÓÒº
p(X; θ) =
½
Z(θ)
ÜÔ(−E(X; θ))
Z(θ) ÒÓÖÑ Ð Þ Ø ÓÒ ØÓÖ ´ º Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒµ
Z(θ) =
x
ÜÔ(−E(X; θ)) ν(x)
F(θ) = ÐÓ Z(θ)
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ½»½

Ì Ó × ÖÚ ÔÓ ÒØ ˆP Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
{Pθ}θ Ô Ö Ñ ØÖ ´ ÜÔÓÒ ÒØ Ð Ñ ÐÝµ ÑÓ Ð¸ ÒØ Ð
Î Û Pθ × ÔÓ ÒØ ÓÒ Ñ Ò ÓÐ ´ Ù Ð ÓÓÖ Ò Ø × θ Ò ηµ
Ç × ÖÚ ÔÓ ÒØ ˆP Û Ø η¹ ÓÓÖ Ò Ø t(x) = ½
n i t(xi ) ´ÅÄ µ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
Ï × ÐÐ × Ð Ø Ö Ø Ø ˆP × m¹ÔÖÓ Ø ÓÒ Ó Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ ÓÒ Ø
e¹ Øººº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¾»½

ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ¾¼
ˆη = t(x) ÙØ Û ÛÓÙÐ Ð ˆθ = (∇F−½)(ˆη)
Ú ÐÙ Ó Ø Ñ Ü ÑÙÑ Ð Ð ÓÓ
l(θ; x½, ..., xn) = F∗
(ˆη) + k(x)
k(x) = ½
n
n
i=½ k(xi )
F∗ × Ò ¹ ÒØÖÓÔÝ
Ï Ò F(θ) ÒÓØ Ò ÐÓ× ¹ ÓÖÑ ÓÒØÖ ×Ø Ú Ú Ö Ò ´Å Å µ¸ × ÓÖ
Ñ Ø Ò ´ × Ö Ú Ö Ò µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿»½

ÁÁº ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó
ÔÖÓ ÐØÝ Ñ Ò ÓÐ ×
(M, g)
(M, g, ∇, ∇∗) ⇔ (M, g, T)
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ × »½

ÈÓÔÙÐ Ø ÓÒ ×Ô ² È Ö Ñ Ø Ö ×Ô
Àº ÀÓØ ÐÐ Ò ½ ´½ ¿¼µ¸ º Êº Ê Ó ´½ µ
P = {p(x|θ) | θ ∈ Θ} Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ×¸ Ø
ÔÓÔÙÐ Ø ÓÒ ×Ô ¸
Θ¸ Ø Ô Ö Ñ Ø Ö ×Ô Ó Ñ Ò× ÓÒ D
ÑÑ Ö× ÓÒ i(θ) = p(x|θ) ÖÓÑ Ø Ô Ö Ñ Ø Ö ×Ô ØÓ Ø ÔÓÔÙÐ Ø ÓÒ
×Ô
i ÓÒ ¹ØÓ¹ÓÒ ´ÑÓ Ð ÒØ Ð ØÝµ
i Ó Ö Ò Ñ(Θ) = D
∂p(x|θ)
∂θ½
, ...,
∂p(x|θ)
∂θD
ººº Ö Ð Ò ÖÐÝ Ò Ô Ò ÒØ
ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó ËÈ Ñ ØÖ × Û Ò Û ÓÒ× Ö Ø Ô ÖØ ÙÐ Ö
×Ô {N(¼, Σ) | Σ ¼}
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½

× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ ÁÅµ
ÐÓ ¹Ð Ð ÓÓ l(θ|x) = ÐÓ p(x|θ)¸ ∂i = ∂
∂θi
º
Å ØÖ Ø Ò×ÓÖ¸ D × D Ñ ØÖ Ü g = [gij ] = i,j gij xi ⊗ xj ´Ø Ò×ÓÖ
ÔÖÓ Ù Øµ
gij = Eθ[∂i l(θ)∂j l(θ)]
ÁÅ Ò Ö ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ ×
gij =
x
∂i p(x|θ)∂j p(x|θ) x
g ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø ´ËÈ µ¸ ÒÓÒ¹ Ò Ö Ø Û Ò {∂i p(x|θ)}i
Ö Ð Ò Ö Ò Ô Ò ÒØ ´ÔÖÓ Ð Ñ Û Ø Ñ ÜØÙÖ ÑÓ Ð× Û Ö ∃θ, I(θ) = ¼µ

× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ² À ×× Ò
Æ Ø Ú ÜÔ Ø Ø ÓÒ Ó Ø À ×× Ò Ó Ø ÐÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
gij = Eθ[∂i l(θ)∂j l(θ)]
gij =
x
∂i p(x|θ)∂j p(x|θ) x
gij = −Eθ[∂i ∂j l(θ)]
ÓÖ Ò ØÙÖ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × p(x|θ) = ÜÔ( θ, x − F(θ))¸
I(θ) = ∇¾F(θ) ¼

× Ö Ò ÓÖÑ Ø ÓÒ ÒÚ Ö Ò Ò ÓÚ Ö Ò
ÁÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × ÑÔÐ ×Ô X ÊÎº Û Ø
p(x|θ) Ò Y = f (X) ÓÖ Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ f (·) Û Ø Ò× ØÝ
¯p(y|θ)º
gij (θ) = ¯gij (θ)
ÓÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø Ô Ö Ñ Ø Ö ×Ô Ä Ø
η = η(θ) Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ Û Ø ¯pη(x) = pη(θ)(x)
¯gij (η) = gkr |η=η(θ)
∂θk
∂ηi
∂θr
∂ηj
×Ù ÒØ ×Ø Ø ×Ø × p(x|t, θ) = p(x|t)¸ ÒÓÒ¹ Ø ÖÑ Ò ×Ø Å Ö ÓÚ
ÑÓÖÔ ×Ñ ØÖ Ò× ÓÖÑ Ø ÓÒ× ´×Ø Ø ×Ø Ð ÒÚ Ö Ò µº

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ
(M, g) Ê Ñ ÒÒ Ò Ñ Ò ÓÐ
·, · ¸ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ g Ò Ø ÔÓ× Ø Ú Ð Ò Ö ÓÖÑ ÓÒ
Ø Ò ÒØ ×Ô Tx M ´ Ô Ò × ×ÑÓÓØ ÐÝ ÓÒ xµ
· x u = u, u ½/¾ ××Ó Ø ÒÓÖÑ Ò TxM
ρ(x, y) Ñ ØÖ ×Ø Ò ØÛ Ò ØÛÓ ÔÓ ÒØ× ÓÒ Ø Ñ Ò ÓÐ M ´Ð Ò Ø
×Ô µ
ρ(x, y) = Ò
½
¼
˙γ(t) t, γ ∈ C½
([¼, ½], M), γ(¼) = x, γ(½) = y
Ë ÓÖØ ×Ø Ô Ø × ´Ð Ò Ø ×Ô µ
ÙØ Ø Ò ÐÐÝ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ ÛÖØº Ä Ú ¹ Ú Ø Ñ ØÖ ÓÒÒ Ø ÓÒ ∇Ä º

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ñ Ô
ÄÓ Ð Ñ Ô ÖÓÑ Ø Ø Ò ÒØ ×Ô TxM ØÓ Ø Ñ Ò ÓÐ Ò Û Ø
Ó × × ´ÛÖØ ∇µº
∀x ∈ M, D(x) ⊂ Tx M : D(x) = {v ∈ TxM : γv (½) × Ò }
Û Ø γv Ñ Ü Ñ Ð ´ º º¸ Ð Ö ×Ø ÓÑ Òµ Ó × Û Ø γv (¼) = x Ò
γv (¼) = vº
ÜÔÓÒ ÒØ Ð Ñ Ô
ÜÔx (·) : D(x) ⊆ TxM → M
ÜÔx (v) = γv (½)
D × ×Ø Ö¹× Ô º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ò ÄÓ Ö Ø Ñ Ñ Ô×
p
Tp
M
Xp
y
ÜÔ : y ∈ M → Xp ∈ Tp
ÐÓ = ÜÔ−½ : Xp ∈ Tp → y ∈ M
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ½»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × ×ÑÓÓØ Ô Ø Û ÐÓ ÐÐÝ Ñ Ò Ñ Þ × Ø ×Ø Ò ØÛ Ò
ØÛÓ ÔÓ ÒØ×º
Ú Ò Ú ØÓÖ v ∈ TxM Û Ø × ÔÓ ÒØ x¸ Ø Ö × ÙÒ ÕÙ Ó ×
×Ø ÖØ Ø x Û Ø ×Ô v Ø Ø Ñ ¼ t → ÜÔx(tv) ÓÖ t → γt(v)º
Ó × ÓÒ [a, b] × Ñ Ò Ñ Ð Ø× Ð Ò Ø × Ð ×× ÓÖ ÕÙ Ð ØÓ ÓØ Ö×º ÓÖ
ÓÑÔÐ Ø M ´ º º¸ ÜÔx (v)µ¸ Ø Ò x, y ∈ M¸ Ø Ö Ü ×Ø× Ñ Ò Ñ Ð
Ó × ÖÓÑ x ØÓ y Ò Ø Ñ ½º
γ·(x, y) : [¼, ½] → M¸ t → γt(x, y) Û Ø Ø ÓÒ Ø ÓÒ× γ¼(x, y) = x Ò
γ½(x, y) = yº
U ⊆ M × ÓÒÚ Ü ÓÖ ÒÝ x, y ∈ U¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ Ò Ñ Ð
Ó × γ·(x, y) Ò M ÖÓÑ x ØÓ yº Ó × ÙÐÐÝ Ð × Ò U Ò Ô Ò ×
×ÑÓÓØ ÐÝ ÓÒ x, y, tº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × γ(x, y) ÐÓ ÐÐÝ Ñ Ò Ñ Þ Ò ÙÖÚ × Ð Ò Ò x ØÓ y
ËÔ Ú ØÓÖ γ (t) Ô Ö ÐÐ Ð ÐÓÒ γ
Dγ (t)
t
= ∇γ (t)γ (t) = ¼
Ï Ò Ñ Ò ÓÐ M Ñ Ò Rd ¸ Ð Ö Ø ÓÒ × ÒÓÖÑ Ð ØÓ Ø Ò ÒØ
ÔÐ Ò
γ (t) ⊥ Tγ(t)M
γ (t) = c¸ ÓÒ×Ø ÒØ ´× Ý¸ ÙÒ Øµº
⇒ È Ö Ñ Ø Ö Þ Ø ÓÒ Ó ÙÖÚ × Û Ø ÓÒ×Ø ÒØ ×Ô ´ÓØ ÖÛ × ¸ ÝÓÙ Ø Ø
ØÖ Ó Ø Ó × ÓÒÐÝºººµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × × Ò Ñ Ò×
ÓÒ×Ø ÒØ ×Ô Ó × γ(t) ×Ó Ø Ø γ(¼) = x Ò γ(ρ(x, y)) = y ´ ÓÒ×Ø ÒØ
×Ô ½¸ Ø ÙÒ Ø Ó Ð Ò Ø µº
x#ty = m = γ(t) : ρ(x, m) = t × ρ(x, y)
ÓÖ Ü ÑÔÐ ¸ Ò Ø Ù Ð Ò ×Ô
x#ty = (½ − t)x + ty = x + t(y − x) = m
ρE (x, m) = t(y − x) = t y − x = t × ρ(x, y), t ∈ [¼, ½]
⇒ m ÒØ ÖÔÖ Ø × Ñ Ò ´ ÖÝ ÒØ Öµ ØÛ Ò x Ò y

× × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÁÒ Ø Ú ØÝ Ö Ù×
ÓÑÓÖÔ ×Ñ ÖÓÑ Ø Ø Ò ÒØ ×Ô ØÓ Ø Ñ Ò ÓÐ
ÁÒ Ø Ú ØÝ Ö Ù× Ò (M) Ð Ö ×Ø r > ¼ ×Ù Ø Ø ÓÖ ÐÐ x ∈ M¸ Ø Ñ Ô
ÜÔx (·) Ö ×ØÖ Ø ØÓ Ø ÓÔ Ò ÐÐ Ò Tx M Û Ø Ö Ù× r × Ò Ñ Ò º
ÐÓ Ð Ò Ø Ú ØÝ Ö Ù× Ò ÑÙÑ Ó Ø Ò Ø Ú ØÝ Ö Ù× ÓÚ Ö ÐÐ ÔÓ ÒØ×
Ó Ø Ñ Ò ÓÐ º
ÁÑÔÓÖØ ÒØ ÓÖ Ò Ú Ø Ò Ò ÓÖØ ÖÓÑ TxM ØÓ M ´ ÜØÖ Ò× » ÒØÖ Ò×
ÓÑÔÙØ Ò µººº

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
ÓÒ× Ö (M, g) Û Ø g = I(θ)¸ ÀÓØ ÐÐ Ò ´½ ¿¼µ¸ Ê Ó ´½ µº × Ö
Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü × ÙÒ ÕÙ ÙÔ ØÓ ÓÒ×Ø ÒØ ´ ÓÖ ×Ø Ø ×Ø Ð ÒÚ Ö Ò µº
ÓÑ ØÖÝ Ó ÑÙÐØ ÒÓÑ Ð× × ×Ô Ö Ð ´ÓÒ Ø ÓÖØ ÒØµ
ÓÖ ÙÒ Ú Ö Ø ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÓÖ
Ù Ð Ò ÓÑ ØÖÝ ´ÐÓ Ø ÓÒ ÓÒÐÝµ
p(x|μ, σ) =
½
σ
p¼
x − μ
σ
, X = μ + σX¼
´ÆÓÖÑ Ð¸ Ù Ý¸ Ä ÔÐ ¸ ËØÙ ÒØ t¹¸ Ø ºµ

Ì Ò ÒØ ÔÐ Ò ×¸ Ø Ò ÒØ ÙÒ Ð ×¸ Ú ØÓÖ Ð ×
Tp Ø Ò ÒØ ÔÐ Ò Ø p
TM¸ Ø Ò ÒØ ÙÒ Ð
Ú ØÓÖ Ð ÐÓ Ð × Ø ÓÒ Ó Ø Ø Ò ÒØ ÙÒ Ð
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Tx
MQ(p, q) = (p − q) Q(x)(p − q)
Ü ÓÑ× Ó Ø Ñ ØÖ ÓÖ Q(x) = g(x) ¼ ´ËÈ µº
Ê Ó³× ×Ø Ò ØÛ Ò ÐÓ× ÔÓ ÒØ× ÑÓÙÒØ× ØÓ ρ
√
¾ÃÄ =
√
ËÃÄº
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ ρ Å Ð ÒÓ × = Δθ I(θ)Δθº

Ì Ò ÒØ ÔÐ Ò × × Ú ØÓÖ×
(∂i )x = ∂
∂θi x
Xx = D
i=½ Xi (∂i )x
Ò ÔÖÓÔ Ö Ñ ØÖ Ø Ò×ÓÖ gij (x) = gx (∂i , ∂j ) > ¼
M
x
TxM
Xp = D
i=1 Xi
(∂i)x
Yp = D
i=1 Y i
(∂i)x

ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL ¸ ÐÓÛ Ö ØÖ Ò ÙÐ Ö Ñ ØÖ Ü L
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÑÔÙØ Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Ù Ð Ò ÓÑÔÙØ Ò ÓÒ
ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× ÓÑÔÙØ Ø ÓÒ×º

Ê Ñ ÒÒ Ò Å Ð ÒÓ × Ñ ØÖ Ø Ò×ÓÖ ´Σ−½
¸ ÈË µ
ρ(p½, p¾) = (p½ − p¾) Σ−½(p½ − p¾), g(p) = Σ−½ =
½ −½
−½ ¾
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ÓÑ ØÖÝ g(p) = f (p)I
´Î ×Ù Ð Þ Ø ÓÒ Û Ø Ì ××ÓØ Ò ØÖ Üµ

ÆÓÖÑ Ð» Ù×× Ò Ñ ÐÝ Ò ¾ ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×
× Ö ÁÒ ÓÖÑ Ø ÓÒ Å ØÖ Ü ´ ÁÅµ
I(θ) = Ii,j(θ) = Eθ
∂
∂θi
ÐÓ p(x|θ)
∂
∂θj
ÐÓ p(x|θ) = Eθ[∂i l∂j l]
ÁÅ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð»ÑÙÐØ Ú Ö Ø ×Ô Ö Ð ×ØÖ ÙØ ÓÒ×
I(μ, σ) =
½
σ¾ ¼
¼ ¾
σ¾
=
½
σ¾
½ ¼
¼ ¾
I(μ, σ) = ½
σ¾ , ..., ½
σ¾ , ¾
σ¾
→ ÑÓÙÒØ ØÓ ÈÓ Ò Ö Ñ ØÖ x¾+ y¾
y¾ ¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò
ÙÔÔ Ö Ð ÔÐ Ò »×Ô º

Ê Ñ ÒÒ Ò ÈÓ Ò Ö ÙÔÔ Ö ÔÐ Ò Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
Ó× ρ(p½, p¾) = ½ +
p½ − p¾
¾
¾y½y¾
, g(p) =
½
y¾ ¼
¼ ½
y¾
=
½
y¾ I
ÓÒ ÓÖÑ Ð g(p) = ½
y¾ I

Å ØÖ Ü ËÈ ×Ô × Ò ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ËÝÑÑ ØÖ ÈÓ× Ø Ú Ò Ø Ñ ØÖ × M ∀x = ¼, x Mx > ¼º
¾ ËÈ (¾) Ñ ØÖ Ü ×Ô × Ñ Ò× ÓÒ d = ¿ ÔÓ× Ø Ú ÓÒ º
ËÈ (¾) (a, b, c) ∈ R¿ : a > ¼, ab − c¾ > ¼
Ò Ô Ð ÒØÓ × Ø× Ó Ñ Ò× ÓÒ ¾¸ × Ø ÓÖÖ ×ÔÓÒ Ò ØÓ
ÓÒ×Ø ÒØ Ú ÐÙ Ó Ø Ø ÖÑ Ò ÒØ Ó Ø Ð Ñ ÒØ×
ËÈ (¾) = ËËÈ (¾) × R+
Û Ö ËËÈ (¾) = {a, b, c =
√
½ − ab) : a > ¼, ab − c¾ = ½}
Å ÔÔ Ò M(a, b, c) → H¾
x¼ = a+b
¾ ≥ ½, x½ = a−b
¾ , x¾ = c Ò ÝÔ Ö ÓÐÓ ÑÓ Ð ¿
z = a−b+¾ic
¾+a+b Ò ÈÓ Ò Ö × ¿ º

Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º

Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Ò Ú Å Ù× ØÖ Ò× ÓÖÑºµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ

Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÇÔØ Ñ Þ Ø ÓÒ ÓÒ Ø Ñ Ò ÓÐ Û Ø
Ø Ò ØÙÖ Ð Ö ÒØ ½
ÆÙÑ Ö Ð ÓÔØ Ñ Þ Ø ÓÒ ÓÒ Ñ Ò ÓÐ ×
Ò ÓÒ Ñ Ò ÓÐ ¸ Ò Ö Ð Þ Ù Ð Ò Ö ÒØ
∇xf (x) = ( ∂
∂x½
f (x), ..., ∂
∂xD
f (x))º
Ò ØÙÖ Ð Ö ÒØ Ö ×Ô Ø× ÒØÖ Ò× ÓÑ ØÖÝ Ó Ø Ñ Ò ÓÐ
˜∇θf (θ) = (I(θ))−½ × ∇θf (θ)
´ Ù Ð Ò ÓÑ ØÖÝ I(θ) = Iºµ
ÒÚ Ö ÒØ ÙÒ Ö Ò × Ó Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ ´Ò ØÙÖ Ð Ö ÒØ
ÓÒØÖ Ú Ö ÒØ ÓÖÑ Ó Ø Ö ÒØµ
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÓÔØ Ñ Þ Ø ÓÒ ´Á Çµ¸ Ð ¹ ÓÜ ÓÔØ Ñ Þ Ø ÓÒ

Â Ö Ý³× ÔÖ ÓÖ ÖÓÑ ÚÓÐÙÑ Ð Ñ ÒØ
ÎÓÐÙÑ Ó Ø Ñ Ò ÓÐ
v(M) = |g(θ)| θ < ∞
ÓÒ× Ö Ø ÔÖ ÓÖ ×ØÖ ÙØ ÓÒ
q(θ) =
½
v(M)
|g(θ)|
ÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ
Ý × Ò ×Ø Ø ×Ø × ´ Ò ÓØ Ö ±α¹ÚÓÐÙÑ Ð Ñ ÒØ Ò Á |g(θ)|
½±α
¾ µ

Ò Ö ÒØ Ð ÓÑ ØÖÝÙ Ð ÓÒÒ ØÓÒ× ∇ Ò ∇∗
ÓÙÔÐ ÛØ Ñ ØÖ g

ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
ÓÒÒ Ø ÓÒ× × Ø ÓÖÖ ×ÔÓÒ Ò × ØÛ Ò Ú ØÓÖ× Ò Ø Ò ÒØ ×Ô ×
Tp Ò Tqº Ï Ò Ñ Ò ÓÐ M × Ñ Ò Rd ¸ Ø Ö Ü ×Ø× Ò ØÙÖ Ð
ÓÖÖ ×ÔÓÒ Ò º ÇØ ÖÛ × ¸ ÓÒÒ Ø ÓÒ× Ò ØÓ ÓÖÑ ÐÐÝ Ò º
ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø
Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × Ò Ù Ø
× Ñ ÓÑ ØÖ ×ØÖÙ ØÙÖ º Ð ÒÓØ ÓÒ× Ó Ó × ×¸ ØÒ ××» ÙÖÚ ØÙÖ ¸
Ô Ö ÐÐ ÐÒ ××¸ ØÓÖ× ÓÒº
Ê Ñ ÒÒ Ò ×ØÖÙ ØÙÖ (M, g) × Ò Ò Ù Ñ ØÖ ÓÒÒ Ø ÓÒ
∇g = ∇Ä = ∇(¼)¸ ÐÐ Ø Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒº

ÓÒÒ Ø ÓÒ× Ò Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ
p,q ÓÒÒ Ø ÓÒ ÖÓÑ Tp ØÓ Tq
p,q
: Tp → Tq
×Ó Ø Ø v ∈ Tp Ý Ð × w = p,q(v) ∈ Tq
ÖÓÑ Ð Ò Ö ×ÓÑÓÖÔ ×Ñ ØÛ Ò Ø Ò ÒØ ×Ô × Ó Ò ÓÖ Ò ÔÓ ÒØ× ØÓ
Ø Ò ÒØ ÔÓ ÒØ× ØÛ Ò Ö ØÖ ÖÝ ÔÓ ÒØ× Ý ÒØ Ö Ø Ò ÐÓÒ ÙÖÚ γp,q
ÓÒÒ Ø Ò p Û Ø qº
d¿ Ó ÒØ× Γijk(p) Ö ÕÙ Ö ÓÖ Ò Ò º
Î ØÓÖ Ð X ÐÓÒ γ Û Ø X(t + t) = γ(t),γ(t+ t) X(t)º Ï × Ý
Ú ØÓÖ Ð × {X(t) | t} ÐÓÒ γ Ö Ô Ö ÐÐ Ð Û Ø Ö ×Ô Ø ØÓ Ø
ÓÒÒ Ø ÓÒ º È Ö ÐÐ Ð ØÖ Ò×ÔÓÖØº

ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð
X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
∇ : V (M) × V (M) → V (M)
ÈÖÓÔ ÖØ × ∇ × ÓÙÐ Ú
∇f½X½+f¾X¾ Y = f½∇X½ Y + f¾∇X¾ Y
∇X (Y½ + Y¾) = ∇X Y½ + ∇X Y¾
∇X (fY ) = f ∇X Y + (Xf )Y
Ä Ò Ö ÓÑ Ò Ø ÓÒ× Ó ÓÚ Ö ÒØ Ö Ú Ø Ú × × ÓÚ Ö ÒØ Ö Ú Ø Ú

Î ØÓÖ Ð Ô Ö ÐÐ Ð ØÓ ÙÖÚ
Î ØÓÖ Ð Y ∈ V (M) × ∇¹Ô Ö ÐÐ Ð ØÓ ÙÖÚ γ(t)
∀t, ∀X ∈ V (M), ∇˙γ(t)Y = ¼

Ó × × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÙÖÚ × γ ÓÒ (M, ∇) ×Ù Ø Ø
∀t, ∇˙γ(t) ˙γ(t) = ¼

Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Ò Ø ÓÒÒ Ø ÓÒ
ÁÒ Ò Ö Ð¸ ×Ô Ý ÓÒÒ Ø ÓÒ» ÓÚ Ö ÒØ ∇ Ý D¿ Ó ÒØ×
∇∂i
∂j = Γk
ij ∂k, ∀i, j, k ∈ {½, ..., D}
(M, ∇)¸ θ ÓÓÖ Ò Ø ×Ý×Ø Ñº
θ × Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ
Î ØÓÖ Ð × {∂i = ∂
∂θi
} Ö Ô Ö ÐÐ Ð Ò M
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, ∇∂i
∂j = ¼
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, k, Γk
ij = ¼ ´ Ö ×ØÓ Ð ×ÝÑ ÓÐ×µ
Ï Ò Ø Ö Ü ×Ø× Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ ÓÖ (M, ∇)¸ Û × Ý Ø Ø M ×
Øº

Å ØÖ ÓÒÒ Ø ÓÒ ËÔ Ð × Ó Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒ
∇LC = ∇(¼)
Ú Ò (M, g)¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ ØÖ ÓÒÒ Ø ÓÒ¸ Ø Ä Ú ¹ Ú Ø
ÓÒÒ Ø ÓÒ
Γk
ij =
∂i gjk +∂j gkj −∂k gij
¾
Ò Û Ú g(∇
(¼)
∂i
∂j, ∂k ) = Γk
ij º
È Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÔÖ × ÖÚ × Ø ÒÒ Ö ÔÖÓ Ù Øº
Ì Ö ÓÖ Ò Ð × Ö ÔØ¸ Ò ÓÖØ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ

ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ
N ⊂ M Ó (M, N) × ÙØÓÔ Ö ÐÐ Ð
ÈÖÓÔ ÖØÝ ÓÒ Ø Ø Ò ÒØ ÙÒ Ð TN
∀X, Y ∈ TN, ∇X Y ∈ TN
È Ö ÐÐ Ð ´∇µ¹ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÓÖ N Ö Ø Ò ÒØ Ú ØÓÖ× Ó Nº
ÆÓØ ÓÒ Ó ÝÔ ÖÔÐ Ò × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÓÖ Ò Ò ÓÒÒ Ø ÓÒ Û Ø ÓÓÖ Ò Ø ×Ý×Ø Ñ θ¸ ÕÙ Ú Ð ÒØ ØÓ
Ò Ò ×Ù ×Ô Ó θ ∈ RDº

Ö ÒØ Ð¹ ÓÑ ØÖ ×ØÖÙ ØÙÖ × ËÙÑÑ ÖÝ
Manifold M
Riemannian manifold
metric tensor g (inner product)
(angle, orthogonality)
(M, g)
connection
covariant derivatives ∇
⇔ ∇
parallel transport
(flatness, autoparallel)
(M, ∇)
Levi-Civita connection
∇LC = ∇(g) (coefficients Γk
ij)
geodesics preserves ·, ·
ρ(P, Q) metric distance
(shortest paths)
g , ∇
Differential structure (M, g, ∇)
Dual connections (M, g, ∇, ∇∗
)

Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ×
ÌÛÓ Ò ÓÒÒ Ø ÓÒ× Ò ∗
´ Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ò ∇∗µ
ÈÖÓÔ ÖØÝ Ó ÒÒ Ö ÔÖÓ Ù Ø
X, Y g = X,
∗
Y g
Ê Ñ ÒÒ Ò ÓÑ ØÖÝ = ∗
γ
(M, g, ∇, ∇∗
)
X
Y
∗
Y
X
X, Y g = X,
∗
Y g

Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ× e¹ ÓÒÒ Ø ÓÒ Ò m¹ ÓÒÒ Ø ÓÒ
ÜÔÓÒ ÒØ Ð e¹ Ó × × Ò Ñ ÜØÙÖ m¹ Ó × × ÓÖ ÔÖÓ Ð ØÝ Ò× Ø ×
γm(p, q, α) : r(x, α) = αp(x) + (½ − α)q(x)
γe(p, q, α) : ÐÓ r(x, α) = αp(x) + (½ − α)q(x) − F(t)
∇
(e)
˙γe
˙γe(t) = ¼, ∇
(m)
˙γm
˙γm(t) = ¼
p
q
γm
γe
Ð Ø ÙØ ÒÓØ Ê Ñ ÒÒ Ò Ø e¹ Ø Ò m¹ Øº

Ù ÐÐÝ α¹ Ò ÓÒÒ Ø ÓÒ×
α ∈ R, ∇(α)
=
½ + α
¾
∇ +
½ − α
¾
∇∗
∇ = ∇e ÓÖ ∇m
Ù ÐÐÝ¹ ÓÙÔÐ Ò ÓÒÒ Ø ÓÒ× ∇(α) Ò ∇(−α)
α = ¼ ∇(¼) = ∇+∇∗
¾ = ∇Ä ¸ Ä Ú ¹ Ú Ø Ñ ØÖ ÓÒÒ Ø ÓÒ ´× Ð ¹ Ù Ð
∇(¼) = ∇(¼)∗
µ
¼¹ ÓÑ ØÖÝ × Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ´Ó Ø Ò ÙÖÚ ÙØ ÒÓØ ÓÖ ×ÓØÖÓÔ
Ù×× Ò×µ

Ù ÐÐÝ Ø ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×
θ¹ Ò η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
Ô ÖØ Ð Ö Ú Ø Ú × ∂i = ∂
∂θi
¸ ∂i = ∂
∂ηi
∂i , ∂j = δij ´ ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×µ
Ñ ØÖ ¹ ÓÙÔÐ ÓÒÒ Ø ÓÒ
X Y , Z = ∇X Y , Z + Y , ∇∗
X Z
Γijk(θ) = Γ∗
ijk(η) = ¼
Ì × × Ý Ú ÒØ ÓÚ Ö Ø Ê Ñ ÒÒ Ò ´∇LC µ ×ØÖÙ ØÙÖ Ó × × Ö
ÒÓÛÒ Ò ÐÓ× ÓÖÑ Û Ø Ø Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ×º Ä Ò × Ñ ÒØ× Ò
Ø Ö Ø θ¹ ÓÖ η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ×º

Ù ÐÐÝ Ø Ñ Ò ÓÐ × ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ F
ÒÓÒ Ð ÓÑ ØÖÝ Ò Ù Ý ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÓÒÚ Ü
ÙÒ Ø ÓÒ Fº
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ× F Ò Ä Ò Ö ÓÒÚ Ü ÓÒ Ù Ø G = F∗
Ù Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ× θ = ∇F∗(η) Ò η = ∇F(θ)º
Å ØÖ Ø Ò×ÓÖ g ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ Ù× Ò Ø ØÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
gij (θ) =
∂¾
∂θi ∂θj
F(θ), gij
(η) =
∂¾
∂ηi ∂ηj
G(η)
Ú Ö Ò ÖÓÑ ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ó ÓÒÚ Ü ÓÒ Ù Ø ×
D(P : Q) = F(θ(P)) + F∗
(η(Q)) − θ(P), η(Q)
Ì × × Ö Ñ Ò Ú Ö Ò Ò × Ù × ¹ µ ººº
ÜÔÓÒ ÒØ Ð Ñ ÐÝ p(x|θ) = ÜÔ( θ, x − F(θ))
Ì ÖÑ ÒÓÐÓ Ý F ÙÑÙÐ ÒØ ÙÒ Ø ÓÒ¸ G Ò Ø Ú ÒØÖÓÔÝ

ÓÑ ØÖÝ Ò Ù ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
F ×ØÖ ØÐÝ ÓÒÚ Ü ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
gij =
∂¾F
∂i ∂j
Γ
(α)
ijk =
½ − α
¾
∂¿F
∂i ∂j ∂k
Ù ÐÐÝ ÓÙÔÐ ±α¹ ÓÒÒ Ø ÓÒ× ´ Ò ØÓÖ× ÓÒ¹ Ö ¸ ÃÙÖÓ× ½ ¸ ½ µ
∀X, Y , Z ∈ V (M), Xg(Y , Z) = g(∇
(α)
X Y , Z) + g(Y , ∇
(α)
X Z)
ÙÖÚ ØÙÖ κ = ½−α¾
´ Ò Ò α = ±½ ⇔ κ = ¼¸ Øµ

Ö Ñ Ò Ú Ö Ò × ÒÓÐ Ö Ò ÖÓÑ ØÓÔØÑÞ ØÓÒ ÓÑÑÙÒØÝ

Ö Ñ Ò Ú Ö Ò ×
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Ò ÐÙ ×ººº
×ÕÙ Ö Ù Ð Ò ×Ø Ò F(x) = x, x ¸ Ò ×ÕÙ Ö Å Ð ÒÓ ×
F(x) = x Qx ´ÓÒÐÝ ×ÝÑÑ ØÖ Ú Ö Ò ×µ
´ ÜØ Ò µ ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò F(x) = i xi ÐÓ xi − xi
´Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒµ¸
ÃÄ(p : q) =
i
pi ÐÓ
pi
qi
+ qi − pi
F(x) = − i ÐÓ xi ´ ÙÖ Ò ÓÖÑ Ø ÓÒµ¸ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò
ÁË(p : q) =
i
pi
qi
− ÐÓ
pi
qi
− ½
Ò Ñ ÒÝ ÓØ Ö×

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´Áµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ F¸ Ö Ô ÔÐÓØ F : (x, F(x))º
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ f ¸ Ö Ô ÔÐÓØ F : (x, f (x))º
Bf (p||q) = f (p) − f (q) − (p − q)f (q)
F
X
pq
ˆp
ˆq
Hq
Bf(p||q)
Bf (.||q) Ú ÖØ Ð ×Ø Ò ØÛ Ò Ø ÝÔ ÖÔÐ Ò Hq Ø Ò ÒØ ØÓ F Ø Ð Ø
ÔÓ ÒØ ˆq¸ Ò Ø ØÖ Ò×Ð Ø ÝÔ ÖÔÐ Ò Ø ˆpº

Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁÁµ
Ö Ñ Ò Ú Ö Ò Ò Ô Ø ÒØ Ö Ð×
B(θ½ : θ¾) = F(θ½) − F(θ¾) − θ½ − θ¾, ∇F(θ¾) , ´½µ
=
θ½
θ¾
∇F(t) − ∇F(θ¾), t , ´¾µ
=
η¾
η½
∇F∗
(t) − ∇F∗
(η½), t , ´¿µ
= B∗
(η¾ : η½) ´ µ
θ
η = ∇F(θ)
θ2 θ1
η2
η1

Ù Ð Ö Ñ Ò Ú Ö Ò × ² ÒÓÒ Ð Ú Ö Ò ¿
ÓÖ P Ò Q ÐÓÒ Ò ØÓ Ø × Ñ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÃÄ(P : Q) = EP ÐÓ
p(x)
q(x)
≥ ¼
= BF (θQ : θP ) = BF∗ (ηP : ηQ)
= F(θQ) + F∗
(ηP ) − θQ, ηP
= AF (θQ : ηP ) = AF∗ (ηP : θQ)
Û Ø θQ ´Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒµ Ò ηP = EP [t(X)] = ∇F(θP) ´ÑÓÑ ÒØ
Ô Ö Ñ Ø Ö Þ Ø ÓÒµº
ÃÄ(P : Q) = p(x) ÐÓ
½
q(x)
x
H×(P:Q)
− p(x) ÐÓ
½
p(x)
x
H(p)=H×(P:P)
Ë ÒÒÓÒ ÖÓ××¹ ÒØÖÓÔÝ Ò ÒØÖÓÔÝ Ó ¿
H×
(P : Q) = F(θQ) − θQ, ∇F(θP ) − EP [k(x)]
H(P) = F(θP ) − θP , ∇F(θP ) − EP [k(x)]
H(P) = −F∗
(ηP ) − EP [k(x)]

ÁÁÁº ÈÖÒ ÔÐ Ó Å ÜÑÙÑÒØÖÓÔÝ ´Å Ü ÒØµ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½»½

Å Ü ÑÙÑ ÒØÖÓÔÝ ´Å Ü ÒØµ
ÍÒ Ö ÓÒ×ØÖ Ò ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñ ´Â ÝÒ ×³× ÔÖ Ò ÔÐ ÓÖ
Ñ Ü ÑÙÑ ÒÓÖ Ò µ
Ñ Ü
p
H(p) =
x
p(x) ÐÓ
½
p(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
Å Ü Ñ Þ Ò ÓÒ Ú ÙÒ Ø ÓÒ ´Hµ ×Ù Ø ØÓ Ð Ò Ö ÓÒ×ØÖ ÒØ×
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñº
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¾»½

ÑÓÖ Ò Ö Ð × ØØ Ò ÓÖ Å Ü ÒØ
Ú Ò ÔÖ ÓÖ q¸ Ò Ø ÐÓ× ×Ø ×ØÖ ÙØ ÓÒ Û × Ø × Ø Ð Ò Ö
ÓÒ×ØÖ ÒØ×
Ñ Ò
p
ÃÄ(p : q) =
x
p(x) ÐÓ
p(x)
q(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
→ Å Ü ÑÙÑ ÒØÖÓÔÝ Û Ò q = ½
n ¸ Ø ÙÒ ÓÖÑ ÔÖ ÓÖ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¿»½

Ò ÐÐÙ×ØÖ Ø ÓÒººº
prior q
p∗
= minp KL(p : q) m-ﬂat
e-projection
aﬃne subspace
induced by
constraints
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½

Ò ÐÝØ ×ÓÐÙØ ÓÒ ÜÔÓÒ ÒØ Ð Ñ Ð ×
Í× Ò Ä Ö Ò ÑÙÐØ ÔÐ Ö× θ Û Ø t(x) = (t½(x), ..., tD (x))
p(x) =
½
Z(θ)
ÜÔ ( θ, t(x) ) q(x)
ººº ÙØ Ä Ö Ò ÑÙÐØ ÔÐ Ö× Ù×Ù ÐÐÝ ÒÓØ Ò ÜÔÐ Ø ÓÖÑº
ÒÓÒ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × ÜÔ( θ, t(x) − F(θ) + k(x))
ÈÖ ÓÖ q Ú × Ø ÖÖ Ö Ñ ×ÙÖ q(x) = ek(x)
Z(θ) × Ø ÒÓÖÑ Ð Þ Ö
ÐÐ × ×ØÖ ÙØ ÓÒ¸ Å ÜÛ ÐÐ¹ ÓÐØÞÑ ÒÒ ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð
Ñ Ò ×

ØÓÝ Ü ÑÔÐ ÓÖ Å Ü ÒØ
×ØÖ ÙØ ÓÒ p Û Ø ×ÙÔÔÓÖØ R × E[X] = ¿ Ò E[X¾] = ¾ º Ï
×ØÖ ÙØ ÓÒ × ÓÙÐ Û ÓÓ× ÓÖ p
t(x) = (x, x¾) Ò × Ø ÙÒ Ú Ö Ø Ù×× Ò Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ×º
ËÓ Û ÓÓ× p ∼ N(μ = ¿, σ = )
Ò Ò Ö Ð ÒÓØ ×Ó ×Ý Û Ö Ú Ò E[Xk] ÓÖ k > ¾ººº ÙÒ ÕÙ Ò ×× ÙØ ÒÓ
ÐÓ× ÓÖÑººº

ÒÓØ Ö Ò× Ø ÙÐ ÔÖÓÓ
ÒÝ ÓØ Ö ×ØÖ ÙØ ÓÒ p = p∗ × Ø × Ý Ò Ø ÓÒ×ØÖ ÒØ× × ×Ù Ø Ø
ÃÄ(p : q) > ÃÄ(p∗ : q)º
ÓÒ× Ö Ø Ö Ò ÃÄ(p : q) − ÃÄ(p∗ : q)
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p∗
(x) ÐÓ
p∗(x)
q(x)
...
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p(x) ÐÓ
p∗(x)
q(x)
=
x
p(x) ÐÓ
p(x)
p∗(x)
= ÃÄ(p : p∗
) > ¼
ÈÝØ ÓÖ Ò Ö Ð Ø ÓÒ ÃÄ(p : q) = ÃÄ(p : p∗
) + ÃÄ(p∗
: q)

Ò ÐÐÙ×ØÖ Ø ÓÒ Ó Å Ü ÒØ Û Ø ÔÖ ÓÖ q(x)ººº
prior q
p∗
= minp KL(p : q) m-ﬂat
e-projection
aﬃne subspace
induced by
constraints
KL(p : q) = KL(p : p∗
) + KL(p∗
: q)
m-geodesic
p
KL(p : q)
KL(p : p∗
)
KL(p∗
: q)
ÈÝØ ÓÖ ×³ Ø ÓÖ Ñººº

ÓÑÔÙØ Ò Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ× × ÐÝ
ÈÖÓ Ø Ø ÔÖ ÓÖ q ÓÒØÓ A = {p | Ep[ti (x)] = mi , ∀i ∈ {½, ..., D}}º Ä Ø
Ai = {p | Ep[ti (x)] = mi }
Ä Ø t = ¼ Ò p¼ = q
Ê Ô Ø ÙÒØ Ð ÓÒÚ Ö Ò ´Û Ø Ò Ø Ö × ÓÐ µ
pt+½ = Á¹ÔÖÓ Ø ÓÒ Ó pt ÓÒØÓ Lt ÑÓ D
½ ÔÖÓ Ø ÓÒ ×Ý Ò θi ×Ù Ø Ø F=i (θi ) = mi ´ ÓÖ Ü ÑÔÐ ¸ Ù× Ò
Ð Ò × Ö µ

Ý Ð ´Ð Ò × Ö µ ½ Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ×
q
p∗ A1
A2
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½¼¼»½

ÁÎº ÁÒ ÓÖÑ ØÓÒ ÔÖÓ ØÓÒ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼½»½

ÈÖÓ Ø ÓÒ× e¹ÔÖÓ Ø ÓÒ Ò m¹ÔÖÓ Ø ÓÒ
∇(e)
= ∇(½)
, ∇(m)
= ∇(−½)
e¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × m¹ Ø Ò Ñ Ò Ñ Þ × Ø
m¹ Ú Ö Ò ÃÄ( Õ : p)º
m¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × e¹ Ø Ò Ñ Ò Ñ Þ × Ø
e¹ Ú Ö Ò ÃÄ(p : Õ )º
ÃÄ Ò Ö Ú Ö× ÃÄ Ö α¹ Ú Ö Ò × ÓÖ α = ±½ººº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¾»½

ÅÄ × Ñ Ò ÃÄ ÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(x) = ½
n i δ(x − xi )º
pe × ×ÓÐÙØ ÐÝ ÓÒØ ÒÙÓÙ× Û Ø Ö ×Ô Ø ØÓ pθ(x)
Ñ ÒÃÄ(pe(x) : pθ(x)) = pe(x) ÐÓ pe(x) x − pe(x) ÐÓ pθ(x) x
= Ñ Ò−H(pe) − Epe [ÐÓ pθ(x)]
≡ Ñ Ü
½
n
δ(x − xi ) ÐÓ pθ(x)
= Ñ Ü
½
n
i
ÐÓ pθ(xi ) = ÅÄ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¿»½

ÄÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
l(θ; X) =
½
n
n
i=½
ÐÓ p(xi |θ) = ÐÓ p(x|θ) pe
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(X) = ½
n
n
i=½ δ(X − X(i))
ÅÄ m¹ÔÖÓ Ø ÓÒ ÖÓÑ pe ØÓ Ø ÑÓ Ð ×Ù Ñ Ò ÓÐ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
m-projection
pe
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½

Æ ×Ø Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
P(θ) Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ò ×Ø × Ü ×ÓÑ Ô Ö Ñ Ø Ö× θ = (θ Ü , θÚ Ö Ð )º Ì Ò
Pθ Ü (θÚ Ö Ð ) × Ò ×Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝº Ø ×ØÖ Ø × Û Ø
ÙÒ ¹ÓÖ Ö ×Ý ØÓ Ò Ð Ð ÓÖ Ø Ñ ÐÐÝ ´Ä Ò Ö µ
ÙÖÚ × C(γ) ⊆ P(θ) Ñ Ò P(θ)º Ü ÑÔÐ
{N(μ, μ¾) | μ ∈ R} × Ñ ÒØÓ {N(μ, σ¾)}º

ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒØÖÓÔÝ H(θ) = −Eθ[ÐÓ p(x|θ)] = F(θ) − θ, ∇F(θ) = −F∗(η) ´Û Ò
k(x) = ¼¸ ÓØ ÖÛ × −E[k(x)]µº
D(p(ˆη) : p(γ)) = −H(ˆη) −
½
n
ÐÓ L(γ)
Ñ Ü
γ
L(γ) ≡ Ñ Ò
γ
D(p(ˆη) : p(γ))
ˆγ × Ø m¹ÔÖÓ Ø ÓÒ Ó Ø Ó × ÖÚ Ø ÓÒ ÔÓ ÒØ ´Û Ø η¹ ÓÓÖ Ò Ø ˆηµ

ÁÐÐÙ×ØÖ Ø ÓÒ ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
observed point
(ˆη = 1
n
n
i=1 t(xi))
MLE
curved exponential family
ˆγ = minγ KL(p(ˆη) : p(γ))
m-projection
Fisher
orthogonal
Ò ÓÖÑ Ø ÓÒ ÐÓ××¸ ×Ø Ø ×Ø Ð ÙÖÚ ØÙÖ º

Ë ÑÔÐ Ý Ò Ñ ÜØÙÖ ÑÓ Ð ÒØÓ × Ò Ð ÓÑÔÓÒ ÒØ
m¹ÔÖÓ Ø ÓÒ Ó Ø Ñ ÜØÙÖ ÑÓ Ð m ÓÒØÓ Ø e¹ Ø ´ ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ Ò ÓÐ µ ×Ø × Ò Ð ×ØÖ ÙØ ÓÒ Ø Ø ÔÔÖÓÜ Ñ Ø × Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ ÜØÙÖ × ÓÙÒ Ý Ø Ò Ø ÒØ Ö Ó Ñ ×× Ó Ø ÑÓÑ ÒØ Ô Ö Ñ Ø Ö×
¯η = i wi ηi º
m = i wipF (x|θi)
p∗
= pF (x|θ∗
)
p = pF (x|θ)
e-ﬂat MF
P p∗
= arg min KL(m : p)
KL(m : p) = KL(p∗
: p) + KL(m : p∗
)
m-geodesic
e-geodesic

ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò Ò × Ö Ò ÓÖÑ Ø ÓÒ
ÃÄ(θ + Δθ : θ) ≈
½
¾
θ I(θ)θ
ººº ×ÕÙ Ö Å Ð ÒÓ × Ò Ù ÐÓ ÐÐÝ Ý Ð ×ÕÙ Ö Å Ð ÒÓ × ×Ø Ò
ÓÖ Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Üº
gij (θ¼) =
∂¾
∂θi ∂θj
θ=θ¼
ÃÄ(P(θ) P(θ¼))
Ì × ÓÐ × ÓÖ f ¹ Ú Ö Ò × p(x)f (q(x)
p(x)) ν(x) ´Ø Ø Ò ÐÙ ×
ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò µ Ú Ö Ò Ò Ù Ò Ñ ØÖ ÔÖÓÔÓÖØ ÓÒ Ð ØÓ
× Ö Ò ÓÖÑ Ø ÓÒ ´È ÖØ ÁÁµº

Ø Ú Ë ÒÒÓÒ»Ê ÒÝ Ú Ö×Ù× ÒÓÒ¹ Ø Ú Ì× ÐÐ × ÒØÖÓÔ ×
Ø Ú ´Ë ÒÒÓÒ¹Ê ÒÝ µ
H(P × Q) = H(P) + H(Q)
ÒÓÒ¹ Ø Ú ´Ì× ÐÐ ×µ Tq(X) = ½
q−½(½ − i pq
i )
Tq(X × Y ) = Tq(X) + Tq(Y ) + (½ − q)Tq(X)Tq(Y )
ÓØ Ò ÙÒ Û Ø Ë ÖÑ ¹Å ØØ Ð ¿ ¾¹Ô Ö Ñ Ø Ö Ñ ÐÝ Ó
ÒØÖÓÔ ×
Ë ÖÑ ¹Å ØØ Ð ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ × Ò Ö Ð Ø Ú ÒØÖÓÔ × Ö ÒÓÛÒ
Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¼»½

È ÖØ Á ËÙÑÑ ÖÝ
× Ö Ò ÓÖÑ Ø ÓÒ ´ Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ µ ² ×Ù Ò Ý ´½ ¾¾µ
Ö ÒØ Ð ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
× Ö¹Ê Ó ÓÑ ØÖÝ ´ÀÓØ ÐÐ Ò ¸ ½ ¿¼µ g(θ) = I(θ)
Ù ÐÐÝ¹ ÓÙÔÐ ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ ´½ ¼³×¹½ ¼³×¸ Ò ÓÚ¸ Ñ Ö ¸
ÃÙÖÓ× µ (M, g, ∇(α)
, ∇(−α)
)¸ ÓÖ (M, g, T)
Ù ÐÐÝ¹ Ø Ñ Ò ÓÐ ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ F Ò ÒÓÒ Ð Ú Ö Ò
´ Ö Ñ Ò Ú Ö Ò µº
Ü Ù×Ø Ú ØÝ Ö Ñ Ò Ú Ö Ò × ÒÓÒ Ð Ú Ö Ò × Ò Ù ÐÐÝ Ø
×Ô ×
Å Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ ´Ë ÒÒÓÒ ÒØÖÓÔÝ ² ÜÔÓÒ ÒØ Ð Ñ Ð ×µ
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÔÖÓ Ø ÓÒ× ÅÄ ÖÓÑ ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ¸
ÅÄ Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ Ò Ò Ñ ÜØÙÖ × ÑÔÐ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½½»½

È ÖØ ÁÁ Ð ÓÖØ Ñ× ² ËÔÓ ×Ô Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¾»½

Ö ×ØÓÖ Ð Ö Ú Û Ó ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ µ
Ì Ö Ö × Ö Ô Ö Ó ×
½º ÓÑ ØÖ Ð ÓÖ Ø Ñ×
ÎÓÖÓÒÓ » Ð ÙÒ Ý¸ Ñ Ò ÑÙÑ ×Ô ÒÒ Ò ØÖ ×¸ Ø ¹×ØÖÙ ØÙÖ × ÓÖ ÔÖÓÜ Ñ ØÝ
ÕÙ Ö ×
¾º ÓÑ ØÖ ÓÑÔÙØ Ò
ÖÓ Ù×ØÒ ××¸ Ð Ö Ö Ó ÔÖ Ø ×¸ ÔÖÓ Ö Ñ× Ø Ø ÛÓÖ »× Ð
¿º ÓÑÔÙØ Ø ÓÒ Ð ØÓÔÓÐÓ Ý ´ ÐÓ Ð ÓÑ ØÖÝµ
× ÑÔÐ Ð ÓÑÔÐ Ü ×¸ ÐØÖ Ø ÓÒ×¸ ÒÔÙØ ×Ø Ò Ñ ØÖ Ü
→ Ô Ö Ñ Ó ÌÓÔÓÐÓ Ð Ø Ò ÐÝ× × ´Ì µ
Ë ÓÛ × Ò Ð Ö Ö × ÓÖ ×Ó ØÛ Ö
Ä ØØÔ »»ÛÛÛº ÐºÓÖ »
ÓÑ ØÖÝ ØÓÖÝ ØØÔ »» ÓÑ ØÖÝ ØÓÖÝº ÓÑ»
Ù ØØÔ× »»ÔÖÓ Øº ÒÖ º Ö» Ù »
Ý × ØØÔ »»ÛÛÛº Ý × º ÓÑ»
¾¼½ Ö Ò Æ Ð× Ò º ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ À ×ØÓÖÝ ½½¿»½

× × Ó Ù Ð ÒÓÑÔÙØ ØÓÒ Ð ÓÑ ØÖÝÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐ ÙÒ Ý ÓÑÔÐ Ü ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

Ù Ð Ò ´ÓÖ Ò ÖÝµ ÎÓÖÓÒÓ Ö Ñ×
P = {P½, ..., Pn} n ×Ø Ò Ø ÔÓ ÒØ Ò Ö ØÓÖ× Ò Ù Ð Ò ×Ô Ed
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i}
ÎÓÖÓÒÓ Ö Ñ = ÐÐ ÓÑÔÐ Ü V (Pi )³× Û Ø Ø Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ Ö Ñ× ÖÓÑ × ØÓÖ× Ò ∩ Ð ×Ô ×
× ØÓÖ×
(P, Q) = {X : DE (P, X) = DE (Q, X)}
→ Ö ÝÔ ÖÔÐ Ò × Ò Ù Ð Ò ÓÑ ØÖÝ
ÎÓÖÓÒÓ ÐÐ× × Ð ×Ô ÒØ Ö× Ø ÓÒ×
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i} = ∩n
i=½
+
(Pi , Pj )
DE (P, Q) = θ(P) − θ(Q) ¾ = d
i=½(θi (P) − θi (Q))¾
θ(P) = p ÖØ × Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Û Ø θj (Pi ) = p
(j)
i º
⇒ Å ÒÝ ÔÔÐ Ø ÓÒ× Ó ÎÓÖÓÒÓ Ö Ñ× ÖÝ×Ø Ð ÖÓÛØ ¸
Ó ÓÓ »ÕÙ ÒØ Þ Ø ÓÒ¸ ÑÓÐ ÙÐ ÒØ Ö ×» Ó Ò ¸ ÑÓØ ÓÒ ÔÐ ÒÒ Ò ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ Ö Ñ× Ò Ù Ð Ð ÙÒ Ý × ÑÔÐ Ð ÓÑÔÐ Ü
ÑÔØÝ ×Ô Ö ÔÖÓÔ ÖØÝ¸ Ñ Ü Ñ Ò Ò Ð ØÖ Ò ÙÐ Ø ÓÒ¸ Ø
ÎÓÖÓÒÓ ² Ù Ð Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
→ ÒÓÒ¹ Ò Ö Ø ÔÓ ÒØ × Ø ÒÓ (d + ¾) ÔÓ ÒØ× Ó¹×Ô Ö Ð
Ù Ð ØÝ ÎÓÖÓÒÓ k¹ ⇔ Ð ÙÒ Ý (d − k)¹× ÑÔÐ Ü
× ØÓÖ (P, Q) Ô ÖÔ Ò ÙÐ Ö ⊥ ØÓ × Ñ ÒØ [PQ]
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÎÓÖÓÒÓ ² Ð ÙÒ Ý ÓÑÔÐ Ü ØÝ Ò Ð ÓÖ Ø Ñ×
ÓÑ Ò ØÓÖ Ð ÓÑÔÐ Ü ØÝ Θ(n
d
¾ ) ´→ ÕÙ Ö Ø Ò ¿ µ
Ñ Ø ÓÖ ÔÓ ÒØ× ÓÒ Ø ÑÓÑ ÒØ ÙÖÚ t → (t, t¾, .., td )
ÓÒ×ØÖÙ Ø ÓÒ Θ(n ÐÓ n + n
d
¾ )¸ ÓÔØ Ñ Ð
×ÓÑ ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ× ÙØººº
Ω(n ÐÓ n + f )¸ ÒÓØ Ý Ø ÓÔØ Ñ Ð ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ×º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

ÈÓÔÙÐ Ø ÓÒ ×Ô × ÀÓØ ÐÐ Ò ´½ ¿¼µ ½ ² Ê Ó ´½ µ
ÖØ Ó Ö ÒØ Ð¹ ÓÑ ØÖ Ñ Ø Ó × Ò ×Ø Ø ×Ø ×º
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ÒÓÒ¹ Ò Ö Ø ÔÓ× Ø Ú Ò Ø µ Ò Ù×
× ´×ÑÓÓØ µ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ gº
×Ø Ò ØÛ Ò ØÛÓ ÔÓÔÙÐ Ø ÓÒ× Ò Ü Ý θ½ Ò θ¾ Ê Ñ ÒÒ Ò
×Ø Ò ´Ñ ØÖ Ð Ò Ø µ
Ö×Ø ÔÔÐ Ø ÓÒ× Ò ×Ø Ø ×Ø ×
× Ö¹ÀÓØ ÐÐ Ò ¹Ê Ó ´ ÀÊµ Ó × ×Ø Ò Ù× Ò Ð ×× Ø ÓÒ
Ò Ø ÐÓ× ×Ø ÔÓÔÙÐ Ø ÓÒ ØÓ Ú Ò × Ø Ó ÔÓÔÙÐ Ø ÓÒ×
Í× Ò Ø ×Ø× Ó × Ò Ò ´ÒÙÐÐ Ú Ö×Ù× ÐØ ÖÒ Ø Ú ÝÔÓØ × ×µ¸ ÔÓÛ Ö
Ó Ø ×Ø P(Ö Ø H¼|H¼ × Ð× )
→ Ò ×ÙÖ × Ò ÔÓÔÙÐ Ø ÓÒ ×Ô ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½

Ê Ó³× ×Ø Ò ´½ ¸ ÒØÖÓ Ù Ý ÀÓØ ÐÐ Ò ½ ¿¼ ½ µ
ÁÒ Ò Ø × Ñ Ð ×ÕÙ Ö Ð Ò Ø Ð Ñ ÒØ
s¾ =
i,j
gij (θ) θi θj = θT
I(θ) θ
Ó × Ò ×Ø Ò Ö Ö ØÓ ÜÔÐ ØÐÝ Ð ÙÐ Ø
ρ(p(x; θ½), p(x; θ¾)) = Ñ Ò
θ(s)
θ(¼)=θ½
θ(½)=θ¾
½
¼
θ
s
T
I(θ)
θ
s
s
Ê Ó³× ×Ø Ò ÒÓØ ÒÓÛÒ Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð×
Ú ÒØ × Å ØÖ ÔÖÓÔ ÖØÝ Ó ρ · Ñ ÒÝ ØÓÓÐ× Ó Ö ÒØ Ð
ÓÑ ØÖÝ ¿ Ê Ñ ÒÒ Ò ÄÓ » ÜÔ Ø Ò ÒØ»Ñ Ò ÓÐ Ñ ÔÔ Ò
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½¾¼»½

ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÒ Ø Ò ÒØ ÔÐ Ò × ÓÖ Ò ÖÝ ÓÒ ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× Ñ Ò× ½½
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾½»½

Å Ð ÒÓ × ÎÓÖÓÒÓ Ö Ñ× ÓÒ Ø Ò ÒØ ÔÐ Ò × ´ ÜØÖ Ò× µ
ÁÒ ×Ø Ø ×Ø ×¸ ÓÚ Ö Ò Ñ ØÖ Ü Σ ÓÙÒØ ÓÖ ÓØ ÓÖÖ Ð Ø ÓÒ Ò Ñ Ò× ÓÒ
´ ØÙÖ µ × Ð Ò
⇔
Ù Ð ×ØÖÙ ØÙÖ ≡ Ò ×ÓØÖÓÔ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
⇒ ÑÔØÝ Ö ÙÑ ÐÐ Ô× ÔÖÓÔ ÖØÝ ´ ÓÐ × Ý ÓÑÔÓ× Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¾»½

Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × Ó Ó ÕÙ Ú Ð ÒØ ÑÓ Ð×
Å ÒÝ ÕÙ Ú Ð ÒØ ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒ × Ò Û Ò Ñ ×ÙÖ Ò Ð ×µ Ú Ö×Ù×
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÑÔÙØ Ø ÓÒ ÐÐÝ¹ Ö Ò ÐÝ ÓÖ Ó × ×µ ÑÓ Ð×º
ÓÒÚ ÖØ ÕÙ Ú Ð ÒØÐÝ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö
× ¸ ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¿»½

Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½

Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Òµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ

ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× ¿ ¸ ¼
ÁÒ Ö ØÖ ÖÝ Ñ Ò× ÓÒ¸ Hd
ÁÒ ÃÐ Ò × ¸ Ø ÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ ÑÓÙÒØ× ØÓ Ð ÔÔ
Ò ÎÓÖÓÒÓ Ö Ñ¸ ÓÖ Ð ÔÔ ÔÓÛ Ö Ö Ñ Û Ø ÒØ
Ð ÔÔ Ò Ð ÓÖ Ø Ñ º
Ø Ò ÓÒÚ ÖØ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö × ¸
ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒµ Ú Ö×Ù× ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ
ÓÑÔÙØ Ò µ ÑÓ Ð×º

ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ Ò ÃÐ Ò × Ð ÔÔ ÔÓÛ Ö Ö Ñº
ÈÓÛ Ö ×Ø Ò
x − p ¾ − wp
→ Ø Ú ÐÝ Û Ø ÓÖ Ò ÖÝ ÎÓÖÓÒÓ ÓÖ Ò ÖÝ

ÓÑÑÓÒ ÑÓ Ð× Ó Ø ×ØÖ Ø ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ØØÔ× »»ÛÛÛºÝÓÙØÙ º ÓÑ»Û Ø Ú ÁÍÞÆÜ À Ó ´ Ñ Òº Ú Óµ
Å ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ËÓ ³½ µ

ÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐÝÒ Ò ÓÖÑ ØÓÒ ÓÑ ØÖÝ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¾ »½

Ù ÐÐÝ Ø ×Ô ÓÒ×ØÖÙ Ø ÓÒ ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ× F
ÓÒÚ Ü Ò ×ØÖ ØÐÝ Ö ÒØ Ð ÙÒ Ø ÓÒ F(θ) Ñ Ø×
Ä Ò Ö ¹ Ò Ð ÓÒÚ Ü ÓÒ Ù Ø F∗(η)
F∗
(η) = ×ÙÔ
θ
(θ η − F(θ)), ∇F(θ) = η = (∇F∗
)−½(θ)
ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ú × Ö × ØÓ ÒÓÒ Ð Ú Ö Ò ½
F(θ) + F∗
(η ) ≥ θ η ⇒ AF,F∗ (θ, η ) = F(θ) + F∗
(η ) − θ η
ÏÖ Ø Ò Ù× Ò × Ò Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ¸ Ø Ù Ð Ö Ñ Ò
Ú Ö Ò ×
BF (θp : θq) = F(θp) − F(θq) − (θp − θq) ∇F(θq)
= BF∗ (ηq : ηp) = AF,F∗(θp, ηq) = AF∗,F (ηq : θp)
Ù Ð Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ× Û Ø Ó × × ×ØÖ Ø
η = ∇F(θ) ⇔ θ = ∇F∗(η)º Ì Ò×ÓÖ g(θ) = g∗
(η)
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¿¼»½

Ù Ð Ú Ö Ò » Ö Ñ Ò Ù Ð × ØÓÖ× ¸ ¿¾¸ ¿
Ö Ñ Ò × ´Ö Ö Ò µ × ØÓÖ× Ö Ð Ø Ý ÓÒÚ Ü Ù Ð ØÝ
F (θ½, θ¾) = {θ ∈ Θ |BF (θ : θ½) = BF (θ : θ½)}
F∗ (η½, η¾) = {η ∈ H |BF∗ (η : η½) = BF∗ (η : η½)}
Ê Ø¹× × ØÓÖ → θ¹ ÝÔ ÖÔÐ Ò ¸ η¹ ÝÔ Ö×ÙÖ
HF (p, q) = {x ∈ X | BF (x : p ) = BF (x : q )}.
HF : ∇F(p) − ∇F(q), x + (F(p) − F(q) + q, ∇F(q) − p, ∇F(p) ) = ¼
Ä Ø¹× × ØÓÖ → θ¹ ÝÔ Ö×ÙÖ ¸ η¹ ÝÔ ÖÔÐ Ò
HF (p, q) = {x ∈ X | BF ( p : x) = BF ( q : x)}
HF : ∇F(x), q − p + F(p) − F(q) = ¼
ÝÔ ÖÔÐ Ò ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ Ó Ñ Ò× ÓÒ d − ½
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿½»½

Î ×Ù Ð Þ Ò Ö Ñ Ò × ØÓÖ× Ò θ¹ Ò η¹ ÓÓÖ Ò Ø
×Ý×Ø Ñ×
ÈÖ Ñ Ð ÓÓÖ Ò Ø × θ Ù Ð ÓÓÖ Ò Ø × η
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö× ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö×
p
q
Source Space: Itakura-Saito
p(0.52977081,0.72041688) q(0.85824458,0.29083834)
D(p,q)=0.66969016 D(q,p)=0.44835617
p’
q’
Gradient Space: Itakura-Saito dual
p’(-1.88760873,-1.38808518) q’(-1.16516903,-3.43833618)
D*(p’,q’)=0.44835617 D*(q’,p’)=0.66969016
(P, Q) Ò ∗
(P, Q) Ò ÜÔÖ ×× Ò Ø Ö θ/η ÓÓÖ Ò Ø ×Ý×Ø Ñ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿¾»½

ËÔ × Ó ×Ô Ö × ½¹ØÓ¹½
Ñ ÔÔÒ ØÛ Ò d¹×Ô Ö ×Ò (d + ½)¹ ÝÔ ÖÔÐ Ò × Ù×ÒÔÓØ ÒØ Ð ÙÒ ØÓÒ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿¿»½

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ò Ö Ñ Ò ÐÐ×
Ù Ð × Ö Ñ Ò ÐÐ× ´ ÓÙÒ Ò Ö Ñ Ò ×Ô Ö ×µ
ÐÐr
F (c, r) = {x ∈ X | BF (x : c) ≤ r}
ÐÐl
F (c, r) = {x ∈ X | BF (c : x) ≤ r}
Ä Ò Ö Ù Ð ØÝ
ÐÐl
F (c, r) = (∇F)−½( ÐÐr
F∗ (∇F(c), r))
ÁÐÐÙ×ØÖ Ø ÓÒ ÓÖ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò ¸ F(x) = − ÐÓ x
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½

Ò Ö Ð Þ Ð Û Ó Ó× Ò × Ò Ò Ö Ð Þ ÈÝØ ÓÖ ×³
Ø ÓÖ Ñ
Ò Ö Ð Þ Ð Û Ó Ó× Ò × θ Ò Ð Ñ Ø Q Ý Ø ∇¹ Ó × γPQ
Û Ø Ø ∇∗¹ Ó × γ∗
QR
D(P : R) = D(P : Q) + D(Q : R) − ˙γPQ ˙γ∗
QR Ó×(θ)
θP −θQ ,ηR −ηQ
Ù Ð Ò Ð Û Ó Ó× Ò × Û Ò D = BF ÓÖ F = ½
¾x x
−→
PR ¾ =
−→
PQ ¾ +
−→
QR ¾ − ¾
−→
PQ
−→
QR Ó× θ
Ò Ö Ð Þ ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ Û Ò θ = π
¾
D(P : R) = D(P : Q) + D(Q : R)
ÑÓÙÒØ ØÓ Ø Ø Ó×θ = ¼¸ Ø Ø × θP − θQ, ηR − ηQ = ¼

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ä Ø Ò Ñ Ô
F : x → ˆx = (x, F(x))¸ ÝÔ Ö×ÙÖ Ò Rd+½¸ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
Hp Ì Ò ÒØ ÝÔ ÖÔÐ Ò Ø ˆp¸ z = Hp(x) = x − p, ∇F(p) + F(p)
Ö Ñ Ò ×Ô Ö σ −→ ˆσ Û Ø ×ÙÔÔÓÖØ Ò ÝÔ ÖÔÐ Ò
Hσ : z = x − c, ∇F(c) + F(c) + rº
´»» ØÓ Hc Ò × Ø Ú ÖØ ÐÐÝ Ý rµ
ˆσ = F ∩ Hσº
ÒØ Ö× Ø ÓÒ Ó ÒÝ ÝÔ ÖÔÐ Ò H Û Ø F ÔÖÓ Ø× ÓÒØÓ X × Ö Ñ Ò
×Ô Ö
H : z = x, a + b → σ : ÐÐF (c = (∇F)−½(a), r = a, c − F(c) + b)

Ä Ø Ò »ÈÓÐ Ö ØÝ ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ Ö Ô F

ËÔ Ó Ö Ñ Ò ×Ô Ö × Ð ÓÖ Ø Ñ ÔÔÐ Ø ÓÒ×
Î ÔÒ ¹ ÖÚÓÒ Ò × Ñ Ò× ÓÒ ´Î ¹ Ñµ × d + ½ ÓÖ Ø Ð ×× Ó
Ö Ñ Ò ÐÐ×º
ÍÒ ÓÒ» ÒØ Ö× Ø ÓÒ Ó Ö Ñ Ò d¹×Ô Ö × ÖÓÑ Ö ÔÖ × ÒØ Ø ÓÒ Ð
(d + ½)¹ÔÓÐÝØÓÔ
Ê Ð Ü × Ó ØÛÓ Ö Ñ Ò ÐÐ× × Ò ÝÔ ÖÔÐ Ò ÔÔÐ Ø ÓÒ× ØÓ
Æ Ö ×Ø Æ ÓÖ × Ö ØÖ × Ð Ö Ñ Ò ÐÐ ØÖ × ÓÖ Ö Ñ Ò
Ú ÒØ ÔÓ ÒØ ØÖ × ¿ º

Ö Ñ Ò ÔÖÓÜ Ñ ØÝ Ø ×ØÖÙ ØÙÖ × ¿
Î ÒØ ÔÓ ÒØ ØÖ × Ô ÖØ Ø ÓÒ ×Ô ÓÖ Ò ØÓ Ö Ñ Ò ÐÐ×
È ÖØ Ø ÓÒÒ Ò ×Ô Û Ø ÒØ Ö× Ø ÓÒ Ó ÃÙÐÐ ¹Ä Ð Ö ÐÐ×
→ ÒØ Ò Ö ×Ø Ò ÓÙÖ ÕÙ Ö × Ò Ò ÓÖÑ Ø ÓÒ ×Ô ×

ÔÔÐ Ø ÓÒ Å Ò ÑÙÑ Ò ÐÓ× Ò ÐÐ ¿¼¸
ÌÓ ÝÔ ÖÔÐ Ò Hσ = H(a, b) : z = a, x + b Ò Rd+½¸ ÓÖÖ ×ÔÓÒ × ÐÐ
σ = ÐÐ(c, r) Ò Rd Û Ø ÒØ Ö c = ∇F∗(a) Ò Ö Ù×
r = a, c − F(c) + b = a, ∇F∗
(a) − F(∇F∗
(a)) + b = F∗
(a) + b
× Ò F(∇F∗(a)) = ∇F∗(a), a − F∗(a) ´ ÓÙÒ ÕÙ Ð ØÝµ
Ë Ò Ð ×Ô H(a, b)− : z ≤ a, x + b Ø Ø ÓÒØ Ò× ÐÐ Ð Ø ÔÓ ÒØ×
Ñ Ò
a,b
r = F∗
(a) + b,
∀i ∈ {½, ..., n}, a, xi + b − F(xi ) ≥ ¼
→ ÓÒÚ Ü ÈÖÓ Ö Ñ ´ Èµ Û Ø Ð Ò Ö Ò ÕÙ Ð ØÝ ÓÒ×ØÖ ÒØ×
F(θ) = F∗(η) = ½
¾x x È → ÉÙ Ö Ø ÈÖÓ Ö ÑÑ Ò ´ÉÈµ ½ Ù× Ò
ËÎÅº ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ù× × ÔÖ Ñ Ø Ú Ò ËÎÅ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¼»½

ËÑ ÐÐ ×Ø Ö Ñ Ò Ò ÐÓ× Ò ÐÐ× ¸ ¾
Ð ÓÖ Ø Ñ ½ (P, l)º
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l − ½ Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci ÛÖØº BF
si ← Ö Ñ Ün
j=½BF (ci : pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø η¹× Ñ ÒØ [ci , psi
]η
ci+½ ← ∇F−½(∇F(ci )# ½
i+½
∇F(psi
))
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = BF (cl : X))
θ¹¸ η¹ Ó × × Ñ ÒØ× Ò Ù ÐÐÝ Ø ÓÑ ØÖÝº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ½»½

ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ× ÓÖ ¹× Ø×
ÓÖ ¹× Ø C ⊆ S ËÇÄ(S) ≤ ËÇÄ(C) ≤ (½ + )ËÇÄ(S)
ÜØ Ò ÃÙÐÐ ¹Ä Ð Ö ÁØ ÙÖ ¹Ë ØÓ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¾»½

ÁÒËÔ Ö ÔÖ Ø × ÛÖØ Ö Ñ Ò Ú Ö Ò ×
ÁÑÔÐ Ø Ö ÔÖ × ÒØ Ø ÓÒ Ó Ö Ñ Ò ×Ô Ö ×» ÐÐ× ÓÒ× Ö d + ½ ×ÙÔÔÓÖØ
ÔÓ ÒØ× ÓÒ Ø ÓÙÒ ÖÝ
Á× x Ò× Ø Ö Ñ Ò ÐÐ Ò Ý d + ½ ×ÙÔÔÓÖØ ÔÓ ÒØ×
ÁÒËÔ Ö (x; p¼, ..., pd ) =
½ ... ½ ½
p¼ ... pd x
F(p¼) ... F(pd ) F(x)
× Ò Ó (d + ¾) × (d + ¾) Ñ ØÖ Ü Ø ÖÑ Ò ÒØ
ÁÒËÔ Ö (x; p¼, ..., pd ) × Ò Ø Ú ¸ ÒÙÐÐ ÓÖ ÔÓ× Ø Ú Ô Ò Ò ÓÒ Û Ø Ö
x Ð × Ò× ¸ ÓÒ¸ ÓÖ ÓÙØ× σº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¿»½

ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × ¿
c = a#M
t b ÔÓ ÒØ γ(t) ÓÒ Ø Ó × Ð Ò × Ñ ÒØ [ab] ÛÖØ Å ×Ù Ø Ø
ρM(a, c) = t × ρM(a, b) ´Û Ø ρM Ø Ñ ØÖ ×Ø Ò ÓÒ Ñ Ò ÓÐ Mµ
Ð ÓÖ Ø Ñ ¾ Ó
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci
si ← Ö Ñ Ün
j=½ρ(ci , pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø Ó × Ð Ò × Ñ ÒØ
[ci , psi
]
ci+½ ← ci #M
½
i+½
psi
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = ρ(cl , P))
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½

ÔÔÖÓÜ Ñ Ø Ò Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò ÝÔ Ö ÓÐ
×Ô
ÁÒ Ø Ð Þ Ø ÓÒ Ö×Ø Ø Ö Ø ÓÒ
Ë ÓÒ Ø Ö Ø ÓÒ Ì Ö Ø Ö Ø ÓÒ
ÓÙÖØ Ø Ö Ø ÓÒ Ø Ö ½¼ Ø Ö Ø ÓÒ×
ØØÔ »»ÛÛÛº×ÓÒÝ ×Ðº Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ò Ó Ó»Ê Ñ ÒÒÅ Ò Ñ Ü»

Ö Ñ Ò Ù Ð Ö ÙÐ Ö» Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×
Ñ Ó × Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×· ÑÔØÝ Ö Ñ Ò ÐÐ×
Ð ÙÒ Ý ÜÔÓÒ ÒØ Ð Ðº À ÐÐ Ò Ö¹Ð Ðº
ÑÔØÝ Ö Ñ Ò ×Ô Ö ÔÖÓÔ ÖØÝ¸
Ó × ØÖ Ò Ð × Ñ Ð ÙÒ Ýº

Ù ÐÐÝ ÓÖØ Ó ÓÒ Ð Ö Ñ Ò ÎÓÖÓÒÓ ² ÌÖ Ò ÙÐ Ø ÓÒ×
ÇÖ Ò ÖÝ ÎÓÖÓÒÓ Ö Ñ × Ô ÖÔ Ò ÙÐ Ö ØÓ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
ÎÓÖÓÒÓ k¹ ⊥ Ð ÙÒ Ý d − k¹
(P, Q) ⊥ γ∗
(P, Q)
γ(P, Q) ⊥ ∗
(P, Q)

ËÝÒØ Ø ÓÑ ØÖÝ Ü ØÖ Ø ÖÞ ØÓÒ Ó ØÝ × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ÙØÒÓ ÐÓ× ¹ ÓÖÑ ÒÓÛÒ
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½

Ý × Ò ÝÔÓØ × × Ø ×Ø Ò ¸ Å È ÖÙÐ Ò ÔÖÓ Ð ØÝ Ó
ÖÖÓÖ Pe
Å ÜØÙÖ p(x) = i wi pi (x)º Ì × Ð ×× Ý x Ï ÓÑÔÓÒ ÒØ
ÈÖ ÓÖ ÔÖÓ Ð Ø × wi = P(X ∼ Pi ) > ¼ ´Û Ø n
i=½ wi = ½µ
ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø × P(X = x|X ∼ Pi )º
P(X = x) =
n
i=½
P(X ∼ Pi )P(X = x|X ∼ Pi ) =
n
i=½
wi P(X|Pi )
×Ø ÖÙÐ Å Ü ÑÙÑ ÈÓ×Ø Ö ÓÖ ÔÖÓ Ð ØÝ ´Å Èµ ÖÙÐ
Ñ Ô(x) = Ö Ñ Üi∈{½,...,n} wi pi (x)
Û Ö pi (x) = P(X = x|X ∼ Pi ) Ö Ø ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø ×º
ÓÖ w½ = w¾ = ½
¾¸ ÔÖÓ Ð ØÝ Ó ÖÖÓÖ
Pe = ½
¾ Ñ Ò(p½(x), p¾(x)) x ≤ ½
¾ p½(x)αp¾(x)½−α x¸ ÓÖ α ∈ (¼, ½)º
×Ø ÜÔÓÒ ÒØ α∗

ÖÖÓÖ ÜÔÓÒ ÒØ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × Ù Ð ØÝ ⇔
ÜÔÓÒ ÒØ Ð Ñ Ð × Ú Ò Ø Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø × →
Ê Ù n Ø ØÓ D ×Ø Ø ×Ø ×º
∀x ∈ X, P(x|θ) = ÜÔ(θ t(x) − F(θ) + k(x))
F(·) ÐÓ ¹ÒÓÖÑ Ð Þ Ö» ÙÑÙÐ ÒØ»Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒ¸ k(x) ÙÜ Ð ÖÝ Ø ÖÑ
ÓÖ ÖÖ Ö Ñ ×ÙÖ º
Å Ü ÑÙÑ Ð Ð ÓÓ ×Ø Ñ ØÓÖ ´ÅÄ µ ∇F(ˆθ) = ½
n i t(Xi ) = ˆη
Ø ÓÒ ØÛ Ò ÜÔÓÒ ÒØ Ð Ñ Ð × Ò Ö Ñ Ò Ú Ö Ò ×
ÐÓ p(x|θ) = −BF∗ (t(x) : η) + F∗
(t(x)) + k(x)
ÜÔÓÒ ÒØ Ð Ñ Ð × Ö ÐÓ ¹ ÓÒ Ú
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¼»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ
ÇÒ Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ñ Ò ÓÐ ¸ ÖÒÓ α¹ Ó ÒØ
cα(Pθ½ : Pθ¾ ) = pα
θ½
(x)p½−α
θ¾
(x) μ(x) = ÜÔ(−J
(α)
F (θ½ : θ¾))
Ë Û Â Ò× Ò Ú Ö Ò ¾ ÓÒ Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö×
Â(α)
(θ½ : θ¾) = α (θ½) + (½− α) (θ¾) − (θ
(α)
½¾ )
ÖÒÓ Ò ÓÖÑ Ø ÓÒ Ö Ñ Ò Ú Ö Ò ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×
C(Pθ½ : Pθ¾ ) = B(θ½ : θ
(α∗)
½¾ ) = B(θ¾ : θ
(α∗)
½¾ )
Ò Ò ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ α∗
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ½»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò ÖÝ ÝÔÓØ × × ¾¿
ÖÒÓ ×ØÖ ÙØ ÓÒ P∗
P∗
= Pθ∗
½¾
= Ge(P½, P¾) ∩ m(P½, P¾)
e¹ Ó ×
Ge(P½, P¾) = E
(λ)
½¾ | θ(E
(λ)
½¾ ) = (½ − λ)θ½ + λθ¾, λ ∈ [¼, ½] ,
m¹ × ØÓÖ
m(P½, P¾) : P | F(θ½) − F(θ¾) + η(P) Δθ = ¼ ,
ÇÔØ Ñ Ð Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Ó P∗
θ∗
= θ
(α∗)
½¾ = Ö Ñ Òθ∈ΘB(θ½ : θ) = Ö Ñ Òθ∈ΘB(θ¾ : θ).
→ ÐÓ× ¹ ÓÖÑ ÓÖ ÓÖ Ö¹½ Ñ ÐÝ¸ ÓÖ ÒØ × Ø ÓÒ × Ö º
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¾»½

ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò ÖÝ ÝÔÓØ × ×
P∗
= Pθ∗
½¾
= Ge(P½, P¾) ∩ m(P½, P¾)
pθ1
pθ2
pθ∗
12
m-bisector
e-geodesic Ge(Pθ1
, Pθ2
)
η-coordinate system
Pθ∗
12
C(θ1 : θ2) = B(θ1 : θ∗
12)
Bim(Pθ1
, Pθ2
)
Ò ÖÝ ÀÝÔÓØ × × Ì ×Ø Ò Pe ÓÙÒ Ù× Ò Ö Ñ Ò Ú Ö Ò ØÛ Ò
ÖÒÓ ×ØÖ ÙØ ÓÒ Ò Ð ××¹ ÓÒ Ø ÓÒ Ð ×ØÖ ÙØ ÓÒ×º
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¿»½

ÐÙ×Ø ÖÒ Ò Ä ÖÒÒÒØ ×Ø Ø×Ø Ð ÑÜØÙÖ ×

Ì ×ØÓÖØ ÓÒ Ð ×× Ó α¹ Ú Ö Ò ×
ÓÖ α ∈ R = ±½¸ α¹ Ú Ö Ò × ÓÒ ÔÓ× Ø Ú ÖÖ Ý× ½
Dα(p : q)
Õ
=
d
i=½
½ − α¾
½ − α
¾
pi
+
½ + α
¾
qi
− (pi
)
½−α
¾ (qi
)
½+α
¾ Û Ø
Dα(p : q) = D−α(q : p) Ò Ò Ø Ð Ñ Ø × × D−½(p : q) = ÃÄ(p : q)
Ò D½(p : q) = ÃÄ(q : p)¸ Û Ö ÃÄ × Ø ÜØ Ò ÃÙÐÐ Ä Ð Ö
Ú Ö Ò ÃÄ(p : q)
Õ
= d
i=½ pi ÐÓ pi
qi + qi − pi
α¹ Ú Ö Ò × ÐÓÒ ØÓ Ø Ð ×× Ó × ×Þ Ö f ¹ Ú Ö Ò ×
If (p : q)
Õ
= d
i=½ qi f pi
qi Û Ø Ø ÓÐÐÓÛ Ò Ò Ö ØÓÖ
f (t) =
⎧
⎨
⎩
½−α¾ ½ − t(½+α)/¾ , α = ±½,
t ÐÒt, α = ½,
− ÐÒt, α = −½
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ

ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ ÓÖ α¹ Ú Ö Ò × ½
Í× ∇(α) Ò ∇(−α) Ù ÐÐÝ ÓÙÔÐ ÓÒÒ Ø ÓÒ× Û Ø Ö ×Ô Ø ØÓ gº
Xg(Y , Z) = g(∇
(α)
X , Z) + g(Y , ∇
(−α)
X Z)
γ
(α)
PQ ⊥ γ
(−α)
QR
Dα(P : Q) = Dα(P : Q) + Dα(Q : R) − κDα(P : Q)Dα(Q : R)
ÙÖÚ ØÙÖ κ = α¾−½º

Å Ü Ú Ö Ò × ¾
Ò ÓÒ Ø Ö Ô Ö Ñ Ø Ö× p¸ q Ò r
Mλ(p : q : r)
Õ
= λD(p : q) + (½ − λ)D(q : r)
ÓÖ λ ∈ [¼, ½]º
Å Ü Ú Ö Ò × Ò ÐÙ
Ø × Ú Ö Ò × ÓÖ λ ∈ {¼, ½}¸
Ø ×ÝÑÑ ØÖ Þ ´ Ö Ø Ñ Ø Ñ Òµ Ú Ö Ò ÓÖ λ = ½
¾¸ ÓÖ × Û
×ÝÑÑ ØÖ Þ ÓÖ λ = ½
¾º
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

ËÝÑÑ ØÖ Þ Ò α¹ Ú Ö Ò ×
Sα(p, q) =
½
¾
(Dα(p : q) + Dα(q : p)) = S−α(p, q),
= M½
¾
(p : q : p),
ÓÖ α = ±½¸ Û Ø Ð Ó Â Ö Ý× Ú Ö Ò
S±½(p, q) =
½
¾
d
i=½
(pi
− qi
) ÐÓ
pi
qi
ÒØÖÓ × ÓÖ ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò Ù×Ù ÐÐÝ ÒÓØ Ò ÐÓ× ÓÖÑº
ÀÓÛ ØÓ Ô Ö ÓÖÑ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Û Ø ÓÙØ ÐÓ× ÓÖÑ ÒØÖÓ ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ ¾¾
Â Ö Ý× Ú Ö Ò × ×ÝÑÑ ØÖ Þ α = ±½ Ú Ö Ò ×º
Ì Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ c = (c½, ..., cd ) Ó × Ø {h½, ..., hn} Ó n
Û Ø ÔÓ× Ø Ú ×ØÓ Ö Ñ× Û Ø d Ò× Ò Ð ÙÐ Ø
ÓÑÔÓÒ ÒØ¹Û × Ü ØÐÝ Ù× Ò Ø Ä Ñ ÖØ W Ò ÐÝØ ÙÒ Ø ÓÒ
ci
=
ai
W ai
gi e
Û Ö ai = n
j=½ πjhi
j ÒÓØ × Ø ÓÓÖ Ò Ø ¹Û × Ö Ø Ñ Ø Û Ø
Ñ Ò× Ò gi = n
j=½(hi
j )πj Ø ÓÓÖ Ò Ø ¹Û × ÓÑ ØÖ Û Ø
Ñ Ò×º
Ì Ä Ñ ÖØ Ò ÐÝØ ÙÒ Ø ÓÒ W ´ÔÓ× Ø Ú Ö Ò µ × Ò Ý
W (x)eW (x) = x ÓÖ x ≥ ¼º
→ Â Ö Ý× k¹Ñ Ò× ÐÙ×Ø Ö Ò º ÙØ ÓÖ α = ½¸ ÓÛ ØÓ ÐÙ×Ø Ö
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Å Ü α¹ Ú Ö Ò ×»α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò
Å Ü α¹ Ú Ö Ò ØÛ Ò ×ØÓ Ö Ñ x ØÓ ØÛÓ ×ØÓ Ö Ñ× p Ò q
Mλ,α(p : x : q) = λDα(p : x) + (½ − λ)Dα(x : q),
= λD−α(x : p) + (½ − λ)D−α(q : x),
= M½−λ,−α(q : x : p),
α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò × Ó Ø Ò ÓÖ λ = ½
¾
Sα(p, q) = M½
¾
,α(q : p : q) = M½
¾
,α(p : q : p)
× Û ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò × Ò Ý
Sλ,α(p : q) = λDα(p : q) + (½ − λ)Dα(q : p)
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¼»½

Å Ü Ú Ö Ò ¹ × k¹Ñ Ò× ÐÙ×Ø Ö Ò
k ×Ø Ò Ø × × ÖÓÑ Ø Ø × Ø Û Ø li = ri º
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ Ú Ö Ò D(·, ·)¸ ÒØ Ö k > ¼¸ Ö Ð
λ ∈ [¼, ½]
ÁÒ Ø Ð Þ Ð Ø¹× »Ö Ø¹× × × C = {(li , ri )}k
i=½
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ci ← {h ∈ H : i = Ö Ñ Òj Mλ(lj : h : rj )}
Ò
»» Ù Ð¹× ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← Ö Ñ Òx D(Ci : x) = h∈Ci
wj D(h : x)
li ← Ö Ñ Òx D(x : Ci ) = h∈Ci
wj D(x : h)
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ½»½

Å Ü α¹ Ö ÐÙ×Ø Ö Ò Å ´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k > ¼¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C = {(li , ri )}k
i=½ ← Å Ë(H, k, λ, α)
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ai ← {h ∈ H : i = Ö Ñ Òj Mλ,α(lj : h : rj )}
Ò
»» ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← h∈Ai
wi h
½−α
¾
¾
½−α
li ← h∈Ai
wi h
½+α
¾
¾
½+α
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¾»½

ÓÙÔÐ k¹Å Ò×·· α¹Ë Ò
Ð ÓÖ Ø Ñ ¿ Å Ü α¹× Ò Å Ë´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k ≥ ½¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C ← hj Û Ø ÙÒ ÓÖÑ ÔÖÓ Ð ØÝ
ÓÖ i = ¾, ¿, ..., k Ó
È Ø Ö Ò ÓÑ ×ØÓ Ö Ñ h ∈ H Û Ø ÔÖÓ Ð ØÝ
πH(h)
Õ
=
whMλ,α(ch : h : ch)
y∈H wy Mλ,α(cy : y : cy )
, ´ µ
»»Û Ö (ch, ch)
Õ
= Ö Ñ Ò(z,z)∈C Mλ,α(z : h : z)
C ← C ∪ {(h, h)}
Ò
ÇÙØÔÙØ Ë Ø Ó Ò Ø Ð ÐÙ×Ø Ö ÒØ Ö× C
→ Ù Ö ÒØ ÔÖÓ Ð ×Ø ÓÙÒ º ÂÙ×Ø Ò ØÓ Ò Ø Ð Þ ÆÓ ÒØÖÓ
ÓÑÔÙØ Ø ÓÒ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¿»½

Ä ÖÒ Ò ÅÅ× ÓÑ ØÖ Ö ÐÙ×Ø Ö Ò Ú ÛÔÓ ÒØ
Ä ÖÒ Ø Ô Ö Ñ Ø Ö× Ó Ñ ÜØÙÖ m(x) = k
i=½ wi p(x|θi )
Å Ü Ñ Þ Ø ÓÑÔÐ Ø Ø Ð Ð ÓÓ ÐÙ×Ø Ö Ò Ó Ø Ú ÙÒ Ø ÓÒ
Ñ Ü
W ,Λ
lc(W , Λ) =
n
i=½
k
j=½
zi,j ÐÓ (wj p(xi |θj ))
= Ñ Ü
Λ
n
i=½
k
Ñ Ü
j=½
ÐÓ (wj p(xi |θj ))
≡ Ñ Ò
W ,Λ
n
i=½
k
Ñ Ò
j=½
Dj (xi ) ,
Û Ö cj = (wj , θj ) ´ ÐÙ×Ø Ö ÔÖÓØÓØÝÔ µ Ò Dj (xi ) = − ÐÓ p(xi |θj ) − ÐÓ wj
Ö ÔÓØ ÒØ Ð ×Ø Ò ¹Ð ÙÒ Ø ÓÒ×º
ÙÖØ Ö ØØ ØÓ ÐÙ×Ø Ö Ö ÒØ Ñ ÐÝ Ó ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ×º
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½

Ò Ö Ð Þ k¹ÅÄ ÓÖ Ð ÖÒ Ò ×Ø Ø ×Ø Ð Ñ ÜØÙÖ ×
ÅÓ Ð¹ × ÐÙ×Ø Ö Ò ×× ÒÑ ÒØ Ó ÔÓ ÒØ× ØÓ ÐÙ×Ø Ö×
Dwj ,θj ,Fj
(x) = − ÐÓ pFj
(x; θj ) − ÐÓ wj
k¹ ÅÄ
½º ÁÒ Ø Ð Þ Û Ø W ∈ Δk Ò Ñ ÐÝ ØÝÔ (F½, ..., Fk ) ÓÖ ÐÙ×Ø Ö
¾º ËÓÐÚ Ñ ÒΛ i Ñ Òj Dj (xi ) ´ ÒØ Ö¹ × ÐÙ×Ø Ö Ò ÓÖ W Ü µ Û Ø
ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ× Dj (xi ) = − ÐÓ pFj
(xi |θj ) − ÐÓ wj
¿º ËÓÐÚ Ñ ÐÝ ØÝÔ × Ñ Ü Ñ Þ Ò Ø ÅÄ Ò ÐÙ×Ø Ö Cj Ý ÓÓ× Ò
Ø Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ× Fj = F(γj ) Ø Ø Ý Ð × Ø ×Ø
Ð Ð ÓÓ Ñ ÒF½=F(γ½),...,Fk=F(γk )∈F(γ) i Ñ Òj Dwj ,θj ,Fj
(xi )º
∀l, γl = Ñ Üj F∗
j (ˆηl = ½
nl x∈Cl
tj (x)) + ½
nl x∈Cl
k(x)º
º ÍÔ Ø Û Ø W × Ø ÐÙ×Ø Ö ÔÓ ÒØ ÔÖÓÔÓÖØ ÓÒ
º Ì ×Ø ÓÖ ÓÒÚ Ö Ò Ò Ó ØÓ ×Ø Ô ¾µ ÓØ ÖÛ × º
Ö Û × ¸ ÒÓÒ¹ ÓÒ× ×Ø ÒØ ×Ø Ñ ØÓÖ Ù ØÓ ÎÓÖÓÒÓ ×ÙÔÔÓÖØ
ØÖÙÒ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ½½ºk¹ ÅÄ ½ »½

ÓÑÔÙØÒ f ¹ Ú Ö Ò × ÓÖÒ Ö f ÝÓÒ×ØÓ ×Ø ÅÓÒØ ¹ ÖÐÓÒÙÑ Ö Ð ÒØ Ö ØÓÒ
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½

Ð ¹Ë ÐÚ Ý¹ × ×Þ Ö f ¹ Ú Ö Ò ×
If (X½ : X¾) = x½(x)f
x¾(x)
x½(x)
ν(x) ≥ ¼
Æ Ñ Ó Ø f ¹ Ú Ö Ò ÓÖÑÙÐ If (P : Q) Ò Ö ØÓÖ f (u) Û Ø f (½) = ¼
ÌÓØ Ð Ú Ö Ø ÓÒ ´Ñ ØÖ µ ½
¾ |p(x) − q(x)| ν(x) ½
¾ |u − ½|
ËÕÙ Ö À ÐÐ Ò Ö ( p(x) − q(x))¾ ν(x) (
√
u − ½)¾
È Ö×ÓÒ χ¾
P
(q(x)−p(x))¾
p(x)
ν(x) (u − ½)¾
Æ ÝÑ Ò χ¾
N
(p(x)−q(x))¾
q(x)
ν(x)
(½−u)¾
u
È Ö×ÓÒ¹Î χk
P
(q(x)−λp(x))k
pk−½(x)
ν(x) (u − ½)k
È Ö×ÓÒ¹Î |χ|k
P
|q(x)−λp(x)|k
pk−½(x)
ν(x) |u − ½|k
ÃÙÐÐ ¹Ä Ð Ö p(x) ÐÓ
p(x)
q(x)
ν(x) − ÐÓ u
Ö Ú Ö× ÃÙÐÐ ¹Ä Ð Ö q(x) ÐÓ
q(x)
p(x)
ν(x) u ÐÓ u
α¹ Ú Ö Ò
½−α¾ (½ − p
½−α
¾ (x)q½+α
(x) ν(x))
½−α¾ (½ − u
½+α
¾ )
Â Ò× Ò¹Ë ÒÒÓÒ ½
¾ (p(x) ÐÓ ¾p(x)
p(x)+q(x)
+ q(x) ÐÓ ¾q(x)
p(x)+q(x)
) ν(x) −(u + ½) ÐÓ ½+u
¾ + u ÐÓ u

ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ Ó f ¹ Ú Ö Ò ×
Ó Ó Ö× ÒÒ Ò ÖÓÑ d Ò× ØÓ k < d Ò×
X = k
i=½Ai
Ä Ø pA = (pi )A Û Ø pi = j∈Ai
pj º
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ
D(p : q) ≥ D(pA
: qA
)
⇒ f ¹ Ú Ö Ò × Ö Ø ÓÒÐÝ Ú Ö Ò × ÔÖ × ÖÚ Ò Ø Ò ÓÖÑ Ø ÓÒ
ÑÓÒÓØÓÒ ØÝº

Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó Ø ÔÖÓ Ð ØÝ Ñ ×ÙÖ
pθ(x) = ÜÔ( t(x), θ − F(θ) + k(x)),
ÓÒ× Ö Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô Θ Ò ´Ð ÑÙÐØ ÒÓÑ Ð×µº
ÈÓ (λ) : p(x|λ) =
λx e−λ
x!
, λ > ¼, x ∈ {¼, ½, ...}
ÆÓÖI (μ) : p(x|μ) = (¾π)− d
¾ e− ½
¾
(x−μ) (x−μ)
, μ ∈ Rd
, x ∈ Rd
Ñ ÐÝ θ Θ F(θ) k(x) t(x) ν
ÈÓ ××ÓÒ ÐÓ λ R eθ − ÐÓ x! x νc
Á×Ó. Ù×× Ò μ Rd ½
¾θ θ d
¾ ÐÓ ¾π − ½
¾x x x νL
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¼»½

À Ö¹ÓÖ Ö Î χk
Ú Ö Ò ×
Ì ´× Ò µ χk
P ×Ø Ò ØÛ Ò Ñ Ñ Ö× X½ ∼ EF (θ½) Ò X¾ ∼ EF (θ¾) Ó
Ø × Ñ Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ × ´k ∈ Nµ ÐÛ Ý× ÓÙÒ Ò ÕÙ Ð ØÓ
χk
P (X½ : X¾) =
k
j=¼
(−½)k−j k
j
eF((½−j)θ½+jθ¾)
e(½−j)F(θ½)+jF(θ¾)
ÓÖ ÈÓ ××ÓÒ»ÆÓÖÑ Ð ×ØÖ ÙØ ÓÒ×¸ Û Ø ÐÓ× ¹ ÓÖÑ ÓÖÑÙÐ
χk
P (λ½ : λ¾) =
k
j=¼
(−½)k−j k
j
eλ½−j
½ λj
¾−((½−j)λ½+jλ¾)
,
χk
P(μ½ : μ¾) =
k
j=¼
(−½)k−j k
j
e
½
¾
j(j−½)(μ½−μ¾) (μ½−μ¾)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ½»½

f ¹ Ú Ö Ò × Ò ÐÝØ ÓÖÑÙÐ ½
λ = ½ ∈ ÒØ( ÓÑ(f (i)))¸ f ¹ Ú Ö Ò ´Ì ÓÖ Ñ ½ Ó µ
If (X½ : X¾) −
s
k=¼
f (k)(½)
k!
χk
P (X½ : X¾)
≤
½
(s + ½)!
f (s+½)
∞(M − m)s
,
Û Ö f (s+½)
∞ = ×ÙÔt∈[m,M] |f (s+½)(t)| Ò m ≤ p
q ≤ Mº
λ = ¼ ´Û Ò Ú Ö ¼ ∈ ÒØ( ÓÑ(f (i)))µ Ò Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×¸
× ÑÔÐ Ö ÜÔÖ ×× ÓÒ
If (X½ : X¾) =
∞
i=¼
f (i)(¼)
i!
I½−i,i (θ½ : θ¾),
I½−i,i (θ½ : θ¾) =
eF(iθ¾+(½−i)θ½)
eiF(θ¾)+(½−i)F(θ½)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¾»½

× ÒÒ ÓÒ ÓÖÑ ÐÚ Ö Ò × Ò ÒÖ Ô Ð Ô×
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¿»½

ÓÑ ØÖ ÐÐÝ × Ò Ú Ö Ò ×
ÈÐÓØ Ó Ø ÓÒÚ Ü Ò Ö ØÓÖ Fº
q p
p+q
2
B(p : q)
J(p, q)
tB(p : q)
F : (x, F(x))
(p, F(p))
(q, F(q))
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½

Ú Ö Ò × × Û Â Ò× Ò ² Ö Ñ Ò Ú Ö Ò ×
F ×ÑÓÓØ ÓÒÚ Ü ÙÒ Ø ÓÒ¸ Ø Ò Ö ØÓÖº
Ë Û Â Ò× Ò Ú Ö Ò ×
Jα(p : q) = αF(p) + (½ − α)F(q) − F(αp + (½ − α)q),
= (F(p)F(q))α − F((pq)α),
Û Ö (pq)γ = γp + (½ − γ)q = q + γ(p − q) Ò
(F(p)F(q))γ = γF(p) + (½ − γ)F(q) = F(q) + γ(F(p) − F(q))º
Ö Ñ Ò Ú Ö Ò ×
B(p : q) = F(p) − F(q) − p − q, ∇F(q) ,
Ð Ñ
α→¼
Jα(p : q) = B(p : q), Ð Ñ
α→½
Jα(p : q) = B(q : p)
ËØ Ø ×Ø Ð × Û ØØ ÖÖÝ Ú Ö Ò
Ø(p½ : p¾) = − ÐÓ p½(x)α
p¾(x)½−α
ν(x) = Jα(θ½ : θ¾)
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × ¾ º

Ú Ö Ò × Ò ÒØÖÓ × ¿¿¸ ¾
ÈÓÔÙÐ Ø ÓÒ Ñ Ò Ñ Þ Ö× Ö Ñ Òc
n
i=½ wi D(pi : c)
Ù× ÙÐ ÓÖ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Ð ÓÖ Ø Ñ× ´k¹Ñ Ò×µ
ÓÖ Ö Ñ Ò Ú Ö Ò × cR = i wi pi ´ ÒÚ Ö ÒØ¸ ÒØ Ö Ó Ñ ××µº
cL = (∇F)−½( i wi ∇F(pi )) f ¹Ñ Ò Ð×Ó ÐÐ
ÕÙ × ¹ Ö Ø Ñ Ø Ñ Ò f −½( i wi f (xi )) Ø Ø Ò Ö Ð Þ × Ö Ø Ñ Ø
f (x) = x¸ ÖÑÓÒ f (x) = ½
x Ò ÓÑ ØÖ Ñ Ò× f (x) = ÐÓ xº
Ö Ñ Ò Ò ÓÖÑ Ø ÓÒ n
i=½ wi D(pi : cR) = F( i wi pi ) − i wi F(pi )¸
Â Ò× Ò Ú Ö× ØÝ Ò Üº
ÓÖ Â Ò× Ò Ú Ö Ò ×¸ Ù× ÓÒ Ú ¹ ÓÒÚ Ü ÈÖÓ ÙÖ ÖÓÑ
c¼ = i wi pi ØÓ ×ÓÐÚ i wi Jα(c : pi )
ct+½ = (∇F)−½
i
wi ∇F(αct + (½ − α)pi )

Quasi-arithmetic mean:
Mf (x1, ..., xn) = f−1
( n
i=1
1
nf(xi))
Bregman divergence:
BF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Probability:
pF (x|θ) = e t(x),θ −F(θ)+k(x)
pF (x|θ) = e−BF ∗(t(x):∇F(θ))+F∗
(t(x))+k(x)
Convex F
⇔
f = ∇F Monotone increasing
Legendre
transform
Convexity
Distances
AggregatorsProbabilities

ÌÓØ Ð Ö Ñ Ò Ú Ö Ò × ½
ÓÒ ÓÖÑ Ð Ú Ö Ò ¸ ÓÒ ÓÖÑ Ð ØÓÖ ρ
D (p : q) = ρ(p, q)D(p : q)
ÔÐ Ý× Ø Ö Ð Ó Ö ÙÐ Ö Þ Ö ¼
ÁÒÚ Ö Ò Ý ÖÓØ Ø ÓÒ Ó Ø Ü × Ó Ø × Ò ×Ô
Ø (p : q) =
B(p : q)
½ + ∇F(q), ∇F(q)
= ρB (q)B(p : q),
ρB(q) =
½
½ + ∇F(q), ∇F(q)
.
ÓÖ Ü ÑÔÐ ¸ ØÓØ Ð ×ÕÙ Ö Ù Ð Ò Ú Ö Ò
tE(p, q) =
½
¾
p − q, p − q
½ + q, q
.

ÌÓØ Ð × Û Â Ò× Ò Ú Ö Ò × ¿
Ø (p : q) = ρB (q)B(p : q), ρB(q) =
½
½ + ∇F(q), ∇F(q)
ØÂα(p : q) = ρJ(p, q)Jα(p : q), ρJ(p, q) =
½
½ + (F(p)−F(q))¾
p−q,p−q
Â Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò ¸ ×ÕÙ Ö ÖÓÓØ × Ñ ØÖ
ÂË(p, q) =
½
¾
d
i=½
pi ÐÓ
¾pi
pi + qi
+
½
¾
d
i=½
qi ÐÓ
¾qi
pi + qi
ÙØ Ø ×ÕÙ Ö ÖÓÓØ Ó Ø ØÓØ Ð Â Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò × ÒÓØ Ñ ØÖ º

If (P : Q) = p(x)f (q(x)
p(x) dν(x)
BF (P : Q) = F(P) − F(Q) − P − Q, ∇F(Q)
tBF (P : Q) = BF (P :Q)
√
1+ ∇F (Q) 2
CD,g(P : Q) = g(Q)D(P : Q)
BF,g(P : Q; W) = WBF
P
Q : Q
W
Dv
(P : Q) = D(v(P) : v(Q))
v-Divergence Dv
total Bregman divergence tB(· : ·) Bregman divergence BF (· : ·)
conformal divergence CD,g(· : ·)
Csisz´ar f-divergence If (· : ·)
scaled Bregman divergence BF (· : ·; ·)
scaled conformal divergence CD,g(· : ·; ·)
Dissimilarity measure
Divergence
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¼»½

ËÙÑÑ ÖÝ È ÖØ ÁÁº ÓÑ ØÖ ÓÑÔÙØ Ò Ò ÁÒ ÓÖÑ Ø ÓÒ
ËÔ ×
ÄÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ×Ô Ö Ð ÒÓÖÑ Ð¸ ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø
Ñ ØÖ × → ÝÔ Ö ÓÐ ÓÑ ØÖÝº
ÀÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò ÓÒ×ØÖÙ Ø ÓÒ× Ò ÃÐ Ò ×
ËÔ Ó ×Ô Ö × Ò Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ
ËÝÒØ Ø ÓÑ ØÖÝ ÓÖ Ö Ø Ö Þ Ò Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò Ý ×
ÖÖÓÖ
ÓÒ ÓÖÑ Ð Ú Ö Ò × ØÓØ Ð Ö Ñ Ò»ØÓØ Ð Â Ò× Ò Ú Ö Ò ×
ÐÙ×Ø Ö Ò Ù× Ò Ô Ö Ó ÒØÖÓ × ÓÖ ÐÙ×Ø Ö× Ù× Ò Ñ Ü Ú Ö Ò × ÓÖ
×ÝÑÑ ØÖ Þ ÐÔ Ú Ö Ò ×
Ä ÖÒ Ò ×Ø Ø × Ð Ñ ÜØÙÖ × Ñ Ü Ñ Þ Ò Ø ÓÑÔÐ Ø Ð Ð ÓÓ ×
× ÕÙ Ò Ó ÓÑ ØÖ ÐÙ×Ø Ö Ò ÔÖÓ Ð Ñ× k¹ ÄÅ
ÁÒ × Ö Ó ÐÓ× ¹ ÓÖÑ ×ÓÐÙØ ÓÒ× Â Ö Ý× ÒØÖÓ Ù× Ò Ä Ñ ÖØ W
ÙÒ Ø ÓÒ¸ f ¹ Ú Ö Ò ÔÔÖÓÜ Ñ Ø ÓÒ ÓÖ Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ½»½

Computational Information Geometry for Machine Learning

Computational Information Geometry for Machine Learning

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (10)

Computational Information Geometry for Machine Learning