SlideShare a Scribd company logo
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Հանդիպում 1՝ ներածություն
Հրայր Հարությունյան
Նոյեմբեր 17, 2021
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 1 / 15
Սեմինարների մասին
Կանենք 5-6 սեմինար։
Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։
Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն
անել:
Սեմինարները կտեսագրվեն, վիդեոները և սլայդները
կտեղադրենք mlevn.org-ում։
Հայտարարությունները կանենք ML reading group Yerevan
խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan
Տերմինների հայերեն թարգմանության մասին
քննարկումները այստեղ՝ https://ml-hye.talkyard.net :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 2 / 15
Մեքենայական ուսուցում
Մեքենայական ուսուցման ուսումնասիրության թեման այն
ալգորիթմներ են, որոնք ինքնուրույն կարող են լավարկվել
փորձի և տվյալների միջոցով։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 3 / 15
Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (2)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (1)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Մի պարզ պնդում՝
∀f, ES [r(f)] = R(f) : (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Էպիրիկ ռիսկի մինիմիզացման (ԷՌՄ) ալգորիթմ (empirical
risk minimization)՝
θ̂ERM = argmin
θ∈Θ
r(θ) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հավանականային գնահատական (in probability)
PS

R(θ̂) ≥ ϵ

≤ δ : (2)
▶ Այսպիսի գնահատականները կոչվում են Պակ
գնահատականներ (PAC – probably approximately correct)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Եթե հնարավոր չէ ստանալ վերոնշյալ տեսակի
ընդհանրացման գնահատականներ, ապա ցանկալի է որ ϵ-ը
լինի r(θ̂)-ին մոտիկ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականների դեպքում ուսուցման
ալգորիթմը վերադարձնում է ոչ թե մեկ
կանխատեսիչ/հիպոթեզ, այլ հիպոթեզների տարածության
վրա սահմանված բաշխում՝
ρ̂ :
∞
[
n=1
(X × Y)
n
→ P(Θ),
որտեղ P(Θ)-ն Θ-ի վրա տրված բոլոր բաշխումների
բազմությունն է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականները հետևյալ մեծությունների
Պակ գնահատականներն են՝
1. Պատահական կանխատեսիչի ռիսկ՝ R(θ̃), որտեղ θ̃ ∼ ρ̂:
2. Միջին ռիսկ՝ Eθ∼ρ̂ [R(θ)]։
3. Միջինացված կանխատեսիչի ռիսկ՝ R(fρ̂), որտեղ
fρ̂(·) = Eθ∼ρ̂ [fθ(·)]:
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Ամփոփենք՝
«Պակ» որովհետև P(R ≥ ϵ) ≤ δ տիպի գնահատականներ են
տրվում։
«Բայեսյան» որովհետև ուսուցման ալգորիթմը ոչ թե մեկ
հիպոթեզ է վերադարձնում, այլ հիպոթեզների բաշխում։
Բայեսյան անունը գալիս է Բայեսյան մեթոդների հետ
նմանությունից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ գնահատականների ստացման
օրինակներ
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 7 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t  0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t  0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Ապացույց։
E [X] = P(X  t) E [X | X  t] + P(X ≥ t) E [X | X ≥ t]
≥ P(X ≥ t) E [X | X ≥ t]
≥ t P(X ≥ t) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E

eλX

eλt
: (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E

eλX

eλt
: (2)
Ապացույց։ Կամայական λ  0 թվի համար
P(X ≥ t) = P(eλX
≥ eλt
)
≤
E

eλX

eλt
: (Մարկովի անհավասարություն)
Վերջնական արդյունքը հետևում է այն փաստից, որ սա ճիշտ է
բոլոր դրական λ-ների համար և ձախ կողմը կախված չէ λ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
Անհրաժեշտ անհավասարություններ
Լեմմա (Հյոֆդինգ)
Կամայական X ∈ [0, 1] պատահական մեծության և λ  0 թվի
համար
E [exp (λ(X − E [X]))] ≤ exp

λ2
8

: (3)
Առանց ապացույցի։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 10 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Հյոֆդինգի անհավասարություն)
Դիցուք ունենք n իրարից անկախ, [0, 1] միջակայքին պատկանող
պատահական մեծություններ՝ X1, X2, . . . , Xn։ Նշանակենք նրանց
միջինը X-ով՝ X = 1
n
Pn
i=1 Xi։ Կամայական t ≥ 0 թվի համար տեղի
ունի հետևյալը՝
P

X ≥ E
h
X
i
+ t

≤ e−2nt2
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Ապացույց։ Սկսենք Չեռնոֆի անհավասարությունից

X − E
h
X
i
-ի և t-ի դեպքում։ Կամայական λ  0
P

X − E
h
X
i
≥ t

≤
E
h
exp

λ

X − E
h
X
ii
exp (λt)
=
E

exp λ
n
Pn
i=1(Xi − E [Xi])

exp (λt)
=
E
Qn
i=1 exp λ
n (Xi − E [Xi])

exp (λt)
=
Qn
i=1 E

exp λ
n (Xi − E [Xi])

exp (λt)
: (անկախ.)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Լավագույն λ = 4nt-ի դեպքում ստանում ենք որ
P
(
X − E
[
X
]
≥ t
)
≤ exp
(
−2nt2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մեծացնելով սխալվելու հավանականությունը երկու անգամ
2 exp −2nt2

, կարելի է ապացուցել որ
P
PAC-Bayesian-generalization-bounds-seminar-1
PAC-Bayesian-generalization-bounds-seminar-1
X − E
h
X
i
PAC-Bayesian-generalization-bounds-seminar-1
PAC-Bayesian-generalization-bounds-seminar-1
≥ t

≤ 2 exp −2nt2

: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Հիպոթեզների վերջավոր դաս
Ենթադրենք H-ը վերջավոր բազմություն է։ Այս դեպքում
հնարավոր է ապացուցել հետևյալը։
Պնդում
Ենթադրենք ℓ(y′
, y) ∈ [0, 1]. Ապա կամայական |H|  ∞
հիպոթեզների դասի, P տվյալների բաշխման և ĥ ուսուցման
ալգորիթմի համար
P
PAC-Bayesian-generalization-bounds-seminar-1
PAC-Bayesian-generalization-bounds-seminar-1
R(ĥ) − r(ĥ)
PAC-Bayesian-generalization-bounds-seminar-1
PAC-Bayesian-generalization-bounds-seminar-1
≥
s
1
2n
log

2 |H|
δ
!
≤ δ : (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Քանի որ (7)-ը ճիշտ է միանգամից բոլոր h-երի համար, այն ճիշտ կլինի
նաև ĥ(S)-ի համար։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

More Related Content

What's hot

Application of graph theory in Traffic Management
Application of graph theory in Traffic ManagementApplication of graph theory in Traffic Management
Application of graph theory in Traffic Management
SwathiSundari
 
Applications of trigonometry in real life
Applications of trigonometry in real lifeApplications of trigonometry in real life
Applications of trigonometry in real life
Chloe Cheney
 
Networks, Deep Learning (and COVID-19)
Networks, Deep Learning (and COVID-19)Networks, Deep Learning (and COVID-19)
Networks, Deep Learning (and COVID-19)
tm1966
 
Properties of parallelogram...CREated By PIYUSH BHANDARI.......
Properties of parallelogram...CREated By PIYUSH BHANDARI.......Properties of parallelogram...CREated By PIYUSH BHANDARI.......
Properties of parallelogram...CREated By PIYUSH BHANDARI.......
Piyush Bhandaari
 
Class 10 Ch- introduction to trigonometrey
Class 10 Ch- introduction to trigonometreyClass 10 Ch- introduction to trigonometrey
Class 10 Ch- introduction to trigonometrey
Aksarali
 
Group Theory and Its Application: Beamer Presentation (PPT)
Group Theory and Its Application:   Beamer Presentation (PPT)Group Theory and Its Application:   Beamer Presentation (PPT)
Group Theory and Its Application: Beamer Presentation (PPT)
SIRAJAHMAD36
 
Compound Interest and Geometric Progression
Compound Interest and Geometric ProgressionCompound Interest and Geometric Progression
Compound Interest and Geometric Progression
Tuhin Parves
 
Interesting applications of graph theory
Interesting applications of graph theoryInteresting applications of graph theory
Interesting applications of graph theory
Tech_MX
 
A new approach for ranking of intuitionistic fuzzy numbers
A new approach for ranking of intuitionistic fuzzy numbersA new approach for ranking of intuitionistic fuzzy numbers
A new approach for ranking of intuitionistic fuzzy numbers
Journal of Fuzzy Extension and Applications
 
Application of Geometry in Day to Day Life.pptx
Application of Geometry in Day to Day Life.pptxApplication of Geometry in Day to Day Life.pptx
Application of Geometry in Day to Day Life.pptx
fgjhfghljgh
 

What's hot (10)

Application of graph theory in Traffic Management
Application of graph theory in Traffic ManagementApplication of graph theory in Traffic Management
Application of graph theory in Traffic Management
 
Applications of trigonometry in real life
Applications of trigonometry in real lifeApplications of trigonometry in real life
Applications of trigonometry in real life
 
Networks, Deep Learning (and COVID-19)
Networks, Deep Learning (and COVID-19)Networks, Deep Learning (and COVID-19)
Networks, Deep Learning (and COVID-19)
 
Properties of parallelogram...CREated By PIYUSH BHANDARI.......
Properties of parallelogram...CREated By PIYUSH BHANDARI.......Properties of parallelogram...CREated By PIYUSH BHANDARI.......
Properties of parallelogram...CREated By PIYUSH BHANDARI.......
 
Class 10 Ch- introduction to trigonometrey
Class 10 Ch- introduction to trigonometreyClass 10 Ch- introduction to trigonometrey
Class 10 Ch- introduction to trigonometrey
 
Group Theory and Its Application: Beamer Presentation (PPT)
Group Theory and Its Application:   Beamer Presentation (PPT)Group Theory and Its Application:   Beamer Presentation (PPT)
Group Theory and Its Application: Beamer Presentation (PPT)
 
Compound Interest and Geometric Progression
Compound Interest and Geometric ProgressionCompound Interest and Geometric Progression
Compound Interest and Geometric Progression
 
Interesting applications of graph theory
Interesting applications of graph theoryInteresting applications of graph theory
Interesting applications of graph theory
 
A new approach for ranking of intuitionistic fuzzy numbers
A new approach for ranking of intuitionistic fuzzy numbersA new approach for ranking of intuitionistic fuzzy numbers
A new approach for ranking of intuitionistic fuzzy numbers
 
Application of Geometry in Day to Day Life.pptx
Application of Geometry in Day to Day Life.pptxApplication of Geometry in Day to Day Life.pptx
Application of Geometry in Day to Day Life.pptx
 

PAC-Bayesian-generalization-bounds-seminar-1

  • 1. Պակ-Բայեսյան ընդհանրացման գնահատականներ Հանդիպում 1՝ ներածություն Հրայր Հարությունյան Նոյեմբեր 17, 2021 Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 1 / 15
  • 2. Սեմինարների մասին Կանենք 5-6 սեմինար։ Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։ Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն անել: Սեմինարները կտեսագրվեն, վիդեոները և սլայդները կտեղադրենք mlevn.org-ում։ Հայտարարությունները կանենք ML reading group Yerevan խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan Տերմինների հայերեն թարգմանության մասին քննարկումները այստեղ՝ https://ml-hye.talkyard.net : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 2 / 15
  • 3. Մեքենայական ուսուցում Մեքենայական ուսուցման ուսումնասիրության թեման այն ալգորիթմներ են, որոնք ինքնուրույն կարող են լավարկվել փորձի և տվյալների միջոցով։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 3 / 15
  • 4. Վերահսկվող ուսուցում (supervised learning) Մուտքային օբյեկտների բազմություն՝ X։ Պիտակների բազմություն՝ Y։ ▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։ Հավանականության բաշխում P՝ տրված X × Y-ի վրա։ Հետաքրքիր դեպքերում P անհայտ է։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 5. Վերահսկվող ուսուցում (supervised learning) Մուտքային օբյեկտների բազմություն՝ X։ Պիտակների բազմություն՝ Y։ ▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։ Հավանականության բաշխում P՝ տրված X × Y-ի վրա։ Հետաքրքիր դեպքերում P անհայտ է։ Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 6. Վերահսկվող ուսուցում (supervised learning) Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։ Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և վերադարձնում կանխատեսիչ (predictor) f : X → Y։ ▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։ ▶ Օրինակ՝ hθ(x) = θ⊤ x, գծային ֆունկցիաների բազմություն։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 7. Վերահսկվող ուսուցում (supervised learning) Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և վերադարձնում կանխատեսիչ (predictor) f : X → Y։ ▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։ ▶ Օրինակ՝ hθ(x) = θ⊤ x, գծային ֆունկցիաների բազմություն։ Կորստի ֆունկցիա՝ ℓ : Y2 → [0, +∞), այնպես որ ℓ(y, y) = 0։ ▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′ , y) = 1{y̸=y′}։ ▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′ , y) = ∥y − y′ ∥2 ։ ▶ … Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 8. Վերահսկվող ուսուցում (supervised learning) Կորստի ֆունկցիա՝ ℓ : Y2 → [0, +∞), այնպես որ ℓ(y, y) = 0։ ▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′ , y) = 1{y̸=y′}։ ▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′ , y) = ∥y − y′ ∥2 ։ ▶ … Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը (ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝ R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1) ▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ), R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 9. Վերահսկվող ուսուցում (supervised learning) Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը (ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝ R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1) ▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ), R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ): Էմպիրիկ ռիսկը սահմանվում է r(f) = 1 n n X i=1 ℓ(f(Xi), Yi) : (2) ▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S ընտրանքից։ ▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 10. Վերահսկվող ուսուցում (supervised learning) Էմպիրիկ ռիսկը սահմանվում է r(f) = 1 n n X i=1 ℓ(f(Xi), Yi) : (1) ▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S ընտրանքից։ ▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։ Մի պարզ պնդում՝ ∀f, ES [r(f)] = R(f) : (2) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 11. Վերահսկվող ուսուցում (supervised learning) Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից ներկայացնում է այսպիսի ֆունկցիա՝ θ̂ : ∞ [ n=1 (X × Y)n → Θ : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 12. Վերահսկվող ուսուցում (supervised learning) Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից ներկայացնում է այսպիսի ֆունկցիա՝ θ̂ : ∞ [ n=1 (X × Y)n → Θ : Էպիրիկ ռիսկի մինիմիզացման (ԷՌՄ) ալգորիթմ (empirical risk minimization)՝ θ̂ERM = argmin θ∈Θ r(θ) : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 13. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 14. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Գնահատական միջինում (in expectation) ES h R(θ̂) i ≤ ϵ : (1) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 15. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Գնահատական միջինում (in expectation) ES h R(θ̂) i ≤ ϵ : (1) Հավանականային գնահատական (in probability) PS R(θ̂) ≥ ϵ ≤ δ : (2) ▶ Այսպիսի գնահատականները կոչվում են Պակ գնահատականներ (PAC – probably approximately correct)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 16. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 17. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 18. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 19. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի գնահատականները կոչվում են oracle bounds (գուշակի գնահատակա՞ն): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 20. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի գնահատականները կոչվում են oracle bounds (գուշակի գնահատակա՞ն): Եթե հնարավոր չէ ստանալ վերոնշյալ տեսակի ընդհանրացման գնահատականներ, ապա ցանկալի է որ ϵ-ը լինի r(θ̂)-ին մոտիկ։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 21. Պակ-Բայեսյան ընդհանրացման գնահատականներ Պակ-Բայեսյան գնահատականների դեպքում ուսուցման ալգորիթմը վերադարձնում է ոչ թե մեկ կանխատեսիչ/հիպոթեզ, այլ հիպոթեզների տարածության վրա սահմանված բաշխում՝ ρ̂ : ∞ [ n=1 (X × Y) n → P(Θ), որտեղ P(Θ)-ն Θ-ի վրա տրված բոլոր բաշխումների բազմությունն է։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 22. Պակ-Բայեսյան ընդհանրացման գնահատականներ Պակ-Բայեսյան գնահատականները հետևյալ մեծությունների Պակ գնահատականներն են՝ 1. Պատահական կանխատեսիչի ռիսկ՝ R(θ̃), որտեղ θ̃ ∼ ρ̂: 2. Միջին ռիսկ՝ Eθ∼ρ̂ [R(θ)]։ 3. Միջինացված կանխատեսիչի ռիսկ՝ R(fρ̂), որտեղ fρ̂(·) = Eθ∼ρ̂ [fθ(·)]: Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 23. Պակ-Բայեսյան ընդհանրացման գնահատականներ Ամփոփենք՝ «Պակ» որովհետև P(R ≥ ϵ) ≤ δ տիպի գնահատականներ են տրվում։ «Բայեսյան» որովհետև ուսուցման ալգորիթմը ոչ թե մեկ հիպոթեզ է վերադարձնում, այլ հիպոթեզների բաշխում։ Բայեսյան անունը գալիս է Բայեսյան մեթոդների հետ նմանությունից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 24. Պակ գնահատականների ստացման օրինակներ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 7 / 15
  • 25. Անհրաժեշտ անհավասարություններ Պնդում (Մարկովի անհավասարություն) Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար P (X ≥ t) ≤ E [X] t : (1) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
  • 26. Անհրաժեշտ անհավասարություններ Պնդում (Մարկովի անհավասարություն) Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար P (X ≥ t) ≤ E [X] t : (1) Ապացույց։ E [X] = P(X t) E [X | X t] + P(X ≥ t) E [X | X ≥ t] ≥ P(X ≥ t) E [X | X ≥ t] ≥ t P(X ≥ t) : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
  • 27. Անհրաժեշտ անհավասարություններ Պնդում (Չեռնոֆի անհավասարություն) Կամայական X պատահական մեծության և t ∈ R թվի համար P(X ≥ t) ≤ inf λ0 E eλX eλt : (2) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
  • 28. Անհրաժեշտ անհավասարություններ Պնդում (Չեռնոֆի անհավասարություն) Կամայական X պատահական մեծության և t ∈ R թվի համար P(X ≥ t) ≤ inf λ0 E eλX eλt : (2) Ապացույց։ Կամայական λ 0 թվի համար P(X ≥ t) = P(eλX ≥ eλt ) ≤ E eλX eλt : (Մարկովի անհավասարություն) Վերջնական արդյունքը հետևում է այն փաստից, որ սա ճիշտ է բոլոր դրական λ-ների համար և ձախ կողմը կախված չէ λ-ից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
  • 29. Անհրաժեշտ անհավասարություններ Լեմմա (Հյոֆդինգ) Կամայական X ∈ [0, 1] պատահական մեծության և λ 0 թվի համար E [exp (λ(X − E [X]))] ≤ exp λ2 8 : (3) Առանց ապացույցի։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 10 / 15
  • 30. Անհրաժեշտ անհավասարություններ Պնդում (Հյոֆդինգի անհավասարություն) Դիցուք ունենք n իրարից անկախ, [0, 1] միջակայքին պատկանող պատահական մեծություններ՝ X1, X2, . . . , Xn։ Նշանակենք նրանց միջինը X-ով՝ X = 1 n Pn i=1 Xi։ Կամայական t ≥ 0 թվի համար տեղի ունի հետևյալը՝ P X ≥ E h X i + t ≤ e−2nt2 : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 31. Անհրաժեշտ անհավասարություններ Ապացույց։ Սկսենք Չեռնոֆի անհավասարությունից X − E h X i -ի և t-ի դեպքում։ Կամայական λ 0 P X − E h X i ≥ t ≤ E h exp λ X − E h X ii exp (λt) = E exp λ n Pn i=1(Xi − E [Xi]) exp (λt) = E Qn i=1 exp λ n (Xi − E [Xi]) exp (λt) = Qn i=1 E exp λ n (Xi − E [Xi]) exp (λt) : (անկախ.) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 32. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 33. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Շարունակելով ապացույցը՝ P ( X − E [ X ] ≥ t ) ≤ ∏n i=1 exp ( λ2 8n2 ) exp (λt) (5) = exp ( λ2 8n − λt ) : (6) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 34. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Շարունակելով ապացույցը՝ P ( X − E [ X ] ≥ t ) ≤ ∏n i=1 exp ( λ2 8n2 ) exp (λt) (5) = exp ( λ2 8n − λt ) : (6) Լավագույն λ = 4nt-ի դեպքում ստանում ենք որ P ( X − E [ X ] ≥ t ) ≤ exp ( −2nt2) : (7) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 35. Անհրաժեշտ անհավասարություններ Մեծացնելով սխալվելու հավանականությունը երկու անգամ 2 exp −2nt2 , կարելի է ապացուցել որ P
  • 41. ≥ t ≤ 2 exp −2nt2 : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 42. Հիպոթեզների վերջավոր դաս Ենթադրենք H-ը վերջավոր բազմություն է։ Այս դեպքում հնարավոր է ապացուցել հետևյալը։ Պնդում Ենթադրենք ℓ(y′ , y) ∈ [0, 1]. Ապա կամայական |H| ∞ հիպոթեզների դասի, P տվյալների բաշխման և ĥ ուսուցման ալգորիթմի համար P
  • 48. ≥ s 1 2n log 2 |H| δ ! ≤ δ : (5) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 49. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 50. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 51. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 52. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար ϵ = √ 1 2n log ( 2 |H| δ ) : (8) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 53. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար ϵ = √ 1 2n log ( 2 |H| δ ) : (8) Քանի որ (7)-ը ճիշտ է միանգամից բոլոր h-երի համար, այն ճիշտ կլինի նաև ĥ(S)-ի համար։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 54. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 55. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 56. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 57. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ r(h) ≤ R(H) + ϵ: Հետևաբար R(ĥERM) ≤ inf h∈H R(h) + 2ϵ : (11) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 58. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ r(h) ≤ R(H) + ϵ: Հետևաբար R(ĥERM) ≤ inf h∈H R(h) + 2ϵ : (11) Ստացանք մեր առաջին oracle Պակ գնահատականը՝ P ( R(ĥERM) ≤ inf h∈H R(h) + 2ϵ ) ≥ 1 − δ : (12) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 59. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 60. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (14) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 61. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (14) Վերցնենք ϵi այնպես, որ 2 exp ( −2nϵ2 i ) = δρ(hi)՝ ϵi = √ 1 2n log ( 2 ρ(hi)δ ) : (15) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 62. Հիպոթեզների հաշվելի անվերջ դաս Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (13) Վերցնենք ϵi այնպես, որ 2 exp ( −2nϵ2 i ) = δρ(hi)՝ ϵi = √ 1 2n log ( 2 ρ(hi)δ ) : (14) Այժմ կիրառենք պատահույթների միավորման անհավասարությունը՝ P (∃i, |R(hi) − r(hi)| ≥ ϵi) ≤ ∞ ∑ i=1 δρ(hi) = δ : (15) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 63. Հիպոթեզների հաշվելի անվերջ դաս Ամփոփենք՝ P ( ∀i, |R(hi) − r(hi)| ≤ √ 1 2n log ( 2 ρ(hi)δ )) ≥ 1 − δ : (13) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 64. Հիպոթեզների հաշվելի անվերջ դաս Ամփոփենք՝ P ( ∀i, |R(hi) − r(hi)| ≤ √ 1 2n log ( 2 ρ(hi)δ )) ≥ 1 − δ : (13) Դիտողություն։ Երբ |H| ∞ և ρ(hi) = 1 |H| , ստանում ենք վերջավոր դասերի համար ստացված արդյունքը։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 65. Շնորհակալություն Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 15 / 15