Seminar 1 on the topic of PAC-Bayesian generalization bounds

1. Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Հանդիպում 1՝ ներածություն
Հրայր Հարությունյան
Նոյեմբեր 17, 2021
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 1 / 15

2. Սեմինարների մասին
Կանենք 5-6 սեմինար։
Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։
Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն
անել:
Սեմինարները կտեսագրվեն, վիդեոները և սլայդները
կտեղադրենք mlevn.org-ում։
Հայտարարությունները կանենք ML reading group Yerevan
խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan
Տերմինների հայերեն թարգմանության մասին
քննարկումները այստեղ՝ https://ml-hye.talkyard.net :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 2 / 15

3. Մեքենայական ուսուցում
Մեքենայական ուսուցման ուսումնասիրության թեման այն
ալգորիթմներ են, որոնք ինքնուրույն կարող են լավարկվել
փորձի և տվյալների միջոցով։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 3 / 15

4. Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

5. Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

6. Վերահսկվող ուսուցում (supervised learning)
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

7. Վերահսկվող ուսուցում (supervised learning)
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

8. Վերահսկվող ուսուցում (supervised learning)
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

9. Վերահսկվող ուսուցում (supervised learning)
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (2)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

10. Վերահսկվող ուսուցում (supervised learning)
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (1)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Մի պարզ պնդում՝
∀f, ES [r(f)] = R(f) : (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

11. Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

12. Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Էպիրիկ ռիսկի մինիմիզացման (ԷՌՄ) ալգորիթմ (empirical
risk minimization)՝
θ̂ERM = argmin
θ∈Θ
r(θ) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15

13. Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

14. Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

15. Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հավանականային գնահատական (in probability)
PS
R(θ̂) ≥ ϵ
≤ δ : (2)
▶ Այսպիսի գնահատականները կոչվում են Պակ
գնահատականներ (PAC – probably approximately correct)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

16. Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

17. Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

18. Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

19. Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

20. Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Եթե հնարավոր չէ ստանալ վերոնշյալ տեսակի
ընդհանրացման գնահատականներ, ապա ցանկալի է որ ϵ-ը
լինի r(θ̂)-ին մոտիկ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15

21. Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականների դեպքում ուսուցման
ալգորիթմը վերադարձնում է ոչ թե մեկ
կանխատեսիչ/հիպոթեզ, այլ հիպոթեզների տարածության
վրա սահմանված բաշխում՝
ρ̂ :
∞
[
n=1
(X × Y)
n
→ P(Θ),
որտեղ P(Θ)-ն Θ-ի վրա տրված բոլոր բաշխումների
բազմությունն է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15

22. Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականները հետևյալ մեծությունների
Պակ գնահատականներն են՝
1. Պատահական կանխատեսիչի ռիսկ՝ R(θ̃), որտեղ θ̃ ∼ ρ̂:
2. Միջին ռիսկ՝ Eθ∼ρ̂ [R(θ)]։
3. Միջինացված կանխատեսիչի ռիսկ՝ R(fρ̂), որտեղ
fρ̂(·) = Eθ∼ρ̂ [fθ(·)]:
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15

23. Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Ամփոփենք՝
«Պակ» որովհետև P(R ≥ ϵ) ≤ δ տիպի գնահատականներ են
տրվում։
«Բայեսյան» որովհետև ուսուցման ալգորիթմը ոչ թե մեկ
հիպոթեզ է վերադարձնում, այլ հիպոթեզների բաշխում։
Բայեսյան անունը գալիս է Բայեսյան մեթոդների հետ
նմանությունից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15

24. Պակ գնահատականների ստացման
օրինակներ
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 7 / 15

25. Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15

26. Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Ապացույց։
E [X] = P(X t) E [X | X t] + P(X ≥ t) E [X | X ≥ t]
≥ P(X ≥ t) E [X | X ≥ t]
≥ t P(X ≥ t) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15

27. Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E
eλX
eλt
: (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15

28. Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E
eλX
eλt
: (2)
Ապացույց։ Կամայական λ 0 թվի համար
P(X ≥ t) = P(eλX
≥ eλt
)
≤
E
eλX
eλt
: (Մարկովի անհավասարություն)
Վերջնական արդյունքը հետևում է այն փաստից, որ սա ճիշտ է
բոլոր դրական λ-ների համար և ձախ կողմը կախված չէ λ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15

29. Անհրաժեշտ անհավասարություններ
Լեմմա (Հյոֆդինգ)
Կամայական X ∈ [0, 1] պատահական մեծության և λ 0 թվի
համար
E [exp (λ(X − E [X]))] ≤ exp
λ2
8
: (3)
Առանց ապացույցի։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 10 / 15

30. Անհրաժեշտ անհավասարություններ
Պնդում (Հյոֆդինգի անհավասարություն)
Դիցուք ունենք n իրարից անկախ, [0, 1] միջակայքին պատկանող
պատահական մեծություններ՝ X1, X2, . . . , Xn։ Նշանակենք նրանց
միջինը X-ով՝ X = 1
n
Pn
i=1 Xi։ Կամայական t ≥ 0 թվի համար տեղի
ունի հետևյալը՝
P
X ≥ E
h
X
i
+ t
≤ e−2nt2
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

31. Անհրաժեշտ անհավասարություններ
Ապացույց։ Սկսենք Չեռնոֆի անհավասարությունից
X − E
h
X
i
-ի և t-ի դեպքում։ Կամայական λ 0
P
X − E
h
X
i
≥ t
≤
E
h
exp
λ
X − E
h
X
ii
exp (λt)
=
E
exp λ
n
Pn
i=1(Xi − E [Xi])
exp (λt)
=
E
Qn
i=1 exp λ
n (Xi − E [Xi])
exp (λt)
=
Qn
i=1 E
exp λ
n (Xi − E [Xi])
exp (λt)
: (անկախ.)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

32. Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

33. Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

34. Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Լավագույն λ = 4nt-ի դեպքում ստանում ենք որ
P
(
X − E
[
X
]
≥ t
)
≤ exp
(
−2nt2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

35. Անհրաժեշտ անհավասարություններ
Մեծացնելով սխալվելու հավանականությունը երկու անգամ
2 exp −2nt2
, կարելի է ապացուցել որ
P

38. X − E
h
X
i

41. ≥ t
≤ 2 exp −2nt2
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15

42. Հիպոթեզների վերջավոր դաս
Ենթադրենք H-ը վերջավոր բազմություն է։ Այս դեպքում
հնարավոր է ապացուցել հետևյալը։
Պնդում
Ենթադրենք ℓ(y′
, y) ∈ [0, 1]. Ապա կամայական |H| ∞
հիպոթեզների դասի, P տվյալների բաշխման և ĥ ուսուցման
ալգորիթմի համար
P

45. R(ĥ) − r(ĥ)

48. ≥
s
1
2n
log
2 |H|
δ
!
≤ δ : (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

49. Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

50. Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

51. Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

52. Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

53. Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Քանի որ (7)-ը ճիշտ է միանգամից բոլոր h-երի համար, այն ճիշտ կլինի
նաև ĥ(S)-ի համար։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

54. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ.
A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ
արդյունքից ունենք որ P (A) ≥ 1 − δ:
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15

55. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ.
A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ
արդյունքից ունենք որ P (A) ≥ 1 − δ:
Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ
R(ĥERM) ≤ r(ĥERM) + ϵ : (9)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15

56. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ.
A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ
արդյունքից ունենք որ P (A) ≥ 1 − δ:
Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ
R(ĥERM) ≤ r(ĥERM) + ϵ : (9)
Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար
R(ĥERM) ≤ inf
h∈H
r(h) + ϵ : (10)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15

57. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ.
A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ
արդյունքից ունենք որ P (A) ≥ 1 − δ:
Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ
R(ĥERM) ≤ r(ĥERM) + ϵ : (9)
Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար
R(ĥERM) ≤ inf
h∈H
r(h) + ϵ : (10)
Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ
r(h) ≤ R(H) + ϵ: Հետևաբար
R(ĥERM) ≤ inf
h∈H
R(h) + 2ϵ : (11)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15

58. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ.
Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ
R(ĥERM) ≤ r(ĥERM) + ϵ : (9)
Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար
R(ĥERM) ≤ inf
h∈H
r(h) + ϵ : (10)
Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ
r(h) ≤ R(H) + ϵ: Հետևաբար
R(ĥERM) ≤ inf
h∈H
R(h) + 2ϵ : (11)
Ստացանք մեր առաջին oracle Պակ գնահատականը՝
P
(
R(ĥERM) ≤ inf
h∈H
R(h) + 2ϵ
)
≥ 1 − δ : (12)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15

59. Հիպոթեզների հաշվելի անվերջ դաս
Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի
վրա հավանականության բաշխում ρ(h)՝
ρ(hi) 0,
∞
∑
i=1
ρ(hi) = 1 : (13)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

60. Հիպոթեզների հաշվելի անվերջ դաս
Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի
վրա հավանականության բաշխում ρ(h)՝
ρ(hi) 0,
∞
∑
i=1
ρ(hi) = 1 : (13)
Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ
P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp
(
−2nϵ2
i
)
: (14)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

61. Հիպոթեզների հաշվելի անվերջ դաս
Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի
վրա հավանականության բաշխում ρ(h)՝
ρ(hi) 0,
∞
∑
i=1
ρ(hi) = 1 : (13)
Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ
P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp
(
−2nϵ2
i
)
: (14)
Վերցնենք ϵi այնպես, որ 2 exp
(
−2nϵ2
i
)
= δρ(hi)՝
ϵi =
√
1
2n
log
(
2
ρ(hi)δ
)
: (15)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

62. Հիպոթեզների հաշվելի անվերջ դաս
Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ
P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp
(
−2nϵ2
i
)
: (13)
Վերցնենք ϵi այնպես, որ 2 exp
(
−2nϵ2
i
)
= δρ(hi)՝
ϵi =
√
1
2n
log
(
2
ρ(hi)δ
)
: (14)
Այժմ կիրառենք պատահույթների միավորման անհավասարությունը՝
P (∃i, |R(hi) − r(hi)| ≥ ϵi) ≤
∞
∑
i=1
δρ(hi) = δ : (15)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

63. Հիպոթեզների հաշվելի անվերջ դաս
Ամփոփենք՝
P
(
∀i, |R(hi) − r(hi)| ≤
√
1
2n
log
(
2
ρ(hi)δ
))
≥ 1 − δ : (13)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

64. Հիպոթեզների հաշվելի անվերջ դաս
Ամփոփենք՝
P
(
∀i, |R(hi) − r(hi)| ≤
√
1
2n
log
(
2
ρ(hi)δ
))
≥ 1 − δ : (13)
Դիտողություն։ Երբ |H| ∞ և ρ(hi) = 1
|H|
, ստանում ենք վերջավոր
դասերի համար ստացված արդյունքը։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15

65. Շնորհակալություն
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 15 / 15