SlideShare a Scribd company logo
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Հանդիպում 1՝ ներածություն
Հրայր Հարությունյան
Նոյեմբեր 17, 2021
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 1 / 15
Սեմինարների մասին
Կանենք 5-6 սեմինար։
Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։
Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն
անել:
Սեմինարները կտեսագրվեն, վիդեոները և սլայդները
կտեղադրենք mlevn.org-ում։
Հայտարարությունները կանենք ML reading group Yerevan
խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan
Տերմինների հայերեն թարգմանության մասին
քննարկումները այստեղ՝ https://ml-hye.talkyard.net :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 2 / 15
Մեքենայական ուսուցում
Մեքենայական ուսուցման ուսումնասիրության թեման այն
ալգորիթմներ են, որոնք ինքնուրույն կարող են լավարկվել
փորձի և տվյալների միջոցով։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 3 / 15
Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Մուտքային օբյեկտների բազմություն՝ X։
Պիտակների բազմություն՝ Y։
▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։
Հավանականության բաշխում P՝ տրված X × Y-ի վրա։
Հետաքրքիր դեպքերում P անհայտ է։
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n
անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և
վերադարձնում կանխատեսիչ (predictor) f : X → Y։
▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների
H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։
▶ Օրինակ՝ hθ(x) = θ⊤
x, գծային ֆունկցիաների բազմություն։
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կորստի ֆունկցիա՝ ℓ : Y2
→ [0, +∞), այնպես որ ℓ(y, y) = 0։
▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′
, y) = 1{y̸=y′}։
▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′
, y) = ∥y − y′
∥2
։
▶ …
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը
(ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝
R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1)
▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ),
R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ):
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (2)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Էմպիրիկ ռիսկը սահմանվում է
r(f) =
1
n
n
X
i=1
ℓ(f(Xi), Yi) : (1)
▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S
ընտրանքից։
▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։
Մի պարզ պնդում՝
∀f, ES [r(f)] = R(f) : (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Վերահսկվող ուսուցում (supervised learning)
Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ
պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից
ներկայացնում է այսպիսի ֆունկցիա՝
θ̂ :
∞
[
n=1
(X × Y)n
→ Θ :
Էպիրիկ ռիսկի մինիմիզացման (ԷՌՄ) ալգորիթմ (empirical
risk minimization)՝
θ̂ERM = argmin
θ∈Θ
r(θ) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝
միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել):
Գնահատական միջինում (in expectation)
ES
h
R(θ̂)
i
≤ ϵ : (1)
Հավանականային գնահատական (in probability)
PS

R(θ̂) ≥ ϵ

≤ δ : (2)
▶ Այսպիսի գնահատականները կոչվում են Պակ
գնահատականներ (PAC – probably approximately correct)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Ընդհանրացման գնահատականներ
Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և
δ-ից։
Ցանկալի է որ ϵ-ի 1
δ -ից կախումը լինի լոգարիթմական
(high-probability bounds) կամ բազմանդամային (polynomial
dependence)։
Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1
√
n
կամ 1
n արագությամբ։
Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի
հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի
գնահատականները կոչվում են oracle bounds (գուշակի
գնահատակա՞ն):
Եթե հնարավոր չէ ստանալ վերոնշյալ տեսակի
ընդհանրացման գնահատականներ, ապա ցանկալի է որ ϵ-ը
լինի r(θ̂)-ին մոտիկ։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականների դեպքում ուսուցման
ալգորիթմը վերադարձնում է ոչ թե մեկ
կանխատեսիչ/հիպոթեզ, այլ հիպոթեզների տարածության
վրա սահմանված բաշխում՝
ρ̂ :
∞
[
n=1
(X × Y)
n
→ P(Θ),
որտեղ P(Θ)-ն Θ-ի վրա տրված բոլոր բաշխումների
բազմությունն է։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Պակ-Բայեսյան գնահատականները հետևյալ մեծությունների
Պակ գնահատականներն են՝
1. Պատահական կանխատեսիչի ռիսկ՝ R(θ̃), որտեղ θ̃ ∼ ρ̂:
2. Միջին ռիսկ՝ Eθ∼ρ̂ [R(θ)]։
3. Միջինացված կանխատեսիչի ռիսկ՝ R(fρ̂), որտեղ
fρ̂(·) = Eθ∼ρ̂ [fθ(·)]:
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Ամփոփենք՝
«Պակ» որովհետև P(R ≥ ϵ) ≤ δ տիպի գնահատականներ են
տրվում։
«Բայեսյան» որովհետև ուսուցման ալգորիթմը ոչ թե մեկ
հիպոթեզ է վերադարձնում, այլ հիպոթեզների բաշխում։
Բայեսյան անունը գալիս է Բայեսյան մեթոդների հետ
նմանությունից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
Պակ գնահատականների ստացման
օրինակներ
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 7 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t  0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Մարկովի անհավասարություն)
Կամայական X ≥ 0 պատահական մեծության և t  0 թվի համար
P (X ≥ t) ≤
E [X]
t
: (1)
Ապացույց։
E [X] = P(X  t) E [X | X  t] + P(X ≥ t) E [X | X ≥ t]
≥ P(X ≥ t) E [X | X ≥ t]
≥ t P(X ≥ t) :
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E

eλX

eλt
: (2)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Չեռնոֆի անհավասարություն)
Կամայական X պատահական մեծության և t ∈ R թվի համար
P(X ≥ t) ≤ inf
λ0
E

eλX

eλt
: (2)
Ապացույց։ Կամայական λ  0 թվի համար
P(X ≥ t) = P(eλX
≥ eλt
)
≤
E

eλX

eλt
: (Մարկովի անհավասարություն)
Վերջնական արդյունքը հետևում է այն փաստից, որ սա ճիշտ է
բոլոր դրական λ-ների համար և ձախ կողմը կախված չէ λ-ից։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
Անհրաժեշտ անհավասարություններ
Լեմմա (Հյոֆդինգ)
Կամայական X ∈ [0, 1] պատահական մեծության և λ  0 թվի
համար
E [exp (λ(X − E [X]))] ≤ exp

λ2
8

: (3)
Առանց ապացույցի։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 10 / 15
Անհրաժեշտ անհավասարություններ
Պնդում (Հյոֆդինգի անհավասարություն)
Դիցուք ունենք n իրարից անկախ, [0, 1] միջակայքին պատկանող
պատահական մեծություններ՝ X1, X2, . . . , Xn։ Նշանակենք նրանց
միջինը X-ով՝ X = 1
n
Pn
i=1 Xi։ Կամայական t ≥ 0 թվի համար տեղի
ունի հետևյալը՝
P

X ≥ E
h
X
i
+ t

≤ e−2nt2
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Ապացույց։ Սկսենք Չեռնոֆի անհավասարությունից

X − E
h
X
i
-ի և t-ի դեպքում։ Կամայական λ  0
P

X − E
h
X
i
≥ t

≤
E
h
exp

λ

X − E
h
X
ii
exp (λt)
=
E

exp λ
n
Pn
i=1(Xi − E [Xi])

exp (λt)
=
E
Qn
i=1 exp λ
n (Xi − E [Xi])

exp (λt)
=
Qn
i=1 E

exp λ
n (Xi − E [Xi])

exp (λt)
: (անկախ.)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մնում է գնահատենք E
[
exp
(λ
n
(Xi − E [Xi])
)]
-ը։ Ըստ Հյոֆդինգի լեմմայի
E
[
exp
(
λ
n
(Xi − E [Xi])
)]
≤ exp
(
λ2
8n2
)
: (4)
Շարունակելով ապացույցը՝
P
(
X − E
[
X
]
≥ t
)
≤
∏n
i=1 exp
(
λ2
8n2
)
exp (λt)
(5)
= exp
(
λ2
8n
− λt
)
: (6)
Լավագույն λ = 4nt-ի դեպքում ստանում ենք որ
P
(
X − E
[
X
]
≥ t
)
≤ exp
(
−2nt2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Անհրաժեշտ անհավասարություններ
Մեծացնելով սխալվելու հավանականությունը երկու անգամ
2 exp −2nt2

, կարելի է ապացուցել որ
P
X − E
h
X
i
≥ t

≤ 2 exp −2nt2

: (4)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
Հիպոթեզների վերջավոր դաս
Ենթադրենք H-ը վերջավոր բազմություն է։ Այս դեպքում
հնարավոր է ապացուցել հետևյալը։
Պնդում
Ենթադրենք ℓ(y′
, y) ∈ [0, 1]. Ապա կամայական |H|  ∞
հիպոթեզների դասի, P տվյալների բաշխման և ĥ ուսուցման
ալգորիթմի համար
P
R(ĥ) − r(ĥ)
≥
s
1
2n
log

2 |H|
δ
!
≤ δ : (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
Հիպոթեզների վերջավոր դաս
Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի
էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների
միջին է։ Ըստ Հյոֆդինգի անհավասարության
P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp
(
−2nϵ2)
: (5)
Կիրառելով պատահույթների միավորման անհավասարությունը
(probability union bound)՝
P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp
(
−2nϵ2)
: (6)
Այլ կերպ գրած՝
P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp
(
−2nϵ2)
: (7)
Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար
ϵ =
√
1
2n
log
(
2 |H|
δ
)
: (8)
Քանի որ (7)-ը ճիշտ է միանգամից բոլոր h-երի համար, այն ճիշտ կլինի
նաև ĥ(S)-ի համար։
Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15

More Related Content

What's hot

Boosting Algorithms Omar Odibat
Boosting Algorithms Omar Odibat Boosting Algorithms Omar Odibat
Boosting Algorithms Omar Odibat
omarodibat
 
Chapter 6 color image processing
Chapter 6 color image processingChapter 6 color image processing
Chapter 6 color image processing
asodariyabhavesh
 
Image Restoration
Image Restoration Image Restoration
Image Restoration
Mahmudul Hasan
 
Image degradation and noise by Md.Naseem Ashraf
Image degradation and noise by Md.Naseem AshrafImage degradation and noise by Md.Naseem Ashraf
Image degradation and noise by Md.Naseem Ashraf
MD Naseem Ashraf
 
About Perception and Hue Histograms in HSV Space
About Perception and Hue Histograms in HSV SpaceAbout Perception and Hue Histograms in HSV Space
About Perception and Hue Histograms in HSV Space
Michel Alves
 
Deep Learning
Deep Learning Deep Learning
Deep Learning
Roshan Chettri
 
Histogram Equalization
Histogram EqualizationHistogram Equalization
Histogram Equalization
Kalyan Acharjya
 
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
PAPIs.io
 
Image Denoising Using Wavelet
Image Denoising Using WaveletImage Denoising Using Wavelet
Image Denoising Using Wavelet
Asim Qureshi
 
7. sequence and collaboration diagrams
7. sequence and collaboration diagrams7. sequence and collaboration diagrams
7. sequence and collaboration diagrams
APU
 
Convolutional Neural Networks
Convolutional Neural NetworksConvolutional Neural Networks
Convolutional Neural Networks
Ashray Bhandare
 
Relational Algebra and MapReduce
Relational Algebra and MapReduceRelational Algebra and MapReduce
Relational Algebra and MapReduce
Pietro Michiardi
 
2-Agents- Artificial Intelligence
2-Agents- Artificial Intelligence2-Agents- Artificial Intelligence
2-Agents- Artificial Intelligence
Mhd Sb
 
constraintSat.ppt
constraintSat.pptconstraintSat.ppt
constraintSat.ppt
PallaviThukral2
 
Machine Learning
Machine LearningMachine Learning
Machine Learning
Bhupender Sharma
 
Deep learning: Overfitting , underfitting, and regularization
Deep learning: Overfitting , underfitting, and regularizationDeep learning: Overfitting , underfitting, and regularization
Deep learning: Overfitting , underfitting, and regularization
Aly Abdelkareem
 
Image segmentation
Image segmentation Image segmentation
Good denoising using wavelets
Good denoising using waveletsGood denoising using wavelets
Good denoising using wavelets
beenamohan
 
Pixel relationships
Pixel relationshipsPixel relationships
Psuedo color
Psuedo colorPsuedo color
Psuedo color
Mariashoukat1206
 

What's hot (20)

Boosting Algorithms Omar Odibat
Boosting Algorithms Omar Odibat Boosting Algorithms Omar Odibat
Boosting Algorithms Omar Odibat
 
Chapter 6 color image processing
Chapter 6 color image processingChapter 6 color image processing
Chapter 6 color image processing
 
Image Restoration
Image Restoration Image Restoration
Image Restoration
 
Image degradation and noise by Md.Naseem Ashraf
Image degradation and noise by Md.Naseem AshrafImage degradation and noise by Md.Naseem Ashraf
Image degradation and noise by Md.Naseem Ashraf
 
About Perception and Hue Histograms in HSV Space
About Perception and Hue Histograms in HSV SpaceAbout Perception and Hue Histograms in HSV Space
About Perception and Hue Histograms in HSV Space
 
Deep Learning
Deep Learning Deep Learning
Deep Learning
 
Histogram Equalization
Histogram EqualizationHistogram Equalization
Histogram Equalization
 
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
Machine Learning Performance Evaluation: Tips and Pitfalls - Jose Hernandez O...
 
Image Denoising Using Wavelet
Image Denoising Using WaveletImage Denoising Using Wavelet
Image Denoising Using Wavelet
 
7. sequence and collaboration diagrams
7. sequence and collaboration diagrams7. sequence and collaboration diagrams
7. sequence and collaboration diagrams
 
Convolutional Neural Networks
Convolutional Neural NetworksConvolutional Neural Networks
Convolutional Neural Networks
 
Relational Algebra and MapReduce
Relational Algebra and MapReduceRelational Algebra and MapReduce
Relational Algebra and MapReduce
 
2-Agents- Artificial Intelligence
2-Agents- Artificial Intelligence2-Agents- Artificial Intelligence
2-Agents- Artificial Intelligence
 
constraintSat.ppt
constraintSat.pptconstraintSat.ppt
constraintSat.ppt
 
Machine Learning
Machine LearningMachine Learning
Machine Learning
 
Deep learning: Overfitting , underfitting, and regularization
Deep learning: Overfitting , underfitting, and regularizationDeep learning: Overfitting , underfitting, and regularization
Deep learning: Overfitting , underfitting, and regularization
 
Image segmentation
Image segmentation Image segmentation
Image segmentation
 
Good denoising using wavelets
Good denoising using waveletsGood denoising using wavelets
Good denoising using wavelets
 
Pixel relationships
Pixel relationshipsPixel relationships
Pixel relationships
 
Psuedo color
Psuedo colorPsuedo color
Psuedo color
 

PAC-Bayesian-generalization-bounds-seminar-1

  • 1. Պակ-Բայեսյան ընդհանրացման գնահատականներ Հանդիպում 1՝ ներածություն Հրայր Հարությունյան Նոյեմբեր 17, 2021 Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 1 / 15
  • 2. Սեմինարների մասին Կանենք 5-6 սեմինար։ Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։ Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն անել: Սեմինարները կտեսագրվեն, վիդեոները և սլայդները կտեղադրենք mlevn.org-ում։ Հայտարարությունները կանենք ML reading group Yerevan խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan Տերմինների հայերեն թարգմանության մասին քննարկումները այստեղ՝ https://ml-hye.talkyard.net : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 2 / 15
  • 3. Մեքենայական ուսուցում Մեքենայական ուսուցման ուսումնասիրության թեման այն ալգորիթմներ են, որոնք ինքնուրույն կարող են լավարկվել փորձի և տվյալների միջոցով։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 3 / 15
  • 4. Վերահսկվող ուսուցում (supervised learning) Մուտքային օբյեկտների բազմություն՝ X։ Պիտակների բազմություն՝ Y։ ▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։ Հավանականության բաշխում P՝ տրված X × Y-ի վրա։ Հետաքրքիր դեպքերում P անհայտ է։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 5. Վերահսկվող ուսուցում (supervised learning) Մուտքային օբյեկտների բազմություն՝ X։ Պիտակների բազմություն՝ Y։ ▶ Օրինակ՝ Y = {1, 2, . . . , C} կամ Y = [0, 1]։ Հավանականության բաշխում P՝ տրված X × Y-ի վրա։ Հետաքրքիր դեպքերում P անհայտ է։ Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 6. Վերահսկվող ուսուցում (supervised learning) Փոխարենը տրված է ընտրանք (sample) P-ից, բաղկացած n անկախ օրինակներից՝ S = {(X1, Y1), . . . , (Xn, Yn)}։ Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և վերադարձնում կանխատեսիչ (predictor) f : X → Y։ ▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։ ▶ Օրինակ՝ hθ(x) = θ⊤ x, գծային ֆունկցիաների բազմություն։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 7. Վերահսկվող ուսուցում (supervised learning) Մեքենայական ուսուցման ալգորիթմները ստանում են S-ը և վերադարձնում կանխատեսիչ (predictor) f : X → Y։ ▶ Հաճախ դիտարկվող դեպք՝ f-ը ընտրվում է հիպոթեզների H = {hθ | θ ∈ Θ} նախօրոք տրված բազմությունից։ ▶ Օրինակ՝ hθ(x) = θ⊤ x, գծային ֆունկցիաների բազմություն։ Կորստի ֆունկցիա՝ ℓ : Y2 → [0, +∞), այնպես որ ℓ(y, y) = 0։ ▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′ , y) = 1{y̸=y′}։ ▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′ , y) = ∥y − y′ ∥2 ։ ▶ … Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 8. Վերահսկվող ուսուցում (supervised learning) Կորստի ֆունկցիա՝ ℓ : Y2 → [0, +∞), այնպես որ ℓ(y, y) = 0։ ▶ 0-1 կորստի ֆունկցիան՝ ℓ(y′ , y) = 1{y̸=y′}։ ▶ Էվկլիդեսյան ℓ2 հեռավորություն՝ ℓ2(y′ , y) = ∥y − y′ ∥2 ։ ▶ … Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը (ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝ R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1) ▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ), R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 9. Վերահսկվող ուսուցում (supervised learning) Տրված f կանխատեսիչի համար ընդհանրացման սխալանքը (ընհանրացման ռիսկ, կամ պարզապես ռիսկ) սահմանվում է՝ R(f) = E(X,Y)∼P [ℓ(f(X), Y)] : (1) ▶ Երբ f-ը պարամետրիզացված է θ պարամետրերով (fθ(x), θ ∈ Θ), R(fθ)-ի փոխարեն կգրենք ուղղակի R(θ): Էմպիրիկ ռիսկը սահմանվում է r(f) = 1 n n X i=1 ℓ(f(Xi), Yi) : (2) ▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S ընտրանքից։ ▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 10. Վերահսկվող ուսուցում (supervised learning) Էմպիրիկ ռիսկը սահմանվում է r(f) = 1 n n X i=1 ℓ(f(Xi), Yi) : (1) ▶ Նկատենք, որ r(f)-ը պատահական մեծություն է՝ կախված S ընտրանքից։ ▶ Կրկին r(fθ)-ի փոխարեն հաճախ կգրենք r(θ)։ Մի պարզ պնդում՝ ∀f, ES [r(f)] = R(f) : (2) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 11. Վերահսկվող ուսուցում (supervised learning) Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից ներկայացնում է այսպիսի ֆունկցիա՝ θ̂ : ∞ [ n=1 (X × Y)n → Θ : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 12. Վերահսկվող ուսուցում (supervised learning) Կենտրոնանանք այն դեպքի վրա երբ f-ը ունի θ պարամետրեր։ Այս դեպքում ուսուցման ալգորիթմը իրենից ներկայացնում է այսպիսի ֆունկցիա՝ θ̂ : ∞ [ n=1 (X × Y)n → Θ : Էպիրիկ ռիսկի մինիմիզացման (ԷՌՄ) ալգորիթմ (empirical risk minimization)՝ θ̂ERM = argmin θ∈Θ r(θ) : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 4 / 15
  • 13. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 14. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Գնահատական միջինում (in expectation) ES h R(θ̂) i ≤ ϵ : (1) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 15. Ընդհանրացման գնահատականներ Նպատակն է ստանալ R(θ̂)-ի վերին գնահատականներ՝ միգուցե օգտագործելով նաև r(θ̂)-ն (վերջինս հեշտ է հաշվել): Գնահատական միջինում (in expectation) ES h R(θ̂) i ≤ ϵ : (1) Հավանականային գնահատական (in probability) PS R(θ̂) ≥ ϵ ≤ δ : (2) ▶ Այսպիսի գնահատականները կոչվում են Պակ գնահատականներ (PAC – probably approximately correct)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 16. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 17. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 18. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 19. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի գնահատականները կոչվում են oracle bounds (գուշակի գնահատակա՞ն): Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 20. Ընդհանրացման գնահատականներ Կարևոր է թե ϵ-ը ինչ տեսք ունի և ինչպես է կախված n-ից և δ-ից։ Ցանկալի է որ ϵ-ի 1 δ -ից կախումը լինի լոգարիթմական (high-probability bounds) կամ բազմանդամային (polynomial dependence)։ Լավագույն դեպքում կուզենք որ ϵ → 0 երբ n → ∞, օրինակ 1 √ n կամ 1 n արագությամբ։ Մեկ այլ «լավ» դեպքում ցանկալի է որ ϵ-ը մոտիկ լինի հնարավոր փոքրագույն ռիսկին՝ infθ∈Θ R(θ)։ Այսպիսի գնահատականները կոչվում են oracle bounds (գուշակի գնահատակա՞ն): Եթե հնարավոր չէ ստանալ վերոնշյալ տեսակի ընդհանրացման գնահատականներ, ապա ցանկալի է որ ϵ-ը լինի r(θ̂)-ին մոտիկ։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 5 / 15
  • 21. Պակ-Բայեսյան ընդհանրացման գնահատականներ Պակ-Բայեսյան գնահատականների դեպքում ուսուցման ալգորիթմը վերադարձնում է ոչ թե մեկ կանխատեսիչ/հիպոթեզ, այլ հիպոթեզների տարածության վրա սահմանված բաշխում՝ ρ̂ : ∞ [ n=1 (X × Y) n → P(Θ), որտեղ P(Θ)-ն Θ-ի վրա տրված բոլոր բաշխումների բազմությունն է։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 22. Պակ-Բայեսյան ընդհանրացման գնահատականներ Պակ-Բայեսյան գնահատականները հետևյալ մեծությունների Պակ գնահատականներն են՝ 1. Պատահական կանխատեսիչի ռիսկ՝ R(θ̃), որտեղ θ̃ ∼ ρ̂: 2. Միջին ռիսկ՝ Eθ∼ρ̂ [R(θ)]։ 3. Միջինացված կանխատեսիչի ռիսկ՝ R(fρ̂), որտեղ fρ̂(·) = Eθ∼ρ̂ [fθ(·)]: Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 23. Պակ-Բայեսյան ընդհանրացման գնահատականներ Ամփոփենք՝ «Պակ» որովհետև P(R ≥ ϵ) ≤ δ տիպի գնահատականներ են տրվում։ «Բայեսյան» որովհետև ուսուցման ալգորիթմը ոչ թե մեկ հիպոթեզ է վերադարձնում, այլ հիպոթեզների բաշխում։ Բայեսյան անունը գալիս է Բայեսյան մեթոդների հետ նմանությունից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 6 / 15
  • 24. Պակ գնահատականների ստացման օրինակներ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 7 / 15
  • 25. Անհրաժեշտ անհավասարություններ Պնդում (Մարկովի անհավասարություն) Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար P (X ≥ t) ≤ E [X] t : (1) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
  • 26. Անհրաժեշտ անհավասարություններ Պնդում (Մարկովի անհավասարություն) Կամայական X ≥ 0 պատահական մեծության և t 0 թվի համար P (X ≥ t) ≤ E [X] t : (1) Ապացույց։ E [X] = P(X t) E [X | X t] + P(X ≥ t) E [X | X ≥ t] ≥ P(X ≥ t) E [X | X ≥ t] ≥ t P(X ≥ t) : Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 8 / 15
  • 27. Անհրաժեշտ անհավասարություններ Պնդում (Չեռնոֆի անհավասարություն) Կամայական X պատահական մեծության և t ∈ R թվի համար P(X ≥ t) ≤ inf λ0 E eλX eλt : (2) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
  • 28. Անհրաժեշտ անհավասարություններ Պնդում (Չեռնոֆի անհավասարություն) Կամայական X պատահական մեծության և t ∈ R թվի համար P(X ≥ t) ≤ inf λ0 E eλX eλt : (2) Ապացույց։ Կամայական λ 0 թվի համար P(X ≥ t) = P(eλX ≥ eλt ) ≤ E eλX eλt : (Մարկովի անհավասարություն) Վերջնական արդյունքը հետևում է այն փաստից, որ սա ճիշտ է բոլոր դրական λ-ների համար և ձախ կողմը կախված չէ λ-ից։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 9 / 15
  • 29. Անհրաժեշտ անհավասարություններ Լեմմա (Հյոֆդինգ) Կամայական X ∈ [0, 1] պատահական մեծության և λ 0 թվի համար E [exp (λ(X − E [X]))] ≤ exp λ2 8 : (3) Առանց ապացույցի։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 10 / 15
  • 30. Անհրաժեշտ անհավասարություններ Պնդում (Հյոֆդինգի անհավասարություն) Դիցուք ունենք n իրարից անկախ, [0, 1] միջակայքին պատկանող պատահական մեծություններ՝ X1, X2, . . . , Xn։ Նշանակենք նրանց միջինը X-ով՝ X = 1 n Pn i=1 Xi։ Կամայական t ≥ 0 թվի համար տեղի ունի հետևյալը՝ P X ≥ E h X i + t ≤ e−2nt2 : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 31. Անհրաժեշտ անհավասարություններ Ապացույց։ Սկսենք Չեռնոֆի անհավասարությունից X − E h X i -ի և t-ի դեպքում։ Կամայական λ 0 P X − E h X i ≥ t ≤ E h exp λ X − E h X ii exp (λt) = E exp λ n Pn i=1(Xi − E [Xi]) exp (λt) = E Qn i=1 exp λ n (Xi − E [Xi]) exp (λt) = Qn i=1 E exp λ n (Xi − E [Xi]) exp (λt) : (անկախ.) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 32. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 33. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Շարունակելով ապացույցը՝ P ( X − E [ X ] ≥ t ) ≤ ∏n i=1 exp ( λ2 8n2 ) exp (λt) (5) = exp ( λ2 8n − λt ) : (6) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 34. Անհրաժեշտ անհավասարություններ Մնում է գնահատենք E [ exp (λ n (Xi − E [Xi]) )] -ը։ Ըստ Հյոֆդինգի լեմմայի E [ exp ( λ n (Xi − E [Xi]) )] ≤ exp ( λ2 8n2 ) : (4) Շարունակելով ապացույցը՝ P ( X − E [ X ] ≥ t ) ≤ ∏n i=1 exp ( λ2 8n2 ) exp (λt) (5) = exp ( λ2 8n − λt ) : (6) Լավագույն λ = 4nt-ի դեպքում ստանում ենք որ P ( X − E [ X ] ≥ t ) ≤ exp ( −2nt2) : (7) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 35. Անհրաժեշտ անհավասարություններ Մեծացնելով սխալվելու հավանականությունը երկու անգամ 2 exp −2nt2 , կարելի է ապացուցել որ P
  • 36.
  • 37.
  • 39.
  • 40.
  • 41. ≥ t ≤ 2 exp −2nt2 : (4) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 11 / 15
  • 42. Հիպոթեզների վերջավոր դաս Ենթադրենք H-ը վերջավոր բազմություն է։ Այս դեպքում հնարավոր է ապացուցել հետևյալը։ Պնդում Ենթադրենք ℓ(y′ , y) ∈ [0, 1]. Ապա կամայական |H| ∞ հիպոթեզների դասի, P տվյալների բաշխման և ĥ ուսուցման ալգորիթմի համար P
  • 43.
  • 44.
  • 46.
  • 47.
  • 48. ≥ s 1 2n log 2 |H| δ ! ≤ δ : (5) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 49. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 50. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 51. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 52. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար ϵ = √ 1 2n log ( 2 |H| δ ) : (8) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 53. Հիպոթեզների վերջավոր դաս Ապացույց։ Յուրաքանչյուր hi ∈ H, i = 1, . . . , |H| կանխատեսիչի էպիրիկ ռիսկը n իրարից անկախ [0, 1]-պատահական մեծությունների միջին է։ Ըստ Հյոֆդինգի անհավասարության P (|R(hi) − r(hi)| ≥ ϵ) ≤ 2 exp ( −2nϵ2) : (5) Կիրառելով պատահույթների միավորման անհավասարությունը (probability union bound)՝ P (∃i, |R(hi) − r(hi)| ≥ ϵ) ≤ 2 |H| exp ( −2nϵ2) : (6) Այլ կերպ գրած՝ P (∀i, |R(hi) − r(hi)| ≤ ϵ) ≥ 1 − 2 |H| exp ( −2nϵ2) : (7) Մենք ուզում ենք որ սխալվելու հավանակությունը լինի δ, հետևաբար ϵ = √ 1 2n log ( 2 |H| δ ) : (8) Քանի որ (7)-ը ճիշտ է միանգամից բոլոր h-երի համար, այն ճիշտ կլինի նաև ĥ(S)-ի համար։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 12 / 15
  • 54. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 55. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 56. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 57. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. A-ով նշանակենք հետևյալ պատահույթը՝ ∀i, |R(hi) − r(hi)| ≤ ϵ. Նախորդ արդյունքից ունենք որ P (A) ≥ 1 − δ: Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ r(h) ≤ R(H) + ϵ: Հետևաբար R(ĥERM) ≤ inf h∈H R(h) + 2ϵ : (11) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 58. Հիպոթեզների վերջավոր դաս՝ ԷՌՄ ալգ. Դիտարկենք ĥERM ալգորիթմը։ Երբ A-ն ճիշտ է, ունենք որ R(ĥERM) ≤ r(ĥERM) + ϵ : (9) Քանի որ ԷՌՄ է, ունենք որ r(ĥERM) = minh∈H r(h): Հետևաբար R(ĥERM) ≤ inf h∈H r(h) + ϵ : (10) Բայց երբ A-ն տեղի ունի, ապա բոլոր h-երի համար միաժամանակ r(h) ≤ R(H) + ϵ: Հետևաբար R(ĥERM) ≤ inf h∈H R(h) + 2ϵ : (11) Ստացանք մեր առաջին oracle Պակ գնահատականը՝ P ( R(ĥERM) ≤ inf h∈H R(h) + 2ϵ ) ≥ 1 − δ : (12) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 13 / 15
  • 59. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 60. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (14) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 61. Հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք H-ը հաշվելի անվերջ է՝ H = {h1, h2, . . .}։ Եկեք վերցնենք H-ի վրա հավանականության բաշխում ρ(h)՝ ρ(hi) 0, ∞ ∑ i=1 ρ(hi) = 1 : (13) Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (14) Վերցնենք ϵi այնպես, որ 2 exp ( −2nϵ2 i ) = δρ(hi)՝ ϵi = √ 1 2n log ( 2 ρ(hi)δ ) : (15) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 62. Հիպոթեզների հաշվելի անվերջ դաս Ինչպես վերջավոր դասի դեպքում, յուրաքանչյուր h-ի համար ունենք որ P (|R(hi) − r(hi)| ≥ ϵi) ≤ 2 exp ( −2nϵ2 i ) : (13) Վերցնենք ϵi այնպես, որ 2 exp ( −2nϵ2 i ) = δρ(hi)՝ ϵi = √ 1 2n log ( 2 ρ(hi)δ ) : (14) Այժմ կիրառենք պատահույթների միավորման անհավասարությունը՝ P (∃i, |R(hi) − r(hi)| ≥ ϵi) ≤ ∞ ∑ i=1 δρ(hi) = δ : (15) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 63. Հիպոթեզների հաշվելի անվերջ դաս Ամփոփենք՝ P ( ∀i, |R(hi) − r(hi)| ≤ √ 1 2n log ( 2 ρ(hi)δ )) ≥ 1 − δ : (13) Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 64. Հիպոթեզների հաշվելի անվերջ դաս Ամփոփենք՝ P ( ∀i, |R(hi) − r(hi)| ≤ √ 1 2n log ( 2 ρ(hi)δ )) ≥ 1 − δ : (13) Դիտողություն։ Երբ |H| ∞ և ρ(hi) = 1 |H| , ստանում ենք վերջավոր դասերի համար ստացված արդյունքը։ Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 14 / 15
  • 65. Շնորհակալություն Հրայր Հարությունյան Պակ-Բայեսյան գնահատականներ Նոյեմբեր 17, 2021 15 / 15