More Related Content More from Computer Science Club (20) 20130216 machinelearning khachay_lecture011. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Machine Learning. Ââåäåíèå
Ì.Þ. Õà÷àé
mkhachay@imm.uran.ru
Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍ
Ñ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ
Øêîëà àíàëèçà äàííûõ
âåñåííèé ñåìåñòð 2013
2. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Àííîòàöèÿ
Êóðñ ¾Àëãîðèòìè÷åñêîå îáó÷åíèå¿ ïðåäñòàâëÿåò ñîáîé êðàòêîå
ââåäåíèå â òåîðèþ è ìåòîäû ðåøåíèÿ çàäà÷ àíàëèçà ýìïèðè÷åñêèõ
äàííûõ: êëàññèôèêàöèè ñ ó÷èòåëåì, âîññòàíîâëåíèÿ çàâèñèìîñòåé
áîëåå îáùåé ïðèðîäû, êëàñòåðèçàöèè è äð., èìåþùèõ øèðîêèé
ñïåêòð ïðèëîæåíèé â îáëàñòè ìåäèöèíñêîé è ýêîíîìè÷åñêîé
äèàãíîñòèêè, àíàëèçà èçîáðàæåíèé, èíôîðìàöèîííîãî ïîèñêà è
ò.ï.
3. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Ìåòîäû
3 Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
4. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Ìåòîäû
3 Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
5. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Ìåòîäû
3 Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
6. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning?
Authur Samuel (1959)
Machine Learning is a eld of study that gives computers the ability
to learn without being programmed
7. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning?
Machine Learning is the study of
computer algorithms that improve
automatically through experience.
Applications range from datamining
programs that discover general rules in
large data sets, to information ltering
systems that automatically learn users'
interests
8. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning? (Pedro Domingos)
9. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Òèïû çàäà÷
supervised learning (îáó÷åíèå ñ ó÷èòåëåì) ïîñòàíîâêè çàäà÷, â
êîòîðûõ òðåáóåòñÿ âîññòàíîâèòü (îöåíèòü,
àïïðîêñèìèðîâàòü) íåèçâåñòíóþ çàêîíîìåðíîñòü ïî
çàäàííîìó íàáîðó ïàð (input, output).
Èíòåðïîëÿöèÿ çàäà÷è êëàññèôèêàöèè,
âîññòàíîâëåíèÿ ðåãðåññèè. Ýêñòðàïîëÿöèÿ çàäà÷è
ïðîãíîçèðîâàíèÿ, àíàëèçà âðåìåííûõ ðÿäîâ.
unsupervised learning (îáó÷åíèå áåç ó÷èòåëÿ) çàäà÷è
ãðóïïèðîâêè (âîçìîæíî, èåðàðõè÷åñêîé) áëèçêèõ â
íåêîòîðîì ñìûñëå îáúåêòîâ, êëàñòåðèçàöèÿ,
âûÿâëåíèå íàèáîëåå õàðàêòåðíûõ ïðåäñòàâèòåëåé
semi-supervised learning
reinforcement learning
10. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè
11. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè
Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),
ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),
ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõ
èññëåäîâàíèé (ÊÒ)
Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)
12. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à áèîìåòðè÷åñêîé èäåíòèôèêàöèè
13. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à îá îöåíêå çàåìùèêà
Input: àíêåòíûå äàííûå: âîçðàñò, îáðàçîâàíèå, ìåñòî
ðàáîòû, ñðåäíèé äîõîä, ñîáñòâåííîñòü, ñåìåéíîå
ïîëîæåíèå; êðåäèòíàÿ èñòîðèÿ; íåâåðáàëüíûå
äàííûå: ðåçóëüòàòû èíòåðâüþ, ñóáúåêòèâíîå ìíåíèå
êðåäèòíîãî ýêñïåðòà è.ò.ï
Output: ðåøåíèå î êðåäèòîñïîñîáíîñòè çàåìùèêà
14. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Êëàñòåðíûé àíàëèç
15. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
16. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
17. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
18. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
19. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
20. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
21. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
22. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Îáîñíîâàíèå
ýìïèðèêà (CV, FAR/FRR, AUC è ò.ï.)
òåîðèÿ Âàïíèêà-×åðâîíåíêèñà (VCD, âåðõíèå îöåíêè
ðàâíîìåðíîé ñõîäèìîñòè ýìïèðè÷åñêèõ ñðåäíèõ)
ñòîõàñòè÷åñêèå ñëó÷àéíûå ïðîöåññû (ñëàáàÿ ñõîäèìîñòü,
äîíñêåðîâîñòü, îáîáùåíèå ÖÏÒ)
PAC-learning
23. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷à îá îïòèìàëüíîì ôóíêöèîíàëüíîì ýëåìåíòå
â çàäàííîì ñåìåéñòâå äîïóñòèìûõ ôóíêöèé òðåáóåòñÿ âûáðàòü
ýëåìåíò, îïòèìèçèðóþùèé ôèêñèðîâàííûé êðèòåðèé êà÷åñòâà
(ïîòåðü)
Íàïðèìåð,
Äàíî: Z, G = {g(·, α) : Z → R, α ∈ Λ} è I : Λ → R+ .
Íàéòè: g(·, α) ∈ G òàêóþ, ÷òî
¯
α = arg min{I(α) : α ∈ Λ}.
¯ (1)
24. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ
ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî
I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z
α = arg min{I(α | P) : α ∈ Λ}.
¯ (3)
25. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ
ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî
I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z
α = arg min{I(α | P) : α ∈ Λ}.
¯ (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî
èñ÷èñëåíèÿ
26. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ
ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî
I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z
α = arg min{I(α | P) : α ∈ Λ}.
¯ (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî
èñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1 , z2 , . . . , zl )
27. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ
ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî
I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z
α = arg min{I(α | P) : α ∈ Λ}.
¯ (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî
èñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1 , z2 , . . . , zl )
 ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
28. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àíòàãîíèñòè÷åñêàÿ èãðà ñ ïðèðîäîé
Èãðîêè I II
Èìÿ Ïðèðîäà Ñòàòèñòèê
×èñòûå ñòðàòåãèè P ∈ P α∈Λ
ïàðòèÿ èãðû (P, α),
ïëàòåæíàÿ ôóíêöèÿ K(P, α) ≡ I(α|P)
29. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì
çàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
30. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì
çàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min
ˆ I(α | P) dµ | α ∈ Λ ,
31. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì
çàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min
ˆ I(α | P) dµ | α ∈ Λ ,
Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà
Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr .
Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîå
ðàñïðåäåëåíèå µpos = µ[µpr , ζ].
Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos ).
ˆ
32. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà
ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî.
Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1.
33. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà
ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî.
Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1.
Ïî ôîðìóëå Áàéåñà
l
mi ρi (zj )
j=1
µpos (Pi ) = ni = l
.
mi ρi (zj )
i∈{1,2} j=1
34. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà
ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî.
Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1.
Ïî ôîðìóëå Áàéåñà
l
mi ρi (zj )
j=1
µpos (Pi ) = ni = l
.
mi ρi (zj )
i∈{1,2} j=1
Èñêîìîå áàéåñîâñêîå ðåøåíèå
α(µpos ) = arg min n1
ˆ Φ(z, g(z, α))ρ1 (z) dz
Z
+ n2 Φ(z, g(z, α))ρ2 (z) dz | α ∈ Λ .
Z
35. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìàêñíûé ïîäõîä
Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
˜ sup I(α | P) | α ∈ Λ .
P∈P(ζ)
36. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìàêñíûé ïîäõîä
Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
˜ sup I(α | P) | α ∈ Λ .
P∈P(ζ)
Îòêðûòûå âîïðîñû:
âûáîð ïîäõîäÿùåãî P(ζ)
îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)
âû÷èñëèòåëüíàÿ ñëîæíîñòü
37. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìèçàöèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà
Òðàäèöèîííûé äëÿ òåîðèè îáó÷åíèÿ ïîäõîä ñîñòîèò â
ìèíèìèçàöèè
(4)
α∗ (ζ) = arg min {Iemp (α | ζ) | α ∈ Λ}
ýìïèðè÷åñêîãî ôóíêöèîíàëà Iemp (α | ζ), ñïåöèàëüíûì îáðàçîì
ïîäîáðàííîãî ïî âûáîðêå ζ .
Ñïîñîá ïîñòðîåíèÿ ôóíêöèîíàëà Iemp ìîæåò ñèëüíî ðàçíèòüñÿ
îò çàäà÷è ê çàäà÷å (è ìåòîäà ê ìåòîäó) è êàæäûé ðàç áóäåò
îãîâàðèâàòüñÿ îòäåëüíî.
 áîëüøèíñòâå ñëó÷àåâ ìîæíî îãðàíè÷èòüñÿ ôóíêöèîíàëàìè
âèäà
Iemp (α | ζ) = Φ(z, g(z, α)) dπ(z | ζ), (5)
Z
ãäå âåðîÿòíîñòíàÿ ìåðà π(z | ζ) (íå îáÿçàòåëüíî
ïðèíàäëåæàùàÿ ñåìåéñòâó P), îäíîçíà÷íî îïðåäåëÿåòñÿ
âûáîðêîé ζ .
38. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé
ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé
ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l
39. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé
ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé
ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l
Ëåãêî ïîêàçàòü, ÷òî òîãäà
l
i=1 Φ(zi , g(zi , α))
Iemp (α|ζ) = .
l
40. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé
ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé
ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l
Ëåãêî ïîêàçàòü, ÷òî òîãäà
l
i=1 Φ(zi , g(zi , α))
Iemp (α|ζ) = .
l
Óïðàæíåíèå 1.
41. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ
Ïóñòü
¯ = inf{I(α | P) : α ∈ Λ} = inf
I Φ(z, g(z, α)) dP(z) : α ∈ Λ
Z
äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.
Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)).
Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N,
Pl (ε) = P(I(α∗ (ζ)) − ¯
I ε)
42. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ
Ïóñòü
¯ = inf{I(α | P) : α ∈ Λ} = inf
I Φ(z, g(z, α)) dP(z) : α ∈ Λ
Z
äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.
Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)).
Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N,
Pl (ε) = P(I(α∗ (ζ)) − ¯
I ε)
Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõ
äëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1 − η, åñëè
Pl (ε) η.
43. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àñèìïòîòè÷åñêàÿ àïïðîêñèìèðóåìîñòü
Çàäà÷à
(6)
min{Iemp (α | ζ)} = min Φ(z, g(z, α)) dπ(z | ζ) : α ∈ Λ
Z
êîððåêòíî àïïðîêñèìèðóåò çàäà÷ó
(7)
inf{I(α | P)} = inf Φ(z, g(z, α)) dP(z)) : α ∈ Λ
Z
åñëè äëÿ ïðîèçâîëüíîãî ε 0
Pl (ε) − − 0.
−→
l→∞
44. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè
Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1 , y1 ), . . . , (xl , yl )), (8)
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ}
òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è,
ñîîòâåòñòâåííî,
I(α|P) = Ψ(y − f (x, α)) dP(x, y)
X×Y
äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
45. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè
Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1 , y1 ), . . . , (xl , yl )), (8)
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ}
òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è,
ñîîòâåòñòâåííî,
I(α|P) = Ψ(y − f (x, α)) dP(x, y)
X×Y
äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åé
âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿ
åé çàäà÷à (6) çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé
çàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì
46. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Õàðàêòåðíûå ÷àñòíûå ñëó÷àè
çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè (è êàê ÷àñòíûé ñëó÷àé çàäà÷à
èíòåðïðåòàöèè ïðÿìûõ èçìåðåíèé)
çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà.
47. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.
Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ
(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå
ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
48. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.
Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ
(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå
ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå
χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü
ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
49. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.
Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ
(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå
ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå
χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü
ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ},
Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäà
ðàâíîçíà÷íûìè.
50. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàâøèñü Â.Ï. (X × Y, A, P) ñ èçâåñòíûìè ìíîæåñòâîì
ýëåìåíòàðíûõ èñõîäîâ X × Y è σ-àëãåáðîé ñîáûòèé A è â
îáùåì ñëó÷àå íåèçâåñòíîé âåðîÿòíîñòíîé ìåðîé P,
ïðåäïîëàãàåì äëÿ êàæäîãî ïðàâèëà f (·, α) èçìåðèìûì
ìíîæåñòâî
Aα = {(x, y) | y = f (x, α)} ∈ A.
Ñîîòâåòñòâåííî, êàæäîìó α ∈ Λ ìîæåò áûòü ñîïîñòàâëåíî
÷èñëî
I(α|P) = P(Aα ) ≡ dP(x, y) = 1Aα (x, y) dP(x, y),
Aα X×Y
51. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Ïðè íàøèõ äîïóùåíèÿõ
1Aα (x, y) ≡ (y − f (x, α))2 ,
Äëÿ èçâåñòíîé âåðîÿòíîñòíîé ìåðû P çàäà÷à îáó÷åíèÿ
ðàñïîçíàâàíèþ îáðàçîâ ñâîäèòñÿ ê âàðèàöèîííîé çàäà÷å
(9)
min (y − f (x, α))2 dP(x, y) | α ∈ Λ ,
X×Y
äîïóñêàþùåé â ðÿäå ñëó÷àåâ àíàëèòè÷åñêîå ðåøåíèå.
52. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè
P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè
P(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå
èíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.
53. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè
P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè
P(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå
èíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.
Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.
Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìû
äëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k 2.
Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.
54. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñóùåñòâîâàíèå áàéåñîâñêîãî êëàññèôèêàòîðà
Îãðàíè÷èìñÿ ðàññìîòðåíèåì ÷àñòíîãî ñëó÷àÿ, â êîòîðîì
ìåðû P(x|y = 1) è P(x|y = 0) àáñîëþòíî íåïðåðûâíû è
çàäàþòñÿ ïëîòíîñòÿìè ρ1 (x) è ρ0 (x), ñîîòâåòñòâåííî. Ëåãêî
âèäåòü, ÷òî íàèìåíüøåå çíà÷åíèå èíòåãðàëà
(y−f (x))2 dP(x, y) = P1 (1−f (x))2 ρ1 (x) dx+P0 f (x)ρ0 (x) dx
X×Y X X
äîñòèãàåòñÿ íà ôóíêöèè
1, P1 · ρ1 (x) ≥ P0 · ρ0 (x),
¯(x) =
f
â ïðîòèâíîì ñëó÷àå,
0,
èìåíóåìîé áàéåñîâñêèì êëàññèôèêàòîðîì.
55. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
 îáùåé ñèòóàöèè, êîãäà èíôîðìàöèÿ î ìåðå P çàäàåòñÿ âûáîðêîé
ζ = ((x1 , y1 ), . . . , (xl , yl )), çàäà÷à àïïðîêñèìèðóåòñÿ:
min
α∈Λ
(y − f (x, α))2 dπ(x, y | ζ). (10)
X×Y
÷àñòíûì ñëó÷àåì çàäà÷è (6).
56. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè
Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,
ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå
ìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) = y dP(y|x).
Y
Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé
ðåãðåññèè (ðåãðåññèåé).
Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è
ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M.
57. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè
Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,
ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå
ìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) = y dP(y|x).
Y
Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé
ðåãðåññèè (ðåãðåññèåé).
Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è
ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M.
Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãî
ïðèáëèæåíèÿ â ñåìåéñòâå F :
min d(y(·), f (·, α)).
α∈Λ
(11)
58. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà
Ïóñòü M = L2 (P) ãèëüáåðòîâî ïðîñòðàíñòâî èíòåãðèðóåìûõ
ñ êâàäðàòîì (ïî ìàðãèíàëüíîé ìåðå) ôóíêöèé è íîðìîé
g = g2 (x) dP(x) ≡ g2 (x) dP(x, y).
X X×Y
Î÷åâèäíî, îïðåäåëåííîå òàêèì îáðàçîì ïðîñòðàíñòâî M
ÿâëÿåòñÿ ìåòðè÷åñêèì, ñî ñòàíäàðòíîé ìåòðèêîé
d(g, h) = g − h .
Îïðåäåëèì ôóíêöèîíàë I ñîîòíîøåíèåì
α → I(α | P) = (y − f (x, α))2 dP(x, y)
X×Y
59. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà (ctd.)
I(α | P) = (y − f (x, α))2 dP(x, y) = (y − y(x))2 dP(x, y)−
X×Y X×Y
−2 (y(x)−f (x, α)) (y − y(x)) dP(y|x) dP(x)+ (y(x)−f (x, α))2 dP(x) =
X Y X
=0
= (y−y(x))2 dP(x, y)+d2 (y(·), f (·, α)) = const(α)+d2 (y(·), f (·, α)).
X×Y
60. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Èíòåðïðåòàöèÿ ïðÿìûõ èçìåðåíèé
÷àñòíûé ñëó÷àé çàäà÷è î ðåãðåññèè
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → R | α ∈ Λ},
òðåáóåòñÿ íàéòè f (·, α) (ïàðàìåòð α) ïî ðåçóëüòàòàì
¯ ¯
ïðèáëèæåííûõ èçìåðåíèé (x1 , y1 ), . . . , (xl , yl ), ãäå
yi = f (xi , α) + ξi ,
¯ (i ∈ {1, 2, . . . , l} = Nl ),
à ñëó÷àéíûå íåçàâèñèìûå íåñìåùåííûå ïîãðåøíîñòè,
ξi
.
Eξi2 ∞
61. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Èíòåðïðåòàöèÿ ðåçóëüòàòîâ êîñâåííûõ ýêñïåðèìåíòîâ
Èñêîìàÿ ôóíêöèîíàëüíàÿ çàâèñèìîñòü íåäîñòóïíà äëÿ
íåïîñðåäñòâåííûõ èçìåðåíèé, äàæå ñ ïîãðåøíîñòüþ.
Ïóñòü Y ⊂ R, çàäàíû ìåòðè÷åñêèå ïðîñòðàíñòâà (M1 , d1 ) ⊂ Y T
è (M2 , d2 ) ⊂ Y X , ñåìåéñòâî ôóíêöèé
F = {fα : T → Y | α ∈ Λ} ⊂ M1
è íåïðåðûâíûé îïåðàòîð A : M1 → M2 , âçàèìíî îäíîçíà÷íûé
íà A(M1 ).
Òðåáóåòñÿ ðåøèòü çàäà÷ó
min{d1 (f , F) | A(f ) = F}
ïðè óñëîâèè
yi = F(xi ) + ξi , (i ∈ Nm ),
ïðè÷åì ñëó÷àéíûå âåëè÷èíû ξi , êàê è ðàíåå, íåçàâèñèìû â
ñîâîêóïíîñòè è óäîâëåòâîðÿþò óñëîâèÿì Eξi = 0, Eξi2 ∞.
62. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà
Óïðàæíåíèå 5. Ïîêàçàòü, ÷òî åñëè
(M2 , d2 ) = L2 (P) ïðîñòðàíñòâî ôóíêöèé, èíòåãðèðóåìûõ ñ
êâàäðàòîì (ïî ìåðå P),
îïåðàòîð A−1 íåïðåðûâåí íà ìíîæåñòâå A(M1 ),
òî èñõîäíàÿ çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî
ýêñïåðèìåíòà ýêâèâàëåíòíà çàäà÷å
min (y − A(fα )(x))2 dP(x, y)
X×Y
63. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âûâîäû
ìíîãèå çàäà÷è àíàëèçà äàííûõ äîïóñêàþò ñâåäåíèå ê çàäà÷å
ìèíèìèçàöèè ïîäõîäÿùåãî ôóíêöèîíàëà ñðåäíåãî ðèñêà
â ñëó÷àå èçâåñòíîé âåðîÿòíîñòíîé ìåðû ïîëó÷àåìàÿ çàäà÷à
ìîæåò áûòü ðåøåíà ìåòîäàìè âàðèàöèîííîãî àíàëèçà, è â
íåêîòîðûõ ÷àñòíûõ ïîñòàíîâêàõ äîïóñêàåò àíàëèòè÷åñêîå
ðåøåíèå
ïðîöåäóðà îáó÷åíèÿ îáóñëîâëåíà íåèçâåñòíîñòüþ çàêîíîâ
ðàñïðåäåëåíèÿ è ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãî
ýìïèðè÷åñêîãî ôóíêöèîíàëà