20130216 machinelearning khachay_lecture01

439 views
381 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
439
On SlideShare
0
From Embeds
0
Number of Embeds
144
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20130216 machinelearning khachay_lecture01

  1. 1. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ Machine Learning. Ââåäåíèå Ì.Þ. Õà÷àé mkhachay@imm.uran.ru Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍ Ñ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ Øêîëà àíàëèçà äàííûõ âåñåííèé ñåìåñòð 2013
  2. 2. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÀííîòàöèÿ Êóðñ ¾Àëãîðèòìè÷åñêîå îáó÷åíèå¿ ïðåäñòàâëÿåò ñîáîé êðàòêîå ââåäåíèå â òåîðèþ è ìåòîäû ðåøåíèÿ çàäà÷ àíàëèçà ýìïèðè÷åñêèõ äàííûõ: êëàññèôèêàöèè ñ ó÷èòåëåì, âîññòàíîâëåíèÿ çàâèñèìîñòåé áîëåå îáùåé ïðèðîäû, êëàñòåðèçàöèè è äð., èìåþùèõ øèðîêèé ñïåêòð ïðèëîæåíèé â îáëàñòè ìåäèöèíñêîé è ýêîíîìè÷åñêîé äèàãíîñòèêè, àíàëèçà èçîáðàæåíèé, èíôîðìàöèîííîãî ïîèñêà è ò.ï.
  3. 3. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÑîäåðæàíèå 1 Ââåäåíèå 2 Òèïû çàäà÷ îáó÷åíèÿ Ïðèìåðû ïðèêëàäíûõ çàäà÷ Ìåòîäû 3 Çàäà÷à îáó÷åíèÿ Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
  4. 4. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÑîäåðæàíèå 1 Ââåäåíèå 2 Òèïû çàäà÷ îáó÷åíèÿ Ïðèìåðû ïðèêëàäíûõ çàäà÷ Ìåòîäû 3 Çàäà÷à îáó÷åíèÿ Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
  5. 5. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÑîäåðæàíèå 1 Ââåäåíèå 2 Òèïû çàäà÷ îáó÷åíèÿ Ïðèìåðû ïðèêëàäíûõ çàäà÷ Ìåòîäû 3 Çàäà÷à îáó÷åíèÿ Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
  6. 6. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿWhat is Machine Learning? Authur Samuel (1959) Machine Learning is a eld of study that gives computers the ability to learn without being programmed
  7. 7. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿWhat is Machine Learning? Machine Learning is the study of computer algorithms that improve automatically through experience. Applications range from datamining programs that discover general rules in large data sets, to information ltering systems that automatically learn users interests
  8. 8. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿWhat is Machine Learning? (Pedro Domingos)
  9. 9. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÒèïû çàäà÷ supervised learning (îáó÷åíèå ñ ó÷èòåëåì) ïîñòàíîâêè çàäà÷, â êîòîðûõ òðåáóåòñÿ âîññòàíîâèòü (îöåíèòü, àïïðîêñèìèðîâàòü) íåèçâåñòíóþ çàêîíîìåðíîñòü ïî çàäàííîìó íàáîðó ïàð (input, output). Èíòåðïîëÿöèÿ çàäà÷è êëàññèôèêàöèè, âîññòàíîâëåíèÿ ðåãðåññèè. Ýêñòðàïîëÿöèÿ çàäà÷è ïðîãíîçèðîâàíèÿ, àíàëèçà âðåìåííûõ ðÿäîâ. unsupervised learning (îáó÷åíèå áåç ó÷èòåëÿ) çàäà÷è ãðóïïèðîâêè (âîçìîæíî, èåðàðõè÷åñêîé) áëèçêèõ â íåêîòîðîì ñìûñëå îáúåêòîâ, êëàñòåðèçàöèÿ, âûÿâëåíèå íàèáîëåå õàðàêòåðíûõ ïðåäñòàâèòåëåé semi-supervised learning reinforcement learning
  10. 10. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè
  11. 11. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè), ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè), ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõ èññëåäîâàíèé (ÊÒ) Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)
  12. 12. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Çàäà÷à áèîìåòðè÷åñêîé èäåíòèôèêàöèè
  13. 13. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Çàäà÷à îá îöåíêå çàåìùèêà Input: àíêåòíûå äàííûå: âîçðàñò, îáðàçîâàíèå, ìåñòî ðàáîòû, ñðåäíèé äîõîä, ñîáñòâåííîñòü, ñåìåéíîå ïîëîæåíèå; êðåäèòíàÿ èñòîðèÿ; íåâåðáàëüíûå äàííûå: ðåçóëüòàòû èíòåðâüþ, ñóáúåêòèâíîå ìíåíèå êðåäèòíîãî ýêñïåðòà è.ò.ï Output: ðåøåíèå î êðåäèòîñïîñîáíîñòè çàåìùèêà
  14. 14. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Êëàñòåðíûé àíàëèç
  15. 15. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
  16. 16. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.)
  17. 17. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.) ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
  18. 18. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.) ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.) íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
  19. 19. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.) ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.) íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà) ãðàôîâûå ìîäåëè (HMM è äð.)
  20. 20. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.) ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.) íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà) ãðàôîâûå ìîäåëè (HMM è äð.) êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
  21. 21. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÌåòîäû îáó÷åíèÿ áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ, RVM è ò.ï.) ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.) íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà) ãðàôîâûå ìîäåëè (HMM è äð.) êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã) Etc.
  22. 22. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌåòîäûÎáîñíîâàíèå ýìïèðèêà (CV, FAR/FRR, AUC è ò.ï.) òåîðèÿ Âàïíèêà-×åðâîíåíêèñà (VCD, âåðõíèå îöåíêè ðàâíîìåðíîé ñõîäèìîñòè ýìïèðè÷åñêèõ ñðåäíèõ) ñòîõàñòè÷åñêèå ñëó÷àéíûå ïðîöåññû (ñëàáàÿ ñõîäèìîñòü, äîíñêåðîâîñòü, îáîáùåíèå ÖÏÒ) PAC-learning
  23. 23. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷à îá îïòèìàëüíîì ôóíêöèîíàëüíîì ýëåìåíòå â çàäàííîì ñåìåéñòâå äîïóñòèìûõ ôóíêöèé òðåáóåòñÿ âûáðàòü ýëåìåíò, îïòèìèçèðóþùèé ôèêñèðîâàííûé êðèòåðèé êà÷åñòâà (ïîòåðü) Íàïðèìåð, Äàíî: Z, G = {g(·, α) : Z → R, α ∈ Λ} è I : Λ → R+ . Íàéòè: g(·, α) ∈ G òàêóþ, ÷òî ¯ α = arg min{I(α) : α ∈ Λ}. ¯ (1)
  24. 24. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌèíèìèçàöèÿ ñðåäíåãî ðèñêà Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2) Z α = arg min{I(α | P) : α ∈ Λ}. ¯ (3)
  25. 25. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌèíèìèçàöèÿ ñðåäíåãî ðèñêà Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2) Z α = arg min{I(α | P) : α ∈ Λ}. ¯ (3) Èäåàëüíûé ñëó÷àé Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî èñ÷èñëåíèÿ
  26. 26. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌèíèìèçàöèÿ ñðåäíåãî ðèñêà Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2) Z α = arg min{I(α | P) : α ∈ Λ}. ¯ (3) Èäåàëüíûé ñëó÷àé Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî èñ÷èñëåíèÿ Ðåàëüíûé ñëó÷àé Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé ζ = (z1 , z2 , . . . , zl )
  27. 27. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÌèíèìèçàöèÿ ñðåäíåãî ðèñêà Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2) Z α = arg min{I(α | P) : α ∈ Λ}. ¯ (3) Èäåàëüíûé ñëó÷àé Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî èñ÷èñëåíèÿ Ðåàëüíûé ñëó÷àé Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé ζ = (z1 , z2 , . . . , zl )  ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
  28. 28. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÀíòàãîíèñòè÷åñêàÿ èãðà ñ ïðèðîäîé Èãðîêè I II Èìÿ Ïðèðîäà Ñòàòèñòèê ×èñòûå ñòðàòåãèè P ∈ P α∈Λ ïàðòèÿ èãðû (P, α), ïëàòåæíàÿ ôóíêöèÿ K(P, α) ≡ I(α|P)
  29. 29. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÁàéåñîâñêèå ðåøåíèÿ Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì çàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
  30. 30. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÁàéåñîâñêèå ðåøåíèÿ Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì çàäàíà âåðîÿòíîñòíàÿ ìåðà µ. Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà: α(µ) = arg min ˆ I(α | P) dµ | α ∈ Λ ,
  31. 31. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÁàéåñîâñêèå ðåøåíèÿ Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì çàäàíà âåðîÿòíîñòíàÿ ìåðà µ. Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà: α(µ) = arg min ˆ I(α | P) dµ | α ∈ Λ , Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr . Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîå ðàñïðåäåëåíèå µpos = µ[µpr , ζ]. Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos ). ˆ
  32. 32. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÏðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî. Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1.
  33. 33. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÏðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî. Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1. Ïî ôîðìóëå Áàéåñà l mi ρi (zj ) j=1 µpos (Pi ) = ni = l . mi ρi (zj ) i∈{1,2} j=1
  34. 34. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÏðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî. Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1. Ïî ôîðìóëå Áàéåñà l mi ρi (zj ) j=1 µpos (Pi ) = ni = l . mi ρi (zj ) i∈{1,2} j=1 Èñêîìîå áàéåñîâñêîå ðåøåíèå   α(µpos ) = arg min n1 ˆ Φ(z, g(z, α))ρ1 (z) dz  Z   + n2 Φ(z, g(z, α))ρ2 (z) dz | α ∈ Λ .  Z
  35. 35. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÌèíèìàêñíûé ïîäõîä Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P α(ζ) = arg min ˜ sup I(α | P) | α ∈ Λ . P∈P(ζ)
  36. 36. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÌèíèìàêñíûé ïîäõîä Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P α(ζ) = arg min ˜ sup I(α | P) | α ∈ Λ . P∈P(ζ) Îòêðûòûå âîïðîñû: âûáîð ïîäõîäÿùåãî P(ζ) îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí) âû÷èñëèòåëüíàÿ ñëîæíîñòü
  37. 37. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÌèíèìèçàöèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà Òðàäèöèîííûé äëÿ òåîðèè îáó÷åíèÿ ïîäõîä ñîñòîèò â ìèíèìèçàöèè (4) α∗ (ζ) = arg min {Iemp (α | ζ) | α ∈ Λ} ýìïèðè÷åñêîãî ôóíêöèîíàëà Iemp (α | ζ), ñïåöèàëüíûì îáðàçîì ïîäîáðàííîãî ïî âûáîðêå ζ . Ñïîñîá ïîñòðîåíèÿ ôóíêöèîíàëà Iemp ìîæåò ñèëüíî ðàçíèòüñÿ îò çàäà÷è ê çàäà÷å (è ìåòîäà ê ìåòîäó) è êàæäûé ðàç áóäåò îãîâàðèâàòüñÿ îòäåëüíî.  áîëüøèíñòâå ñëó÷àåâ ìîæíî îãðàíè÷èòüñÿ ôóíêöèîíàëàìè âèäà Iemp (α | ζ) = Φ(z, g(z, α)) dπ(z | ζ), (5) Z ãäå âåðîÿòíîñòíàÿ ìåðà π(z | ζ) (íå îáÿçàòåëüíî ïðèíàäëåæàùàÿ ñåìåéñòâó P), îäíîçíà÷íî îïðåäåëÿåòñÿ âûáîðêîé ζ .
  38. 38. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÝìïèðè÷åñêèé ðèñê Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé ìåðîé |{i : zi ∈ A}| π(A | ζ) = (A ∈ A) l
  39. 39. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÝìïèðè÷åñêèé ðèñê Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé ìåðîé |{i : zi ∈ A}| π(A | ζ) = (A ∈ A) l Ëåãêî ïîêàçàòü, ÷òî òîãäà l i=1 Φ(zi , g(zi , α)) Iemp (α|ζ) = . l
  40. 40. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÝìïèðè÷åñêèé ðèñê Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé ìåðîé |{i : zi ∈ A}| π(A | ζ) = (A ∈ A) l Ëåãêî ïîêàçàòü, ÷òî òîãäà l i=1 Φ(zi , g(zi , α)) Iemp (α|ζ) = . l Óïðàæíåíèå 1.
  41. 41. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÎöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ Ïóñòü     ¯ = inf{I(α | P) : α ∈ Λ} = inf I Φ(z, g(z, α)) dP(z) : α ∈ Λ   Z äëÿ íåèçâåñòíîé èñòèííîé ìåðû P. Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)). Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N, Pl (ε) = P(I(α∗ (ζ)) − ¯ I ε)
  42. 42. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÎöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ Ïóñòü     ¯ = inf{I(α | P) : α ∈ Λ} = inf I Φ(z, g(z, α)) dP(z) : α ∈ Λ   Z äëÿ íåèçâåñòíîé èñòèííîé ìåðû P. Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)). Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N, Pl (ε) = P(I(α∗ (ζ)) − ¯ I ε) Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõ äëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1 − η, åñëè Pl (ε) η.
  43. 43. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÀñèìïòîòè÷åñêàÿ àïïðîêñèìèðóåìîñòü Çàäà÷à   (6)   min{Iemp (α | ζ)} = min Φ(z, g(z, α)) dπ(z | ζ) : α ∈ Λ   Z êîððåêòíî àïïðîêñèìèðóåò çàäà÷ó   (7)   inf{I(α | P)} = inf Φ(z, g(z, α)) dP(z)) : α ∈ Λ   Z åñëè äëÿ ïðîèçâîëüíîãî ε 0 Pl (ε) − − 0. −→ l→∞
  44. 44. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÂîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè Íèæå áóäåì ïîëàãàòü, ÷òî Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä ζ = ((x1 , y1 ), . . . , (xl , yl )), (8) çàäàíî ñåìåéñòâî ôóíêöèé F = {f (·, α) : X → Y | α ∈ Λ} òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è, ñîîòâåòñòâåííî, I(α|P) = Ψ(y − f (x, α)) dP(x, y) X×Y äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
  45. 45. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÂîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè Íèæå áóäåì ïîëàãàòü, ÷òî Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä ζ = ((x1 , y1 ), . . . , (xl , yl )), (8) çàäàíî ñåìåéñòâî ôóíêöèé F = {f (·, α) : X → Y | α ∈ Λ} òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è, ñîîòâåòñòâåííî, I(α|P) = Ψ(y − f (x, α)) dP(x, y) X×Y äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà. Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿ åé çàäà÷à (6) çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì
  46. 46. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÕàðàêòåðíûå ÷àñòíûå ñëó÷àè çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè (è êàê ÷àñòíûé ñëó÷àé çàäà÷à èíòåðïðåòàöèè ïðÿìûõ èçìåðåíèé) çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà.
  47. 47. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè. Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ (êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
  48. 48. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè. Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ (êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 . Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
  49. 49. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè. Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ (êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 . Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d). Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ}, Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäà ðàâíîçíà÷íûìè.
  50. 50. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Çàäàâøèñü Â.Ï. (X × Y, A, P) ñ èçâåñòíûìè ìíîæåñòâîì ýëåìåíòàðíûõ èñõîäîâ X × Y è σ-àëãåáðîé ñîáûòèé A è â îáùåì ñëó÷àå íåèçâåñòíîé âåðîÿòíîñòíîé ìåðîé P, ïðåäïîëàãàåì äëÿ êàæäîãî ïðàâèëà f (·, α) èçìåðèìûì ìíîæåñòâî Aα = {(x, y) | y = f (x, α)} ∈ A. Ñîîòâåòñòâåííî, êàæäîìó α ∈ Λ ìîæåò áûòü ñîïîñòàâëåíî ÷èñëî I(α|P) = P(Aα ) ≡ dP(x, y) = 1Aα (x, y) dP(x, y), Aα X×Y
  51. 51. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Ïðè íàøèõ äîïóùåíèÿõ 1Aα (x, y) ≡ (y − f (x, α))2 , Äëÿ èçâåñòíîé âåðîÿòíîñòíîé ìåðû P çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ ñâîäèòñÿ ê âàðèàöèîííîé çàäà÷å   (9)   min (y − f (x, α))2 dP(x, y) | α ∈ Λ ,   X×Y äîïóñêàþùåé â ðÿäå ñëó÷àåâ àíàëèòè÷åñêîå ðåøåíèå.
  52. 52. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå 1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè P(x|y = 1) è P(x|y = 0), 2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå èíäèêàòîðíûå ôóíêöèè Òîãäà çàäà÷à (9) ðàçðåøèìà.
  53. 53. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå 1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè P(x|y = 1) è P(x|y = 0), 2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå èíäèêàòîðíûå ôóíêöèè Òîãäà çàäà÷à (9) ðàçðåøèìà. Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð. Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìû äëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k 2. Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.
  54. 54. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÑóùåñòâîâàíèå áàéåñîâñêîãî êëàññèôèêàòîðà Îãðàíè÷èìñÿ ðàññìîòðåíèåì ÷àñòíîãî ñëó÷àÿ, â êîòîðîì ìåðû P(x|y = 1) è P(x|y = 0) àáñîëþòíî íåïðåðûâíû è çàäàþòñÿ ïëîòíîñòÿìè ρ1 (x) è ρ0 (x), ñîîòâåòñòâåííî. Ëåãêî âèäåòü, ÷òî íàèìåíüøåå çíà÷åíèå èíòåãðàëà (y−f (x))2 dP(x, y) = P1 (1−f (x))2 ρ1 (x) dx+P0 f (x)ρ0 (x) dx X×Y X X äîñòèãàåòñÿ íà ôóíêöèè 1, P1 · ρ1 (x) ≥ P0 · ρ0 (x), ¯(x) = f â ïðîòèâíîì ñëó÷àå, 0, èìåíóåìîé áàéåñîâñêèì êëàññèôèêàòîðîì.
  55. 55. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ  îáùåé ñèòóàöèè, êîãäà èíôîðìàöèÿ î ìåðå P çàäàåòñÿ âûáîðêîé ζ = ((x1 , y1 ), . . . , (xl , yl )), çàäà÷à àïïðîêñèìèðóåòñÿ: min α∈Λ (y − f (x, α))2 dπ(x, y | ζ). (10) X×Y ÷àñòíûì ñëó÷àåì çàäà÷è (6).
  56. 56. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü, ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E(y|x) = y dP(y|x). Y Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé ðåãðåññèè (ðåãðåññèåé). Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è ñåìåéñòâî ôóíêöèé F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M.
  57. 57. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÇàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü, ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E(y|x) = y dP(y|x). Y Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé ðåãðåññèè (ðåãðåññèåé). Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è ñåìåéñòâî ôóíêöèé F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M. Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãî ïðèáëèæåíèÿ â ñåìåéñòâå F : min d(y(·), f (·, α)). α∈Λ (11)
  58. 58. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÑâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà Ïóñòü M = L2 (P) ãèëüáåðòîâî ïðîñòðàíñòâî èíòåãðèðóåìûõ ñ êâàäðàòîì (ïî ìàðãèíàëüíîé ìåðå) ôóíêöèé è íîðìîé g = g2 (x) dP(x) ≡ g2 (x) dP(x, y). X X×Y Î÷åâèäíî, îïðåäåëåííîå òàêèì îáðàçîì ïðîñòðàíñòâî M ÿâëÿåòñÿ ìåòðè÷åñêèì, ñî ñòàíäàðòíîé ìåòðèêîé d(g, h) = g − h . Îïðåäåëèì ôóíêöèîíàë I ñîîòíîøåíèåì α → I(α | P) = (y − f (x, α))2 dP(x, y) X×Y
  59. 59. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÑâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà (ctd.) I(α | P) = (y − f (x, α))2 dP(x, y) = (y − y(x))2 dP(x, y)− X×Y X×Y   −2 (y(x)−f (x, α))  (y − y(x)) dP(y|x) dP(x)+ (y(x)−f (x, α))2 dP(x) = X Y X =0 = (y−y(x))2 dP(x, y)+d2 (y(·), f (·, α)) = const(α)+d2 (y(·), f (·, α)). X×Y
  60. 60. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÈíòåðïðåòàöèÿ ïðÿìûõ èçìåðåíèé ÷àñòíûé ñëó÷àé çàäà÷è î ðåãðåññèè çàäàíî ñåìåéñòâî ôóíêöèé F = {f (·, α) : X → R | α ∈ Λ}, òðåáóåòñÿ íàéòè f (·, α) (ïàðàìåòð α) ïî ðåçóëüòàòàì ¯ ¯ ïðèáëèæåííûõ èçìåðåíèé (x1 , y1 ), . . . , (xl , yl ), ãäå yi = f (xi , α) + ξi , ¯ (i ∈ {1, 2, . . . , l} = Nl ), à ñëó÷àéíûå íåçàâèñèìûå íåñìåùåííûå ïîãðåøíîñòè, ξi . Eξi2 ∞
  61. 61. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÈíòåðïðåòàöèÿ ðåçóëüòàòîâ êîñâåííûõ ýêñïåðèìåíòîâ Èñêîìàÿ ôóíêöèîíàëüíàÿ çàâèñèìîñòü íåäîñòóïíà äëÿ íåïîñðåäñòâåííûõ èçìåðåíèé, äàæå ñ ïîãðåøíîñòüþ. Ïóñòü Y ⊂ R, çàäàíû ìåòðè÷åñêèå ïðîñòðàíñòâà (M1 , d1 ) ⊂ Y T è (M2 , d2 ) ⊂ Y X , ñåìåéñòâî ôóíêöèé F = {fα : T → Y | α ∈ Λ} ⊂ M1 è íåïðåðûâíûé îïåðàòîð A : M1 → M2 , âçàèìíî îäíîçíà÷íûé íà A(M1 ). Òðåáóåòñÿ ðåøèòü çàäà÷ó min{d1 (f , F) | A(f ) = F} ïðè óñëîâèè yi = F(xi ) + ξi , (i ∈ Nm ), ïðè÷åì ñëó÷àéíûå âåëè÷èíû ξi , êàê è ðàíåå, íåçàâèñèìû â ñîâîêóïíîñòè è óäîâëåòâîðÿþò óñëîâèÿì Eξi = 0, Eξi2 ∞.
  62. 62. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÑâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà Óïðàæíåíèå 5. Ïîêàçàòü, ÷òî åñëè (M2 , d2 ) = L2 (P) ïðîñòðàíñòâî ôóíêöèé, èíòåãðèðóåìûõ ñ êâàäðàòîì (ïî ìåðå P), îïåðàòîð A−1 íåïðåðûâåí íà ìíîæåñòâå A(M1 ), òî èñõîäíàÿ çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà ýêâèâàëåíòíà çàäà÷å min (y − A(fα )(x))2 dP(x, y) X×Y
  63. 63. Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòèÂûâîäû ìíîãèå çàäà÷è àíàëèçà äàííûõ äîïóñêàþò ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãî ôóíêöèîíàëà ñðåäíåãî ðèñêà â ñëó÷àå èçâåñòíîé âåðîÿòíîñòíîé ìåðû ïîëó÷àåìàÿ çàäà÷à ìîæåò áûòü ðåøåíà ìåòîäàìè âàðèàöèîííîãî àíàëèçà, è â íåêîòîðûõ ÷àñòíûõ ïîñòàíîâêàõ äîïóñêàåò àíàëèòè÷åñêîå ðåøåíèå ïðîöåäóðà îáó÷åíèÿ îáóñëîâëåíà íåèçâåñòíîñòüþ çàêîíîâ ðàñïðåäåëåíèÿ è ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãî ýìïèðè÷åñêîãî ôóíêöèîíàëà

×