20080323 machine learning_nikolenko_lecture05

307 views
244 views

Published on

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
307
On SlideShare
0
From Embeds
0
Number of Embeds
34
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20080323 machine learning_nikolenko_lecture05

  1. 1. Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Äðóãèå ñþæåòû Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû Ñåðãåé Íèêîëåíêî w—™hine ve—rning " gƒ glu˜D âåñíà PHHV Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  2. 2. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Outline 1 Îñíîâíàÿ èäåÿ Èäåÿ Ïðåäñòàâëåíèå äàííûõ Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì 2 Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îñíîâíàÿ èäåÿ Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð 3 Äðóãèå ñþæåòû Ëàìàðê è Áîëäóèí Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Àëãîðèòì èìèòàöèè îòæèãà Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  3. 3. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ýâîëþöèÿ Ãåíåòè÷åñêèå àëãîðèòìû òîæå ñïèñàíû ñ ïðèðîäûF Îðãàíèçìû ýâîëþöèîíèðóþò ñî âðåìåíåìD èçìåíÿÿ ñâîé ãåíîòèïF Ìåõàíèçì äàðâèíîâñêîé ýâîëþöèèX Ðîäèëîñü íîâîå ïîêîëåíèå. Èç íåãî ÷àñòü îñîáåé âûðîñëà è äàëà ïîòîìñòâî, ÷àñòü ïîãèáëà. Ïîãèáàþò íåïðèñïîñîáëåííûå, âûæèâàþò ïðèñïîñîáëåííûå, ó ïîòîìêîâ îñòàþòñÿ ëó÷øèå ÷åðòû. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  4. 4. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Îñíîâíûå êîìïîíåíòû Ïðîñòðàíñòâî ãèïîòåçD èç êîòîðûõ ìû äîëæíû âûáðàòü ëó÷øóþ Ôóíêöèÿ ïðèñïîñîáëåííîñòè Fitness Íàáîð ãåíåòè÷åñêèõ îïåðàöèéD êîòîðûå ìîæíî ïðèìåíÿòüX Îïåðàöèè ñêðåùèâàíèÿ (êðîññîâåð) ðàçìíîæåíèå îñîáåé. Ìóòàöèè ðåäêèå èçìåíåíèÿ îòäåëüíûõ îñîáåé. Öåëåâîå çíà÷åíèå Fitnessmax D ê êîòîðîìó ìû ñòðåìèìñÿ Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  5. 5. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Îáùàÿ ñõåìà àëãîðèòìà Ñãåíåðèðîâàòü íà÷àëüíóþ ïîïóëÿöèþF Ïîêà íå äîñòèãíóòî çíà÷åíèåD áîëüøåå Fitnessmax X Âûáðàòü ÷àñòü ñóùåñòâóþùåé ïîïóëÿöèè (îòäàâàÿ ïðåäïî÷òåíèå áîëåå ïðèñïîñîáëåííûì îñîáÿì). Ïðèìåíèòü ê ýòîé ÷àñòè ãåíåòè÷åñêèå îïåðàöèè, ïîðîäèâ ïîòîìêîâ. Ïîäñ÷èòàòü Fitness äëÿ îñîáåé íîâîé ïîïóëÿöèè. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  6. 6. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç ×òîáû óñïåøíî ïðèìåíÿòü ãåíåòè÷åñêèå àëãîðèòìûD ãèïîòåçû æåëàòåëüíî ïðåäñòàâëÿòü â âèäå ñòðîêè áèòîâF Òîãäà ñ íèìè ëåãêî äåëàòü ÷òî óãîäíîF Íî êàê ïðåäñòàâëÿòüc Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  7. 7. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð Âñïîìíèì ïðèìåð äåðåâà ïðèíÿòèÿ ðåøåíèéF ÃèïîòåçàD îíà æå îñîáü ïîïóëÿöèè ýòî â äàííîì ñëó÷àå ïðàâèëîD îïèñûâàþùåå ïîâåäåíèå öåëåâîé ôóíêöèèF À Fitness ýòî òîD íàñêîëüêî õîðîøî ïðàâèëî ñîîòâåòñòâóåò òåñòîâûì ïðèìåðàìF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  8. 8. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð ÍàïðèìåðD äëÿ ôóíêöèèD çàäàííîé ýòèì äåðåâîìD ãèïîòåçà (x1 = H) ∧ (x2 = I) =⇒ (f = H) áóäåò áîëåå ïðèñïîñîáëåííîéD ÷åì ãèïîòåçà (x1 = H) =⇒ (f = H). Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  9. 9. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð Êàê çàäàòü ãèïîòåçó ñòðîêîé èç áèòc Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  10. 10. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð Êàê çàäàòü ãèïîòåçó ñòðîêîé èç áèòc Ëîãè÷íàÿ èäåÿX çàêîäèðîâàòü êàæäóþ áóëåâñêóþ ïåðåìåííóþ áèòîìY íàïðèìåðD ãèïîòåçà (x1 = I)∧(x2 = H)∧(x3 = I) ⇒ ⇒ (f = I) ïðåäñòàâëÿåòñÿ êàê x1 x2 x3 f I H I I Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  11. 11. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð Íî êàê òîãäà çàêîäèðîâàòü ãèïîòåçó (x1 = H) ∧ (x2 = I) ⇒ (f = H)? x1 x2 x3 f H I ??? H Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  12. 12. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ïðåäñòàâëåíèå ãèïîòåç Îáû÷íî äëÿ êîäèðîâàíèÿ ãèïîòåç èñïîëüçóþò ïî îäíîìó áèòó íà êàæäîå çíà÷åíèå àòðèáóòàY åñëè ñòîèò ID çíà÷èòD ýòî çíà÷åíèå ó÷àñòâóåò â ïîñûëêå ãèïîòåçûY çíà÷åíèÿ îäíîãî è òîãî æå àòðèáóòà ñîåäèíÿþòñÿD êîíå÷íîD êàê y‚F x1 x2 x3 f IH HI II I Ñòðîêà II çíà÷èòD ÷òî íà ýòîò àòðèáóò ìîæíî íå îáðàùàòü âíèìàíèÿF À äëÿ öåëåâîé ôóíêöèè ìîæíî îñòàâèòü îäèí áèò ãèïîòåçà ñî ñëåäñòâèåì ¾áóäåò êàêîåEòî çíà÷åíèå¿ íå èìååò ñìûñëàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  13. 13. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ãèïîòåçû èç íåñêîëüêèõ ïðàâèë Äî ñèõ ïîð ìû êîäèðîâàëè îäíî ïðàâèëî @îäíó âåòêó äåðåâàAF ÍîD íàïðèìåðD ýòî äåðåâî ñîîòâåòñòâóåò íåñêîëüêèì ïðàâèëàìF Èõ ìû áóäåì çàïèñûâàòü ïðîñòîé êîíêàòåíàöèåé ñòðîêF Óïðàæíåíèå. Âûðàçèòü ýòî äåðåâî áèòîâîé ñòðîêîé ïî íàøåé ñõåìåF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  14. 14. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Êðîññîâåð Ïðè ðàçìíîæåíèè îñîáü äîëæíà óíàñëåäîâàòü ÷åðòû îáîèõ ïðåäêîâF Êàê ýòîãî äîñòè÷ü íà áèòîâûõ ñòðîêàõc Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  15. 15. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Êðîññîâåð Ïðè ðàçìíîæåíèè îñîáü äîëæíà óíàñëåäîâàòü ÷åðòû îáîèõ ïðåäêîâF Êàê ýòîãî äîñòè÷ü íà áèòîâûõ ñòðîêàõc Êðîññîâåð @™rossoverA îïåðàöèÿD êîòîðàÿ ïî çàäàííîé ìàñêå äåëàåò èç äâóõ ñòðîê îäíóF Åñòü íåñêîëüêî ðàçíûõ âèäîâ êðîññîâåðàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  16. 16. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âèäû êðîññîâåðà ƒingleEpoint ™rossoverX Èñõîäíûå ñòðîêè Ìàñêà Ðåçóëüòàò 10011HIHII HHIHI01100 IIIIIHHHHH IHHIIHIIHH Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  17. 17. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âèäû êðîññîâåðà hou˜leEpoint ™rossover Èñõîäíûå ñòðîêè Ìàñêà Ðåçóëüòàò IHH11010II 001HIHII00 HHHIIIIIHH HHIHIHIIHH Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  18. 18. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âèäû êðîññîâåðà …niform ™rossover Èñõîäíûå ñòðîêè Ìàñêà Ðåçóëüòàò I00I1HI01I 0HI0I01IH0 HIIHIHHIIH HHHHIHIHIH Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  19. 19. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Êðîññîâåð íà ñòðîêàõ ïåðåìåííîé äëèíû Âñå ýòè âèäû äëÿ ñòðîê îäèíàêîâîé äëèíûF Íî íàøè ãèïîòåçû èç íåñêîëüêèõ ïðàâèëD è ñòðîêè ðàçíîé äëèíûF ×òî äåëàòüc Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  20. 20. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Êðîññîâåð íà ñòðîêàõ ïåðåìåííîé äëèíû ÐåøåíèåX Èñïîëüçóåì dou˜leEpoint ™rossover òàêD ÷òîáû ñîõðàíÿòü ïîñòîÿííîå ðàññòîÿíèå äî êðà¼â ïðàâèëF ÍàïðèìåðD ïðàâèëà äëèíû SD è ìû ñëó÷àéíî âûáðàëè äâå òî÷êè èç ãèïîòåçû H[HIHI IIH]IH. Òîãäà âî âòîðîé ãèïîòåçå íóæíî âûáèðàòü òàêèå òî÷êèD ÷òîáû ðàññòîÿíèå îò ëåâîé òî÷êè äî ëåâîãî êðàÿ ïðàâèëà è îò ïðàâîé òî÷êè äî ïðàâîãî êðàÿ ïðàâèëà áûëè òåìè æåF ÍàïðèìåðD â ïðàâèëå äëèíû IS ìîãóò áûòü âàðèàíòûX I[IH]II HIHIH HIIIH I[IHII HIH]IH HIIIH I[IHII HIHIH HII]IH IIHII H[IH]IH HIIIH IIHII H[IHIH HII]IH IIHII HIHIH H[II]IH Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  21. 21. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Êðîññîâåð íà ñòðîêàõ ïåðåìåííîé äëèíû Òåïåðü êðîññîâåð áóäåò ïîðîæäàòü êîððåêòíûå ãèïîòåçûX Èñõîäíûå ñòðîêè Ðåçóëüòàò H‘HIHI IIH“IH HIHIH I‘IH“II HIHIH HIIIH IHIHI IIHII HIHIH HIIIH Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  22. 22. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Ìóòàöèè Ìóòàöèè íà áèòîâûõ ñòðîêàõX Èçìåíèòü îäèí ñëó÷àéíûé áèòF Ñäåëàòü íåñóùåñòâåííûì @çàáèòü åäèíè÷êàìèA îäèí ñëó÷àéíûé àòðèáóòF FFF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  23. 23. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Fitness Ôóíêöèÿ Fitness äîëæíà çàâèñåòü îò òîãîD íàñêîëüêî õîðîøî ãèïîòåçà ñïðàâëÿåòñÿ ñ çàäà÷åéF  ñëó÷àå çàäà÷è êëàññèôèêàöèè ðàçóìíàÿ ôóíêöèÿX Correct(h) Fitness(h) = TotalExamples 2 , ãäå Correct(h) êîëè÷åñòâî ïðèìåðîâD âåðíî ðàñêëàññèôèöèðîâàííûõ ãèïîòåçîé hD TotalExamples îáùåå êîëè÷åñòâî ïðèìåðîâF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  24. 24. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âñïîìíèì îáùóþ ñõåìó Ñãåíåðèðîâàòü íà÷àëüíóþ ïîïóëÿöèþF Ïîêà íå äîñòèãíóòî çíà÷åíèåD áîëüøåå Fitnessmax X Âûáðàòü ÷àñòü ñóùåñòâóþùåé ïîïóëÿöèè (îòäàâàÿ ïðåäïî÷òåíèå áîëåå ïðèñïîñîáëåííûì îñîáÿì). Ïðèìåíèòü ê ýòîé ÷àñòè ãåíåòè÷åñêèå îïåðàöèè, ïîðîäèâ ïîòîìêîâ. Ïîäñ÷èòàòü Fitness äëÿ îñîáåé íîâîé ïîïóëÿöèè. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  25. 25. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì ×òî îñòàëîñü Ìû óæå íàó÷èëèñüX Äåëàòü êðîññîâåðF ÌóòèðîâàòüF Ïîäñ÷èòûâàòü ôóíêöèþ FitnessF Îñòàëîñü Íàó÷èòüñÿ âûáèðàòü ñàìûõ ïðèñïîñîáëåííûõF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  26. 26. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âûáîð ñàìûõ ïðèñïîñîáëåííûõ Çàäà¼ì äîëþ âûæèâøèõ s îñòàëüíàÿ ÷àñòü ïîïóëÿöèè áóäåò çàìåíåíà íà ðåçóëüòàòû êðîññîâåðà äðóãîé ÷àñòèF Íóæíî âûáðàòü sN ãèïîòåç èç ïîïóëÿöèè ðàçìåðà NF Ìåòîä ðóëåòêè @roulette wheel sele™tionAX ó êàæäîé ãèïîòåçû hi âåðîÿòíîñòü áûòü âûáðàííîé Pr (hi ) = Fitness(hi ) N Fitness(h ) j =1 j Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  27. 27. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âûáîð ñàìûõ ïðèñïîñîáëåííûõ Çàäà¼ì äîëþ âûæèâøèõ s îñòàëüíàÿ ÷àñòü ïîïóëÿöèè áóäåò çàìåíåíà íà ðåçóëüòàòû êðîññîâåðà äðóãîé ÷àñòèF Íóæíî âûáðàòü sN ãèïîòåç èç ïîïóëÿöèè ðàçìåðà NF Òóðíèðíûé ìåòîä @tourn—ment sele™tionAX ñëó÷àéíî âûáèðàåì äâå ãèïîòåçûF Ñ ôèêñèðîâàííîé âåðîÿòíîñòüþ p âûæèâàåò áîëåå ïðèñïîñîáëåííàÿD ñ âåðîÿòíîñòüþ I − p ìåíåå ïðèñïîñîáëåííàÿF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  28. 28. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âûáîð ñàìûõ ïðèñïîñîáëåííûõ Çàäà¼ì äîëþ âûæèâøèõ s îñòàëüíàÿ ÷àñòü ïîïóëÿöèè áóäåò çàìåíåíà íà ðåçóëüòàòû êðîññîâåðà äðóãîé ÷àñòèF Íóæíî âûáðàòü sN ãèïîòåç èç ïîïóëÿöèè ðàçìåðà NF Ðàíãîâûé ìåòîä @r—nking sele™tionAX ñíà÷àëà ñîðòèðóåì ãèïîòåçû ïî ïðèñïîñîáëåííîñòèF Çàòåì êàê â ìåòîäå ðóëåòêèD íî âåðîÿòíîñòü âûæèòü ïðîïîðöèîíàëüíà íå çíà÷åíèþ Fitness(h)D à ìåñòóD êîòîðîå çàíÿëà ãèïîòåçàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  29. 29. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Âûáîð ñàìûõ ïðèñïîñîáëåííûõ Çàäà¼ì äîëþ âûæèâøèõ s îñòàëüíàÿ ÷àñòü ïîïóëÿöèè áóäåò çàìåíåíà íà ðåçóëüòàòû êðîññîâåðà äðóãîé ÷àñòèF Íóæíî âûáðàòü sN ãèïîòåç èç ïîïóëÿöèè ðàçìåðà NF Ìû áóäåì èñïîëüçîâàòü ìåòîä ðóëåòêèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  30. 30. Îñíîâíàÿ èäåÿ Èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì Àëãîðèòì Genetic (N , p , s , m, Fitness, Fitnessmax ) Ñîçäàòü N ñëó÷àéíûõ ãèïîòåç H = {h1 , . . . , hn }. Äëÿ êàæäîé ãèïîòåçû h ∈ H âû÷èñëèòü Fitness(h). Ïîêà maxh Fitness(h) Fitnessmax : H = ∅. Ñëó÷àéíî âûáðàòü sN ãèïîòåç èç H è äîáàâèòü èõ â H . Âåðîÿòíîñòü âûáðàòü ãèïîòåçó hi Pr (hi ) = NFitness(hi )(hj ) . j Fitness =1 Ñëó÷àéíî âûáðàòü 2 ïàð ãèïîòåç èç H ñ òåìè æå (1−s )p âåðîÿòíîñòÿìè. Äëÿ êàæäîé ïàðû (hi , hj ) çàïóñòèòü îïåðàöèþ êðîññîâåðà è äîáàâèòü å¼ ðåçóëüòàò â H . Ðàâíîìåðíî âûáðàòü mN ñëó÷àéíûõ ãèïîòåç èç H è â êàæäîé èç íèõ èíâåðòèðîâàòü ñëó÷àéíûé áèò. H=H . Äëÿ êàæäîé ãèïîòåçû h ∈ H âû÷èñëèòü Fitness(h). Âûäàòü argmaxÑåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû Fitness(h).
  31. 31. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Outline 1 Îñíîâíàÿ èäåÿ Èäåÿ Ïðåäñòàâëåíèå äàííûõ Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì 2 Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îñíîâíàÿ èäåÿ Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð 3 Äðóãèå ñþæåòû Ëàìàðê è Áîëäóèí Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Àëãîðèòì èìèòàöèè îòæèãà Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  32. 32. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Èñòîðèÿ Åù¼ Òüþðèíã ïèñàë î ãåíåðàöèè ïðîãðàìì ïîñðåäñòâîì ìóòàöèé è åñòåñòâåííîãî îòáîðàF Çàòåì îá ýòîì âñïîìíèëè â ñåðåäèíå IWVHEõD áûëà ðàçðàáîòàíà îñíîâíàÿ ïàðàäèãìàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  33. 33. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Óñïåõè ãåíåòè÷åñêîãî ïðîãðàììèðîâàíèÿ Áûë ïîëó÷åí ðÿä ðåçóëüòàòîâD êîòîðûå âïîëíå ìîãóò ñîïåðíè÷àòü ñ ÷åëîâå÷åñêèìèF ÍàïðèìåðD â PHHP ãîäó áûëè ðàçðàáîòàíû òðè àâòîìàòè÷åñêèõ êîíòðîëëåðàD êîòîðûå áûëè ëó÷øåD ÷åì âñå ðàíåå èçâåñòíûåF Íà ýòè êîíòðîëëåðû ïîäàíà ïàòåíòíàÿ çàÿâêàD êîòîðóþD ñêîðåå âñåãîD óäîâëåòâîðÿòF Ôàêòè÷åñêèD ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå óæå ìîæåò ñîâåðøàòü íàñòîÿùèå îòêðûòèÿF ÑìF http://www.genetic-programming.com Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  34. 34. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ãåíåòè÷åñêèå àëãîðèòìû Âñïîìíèì ñõåìó ãåíåòè÷åñêîãî àëãîðèòìàX Ñãåíåðèðîâàòü íà÷àëüíóþ ïîïóëÿöèþF Ïîêà íå äîñòèãíóòî çíà÷åíèåD áîëüøåå Fitnessmax X Âûáðàòü ÷àñòü ñóùåñòâóþùåé ïîïóëÿöèè (îòäàâàÿ ïðåäïî÷òåíèå áîëåå ïðèñïîñîáëåííûì îñîáÿì). Ïðèìåíèòü ê ýòîé ÷àñòè ãåíåòè÷åñêèå îïåðàöèè, ïîðîäèâ ïîòîìêîâ. Ïîäñ÷èòàòü Fitness äëÿ îñîáåé íîâîé ïîïóëÿöèè. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  35. 35. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå ïðèìåíåíèå ãåíåòè÷åñêèõ àëãîðèòìîâD ïîïóëÿöèåé êîòîðûõ ÿâëÿþòñÿ ïðîãðàììû @àëãîðèòìûAF ÒFåF ôàêòè÷åñêè ìû óæå çíàåìD ÷òî äåëàòüF Äàâàéòå êîíêðåòèçèðóåìF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  36. 36. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Íà÷àëüíûå äàííûå Ìû áóäåì ñòðîèòü ïðîãðàììó êàê äåðåâîF ×åëîâåê äîëæåí óêàçàòüX Íàáîð òåðìèíàëîâ íåçàâèñèìûõ ïåðåìåííûõD íóëüàðíûõ ôóíêöèéD êîíñòàíò êîòîðûå áóäóò ñòîÿòü â ëèñòüÿõ äåðåâàF Íàáîð ïðèìèòèâíûõ ôóíêöèéD êîòîðûå áóäóò â äðóãèõ óçëàõ äåðåâàF Ìåðó ïðèñïîñîáëåííîñòè @(tness me—sureAF Ïàðàìåòðû çàïóñêà ïðîãðàììû @óâèäèì íèæåAF Êðèòåðèé îñòàíîâêè è öåëü âñåãî ïðîöåññàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  37. 37. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Áîëåå ïîäðîáíàÿ ñõåìà Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  38. 38. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ñëó÷àéíîå ïîðîæäåíèå Ñëó÷àéíî âûáèðàåì óçëû èç ñïèñêàD âêëþ÷àÿ òåðìèíàëûD à çàòåì ãåíåðèðóåì ñëåäóþùèå óðîâíè íà îñíîâå àðíîñòè âûáðàííûõ ôóíêöèéF Ìîæíî çàäàòü ìàêñèìàëüíóþ ãëóáèíóF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  39. 39. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ìóòàöèÿ Âûáðàòü ñëó÷àéíûé óçåë è âûðàñòèòü èç íåãî íîâóþ ñëó÷àéíóþ ïðîãðàììóF Óçåë íå îáÿçàòåëüíî äîëæåí áûòü ëèñòîì Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  40. 40. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Êðîññîâåð Âûáðàòü äâå ñëó÷àéíûå ïðîãðàììûF Âûáðàòü â íèõ äâà ñëó÷àéíûõ óçëà è ïîìåíÿòü ìåñòàìè ïîääåðåâüÿD ðàñòóùèå èç ýòèõ óçëîâ ÂàðèàíòX îäíó èç ïðîãðàìì íå òðîãàòüD òîëüêî ñêîïèðîâàòü å¼ ïîääåðåâî âî âòîðóþF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  41. 41. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Êðîññîâåð Âûáðàòü äâå ñëó÷àéíûå ïðîãðàììûF Âûáðàòü â íèõ äâà ñëó÷àéíûõ óçëà è ïîìåíÿòü ìåñòàìè ïîääåðåâüÿD ðàñòóùèå èç ýòèõ óçëîâ ÂàðèàíòX îäíó èç ïðîãðàìì íå òðîãàòüD òîëüêî ñêîïèðîâàòü å¼ ïîääåðåâî âî âòîðóþF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  42. 42. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïîñòàíîâêà çàäà÷è Áóäåì ðåàëèçîâûâàòü ïðîãðàììóD ïîäñ÷èòûâàþùóþ ôóíêöèþ x 2 + x + IF Ìíîæåñòâî òåðìèíàëîâ îäíà ïåðåìåííàÿ x è êîíñòàíòû @íàïðèìåðD îò −S äî SAF Ìíîæåñòâî ýëåìåíòàðíûõ ôóíêöèé {+, −, ∗, %}F Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  43. 43. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïîñòàíîâêà çàäà÷è Êàêóþ âûáðàòü ôóíêöèþ îøèáêèc Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  44. 44. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïîñòàíîâêà çàäà÷è Êàêóþ âûáðàòü ôóíêöèþ îøèáêèc Ôóíêöèÿ îøèáêè èíòåãðàë îò ðàçíîñòè ìåæäó ôóíêöèåéD êîòîðóþ ðåàëèçóåò ïðîãðàììà èç ïîïóëÿöèèD è öåëåâîé ôóíêöèåé x 2 + x + IF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  45. 45. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïåðâûé øàã Ñãåíåðèðîâàëè ñëó÷àéíóþ ïîïóëÿöèþX Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  46. 46. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïåðâûé øàã ż ïðèñïîñîáëåííîñòü äàëåêà îò èäåàëàX Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  47. 47. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Âòîðîé øàã Âûáðàëè @—A äëÿ âîñïðîèçâîäñòâàF Âûáðàëè @™A äëÿ ìóòàöèèD ïîìåíÿëè P íà äåðåâîD ïîäñ÷èòûâàþùåå (x x )F % Âûáðàëè @—A è @˜A äëÿ êðîññîâåðàD ïîìåíÿëè ìåñòàìè äåðåâî ñ êîðíåì â + è xF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  48. 48. Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð Ïîñëå âòîðîãî øàãà Ïîëó÷èëîñüX Îñòàëîñü ïîäñ÷èòàòü ôóíêöèþ ïðèñïîñîáëåííîñòè íîâîé ïîïóëÿöèè è óáåäèòüñÿD ÷òî â íåé åñòü èäåàëüíàÿ îñîáüF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  49. 49. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Outline 1 Îñíîâíàÿ èäåÿ Èäåÿ Ïðåäñòàâëåíèå äàííûõ Ãåíåòè÷åñêèå îïåðàöèè Àëãîðèòì 2 Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îñíîâíàÿ èäåÿ Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà Ãåíåòè÷åñêèå îïåðàöèè Ïðèìåð 3 Äðóãèå ñþæåòû Ëàìàðê è Áîëäóèí Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Àëãîðèòì èìèòàöèè îòæèãà Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  50. 50. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ëàìàðê Æàí Áàòèñò Ïüåð Àíòóàí äå ÌîíåD øåâàëüå äå Ëàìàðê @IURR!IVPWA ñîçäàë ïåðâóþ òåîðèþ áèîëîãè÷åñêîé ýâîëþöèèF Ó Ëàìàðêà îðãàíèçìû èçìåíÿëèñü ïîä âîçäåéñòâèåì îêðóæàþùåé ñðåäû è óñëîâèé èõ æèçíåäåÿòåëüíîñòèF Áèîëîãè÷åñêè Äàðâèí âñ¼Eòàêè áûë ïðàâF Íî äëÿ ìàøèííîãî îáó÷åíèÿ ìîæíî è òàêèå ìåòîäû èñïîëüçîâàòüX ïðîãðàììêè îáó÷àþòñÿ ïî õîäó æèçíè è ïåðåäàþò ýòî ïîòîìêàìF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  51. 51. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Áîëäóèí Ýôôåêò Áîëäóèíà âîçíèêàåòD êîãäà íóæíî ó÷åñòü îáó÷àåìîñòü îñîáåé â ïîïóëÿöèèF Âìåñòî òðåòüåé ðóêè ìîæíî âûðàùèâàòü ñåáå ìîçãD êîòîðûé áóäåò ëó÷øå óïðàâëÿòü ïåðâûìè äâóìÿF À ïðè âûñîêîé îáó÷àåìîñòè @÷åëîâåêD íàïðèìåðA ãåíîòèï èãðàåò î÷åíü ìàëåíüêóþ ðîëüF Íåêèé tr—deo' ìåæäó ïðèñïîñîáëåííîñòüþ è îáó÷àåìîñòüþ ìîæíî èññëåäîâàòü è â ìàøèííîì îáó÷åíèèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  52. 52. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ýôôåêò Áîëäóèíà è íåéðîííûå ñåòè Äàâàéòå ïðèìåíèì ýòî ê äâóì èçâåñòíûì íàì ìåòîäàìX íåéðîííûì ñåòÿì è ãåíåòè÷åñêèì àëãîðèòìàìF Îñîáü íåéðîííàÿ ñåòü ãëóáèíû P ñ N âõîäàìèD M íåéðîíàìè íà ñêðûòîì óðîâíå è N íåéðîíàìè íà âûõîäåF Ó òàêîé îñîáè îáðàçóþòñÿ (N + I)M + (M + I)N ãåíîâD ñîîòâåòñòâóþùèõ âåñàì íåéðîííîé ñåòèF Ïëþñ åù¼ ñòîëüêî æå áèíàðíûõ ãåíîâ ïëàñòè÷íîñòèD êîòîðûå îïðåäåëÿþòD ìîæåò ëè âåñ èçìåíÿòüñÿ â ïðîöåññå îáó÷åíèÿF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  53. 53. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ýôôåêò Áîëäóèíà è íåéðîííûå ñåòè Èòåðàöèÿ àëãîðèòìà ñîñòîèò èç äâóõ ÷àñòåéF  òå÷åíèå ïåðâîé ÷àñòè èìåþùèåñÿ îñîáè îáó÷àþòñÿ íà òåñòîâûõ ïðèìåðàõY ïðè ýòîì îáó÷åíèå ó÷èòûâàåò òàêæå ãåíû ïëàñòè÷íîñòèX äëÿ âåñà w ∂Ev (w ) ∆w = −ηp , ∂w v ∈V ãäå η ñêîðîñòü îáó÷åíèÿD V òåñòîâûå ïðèìåðûD Ev ôóíêöèÿ îøèáêèD à p ñîîòâåòñòâóþùèé w ãåí ïëàñòè÷íîñòèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  54. 54. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ýôôåêò Áîëäóèíà è íåéðîííûå ñåòè Íà âòîðîì ýòàïå îáó÷åííûå íåéðîííûå ñåòè ó÷àñòâóþò â ãåíåòè÷åñêèõ îïåðàöèÿõF ÍàïðèìåðD ñ ôóíêöèåé ïðèñïîñîáëåííîñòè N −1 I Fitness = I.H − NPN (Outv ,i − Targetv ,i )2 , v ∈ V i =0 ãäå Targetv ,i çíà÷åíèå öåëåâîé ôóíêöèè íà iEì âûõîäå ñåòè â v Eì òåñòîâîì ïðèìåðåD à Outv ,i ðåàëüíûé âûõîä iEãî âûõîäíîãî íåéðîíà ñåòèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  55. 55. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ðåçóëüòàòû  ðåçóëüòàòå ïîëó÷àåòñÿ òàêîå ïîâåäåíèåX ïîíà÷àëó â ïîïóëÿöèè æèâóò â îñíîâíîì ëåãêîîáó÷àåìûå îñîáè ñ ìàëûì êîëè÷åñòâîì çàôèêñèðîâàííûõ ãåíîâ ïëàñòè÷íîñòèF Ïîòîì îíè ïîíåìíîãó îáó÷àþò òîò èëè èíîé âåñ è åãî ôèêñèðóþòY â êîíå÷íîì ñ÷¼òå ïîíåìíîãó âûäåëÿåòñÿ îïòèìàëüíàÿ îñîáü ñî âñåìè ôèêñèðîâàííûìè ãåíàìèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  56. 56. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Áèîëîãèÿ âîïðîñà Âñ¼ íà÷àëîñü ñ ðàáîò ÏüåðàEÏîëÿ Ãðàññå ïðî òåðìèòîâGìóðàâü¼âF ÎêàçàëîñüD ÷òî ìóðàâüè îáìåíèâàþòñÿ èíôîðìàöèåé ïîñðåäñòâîì ëîêàëüíûõ ñîîáùåíèéD îñòàâëÿåìûõ â îêðóæàþùåé ñðåäåX ìóðàâüè îñòàâëÿþò ôåðîìîíûD êîãäà èäóò ê åäå èëè îò åäûD à äðóãèå ìóðàâüè ìîãóò ýòè ôåðîìîíû ÷óâñòâîâàòü è èçìåíÿòü ñâî¼ ïîâåäåíèåF Ýêñïåðèìåíòû íàä ìóðàâüÿìè â ñâî¼ âðåìÿ êðèòèêîâàë ÔåéíìàíD íî ñóòü îò ýòîãî íå òåðÿåòñÿF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  57. 57. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äâà ìîñòà Êëàññè÷åñêèé ýêñïåðèìåíò äâà ìîñòàF Îò ìóðàâü¼â ê åäå âåäóò äâà ìîñòà îäèíàêîâîé äëèíûF Ïîíà÷àëó ìóðàâüè õîäÿò ðàâíîìåðíîF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  58. 58. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äâà ìîñòà Ïîòîì èçEçà ôëóêòóàöèé îäèí ìîñò ñòàíîâèòñÿ ÷óòü áîëåå ïîñåùàåìûìF È ïðîøåäøèå ïî íåìó ìóðàâüè îñòàâëÿþò áîëüøå ôåðîìîíîâD çíà÷èòD åù¼ áîëüøå ìóðàâü¼â èäóò òóäàD è âñêîðå îíè âñå õîäÿò ïî îäíîìó ìîñòóF Âîò ïðèìåð ïîëîæèòåëüíîé îáðàòíîé ñâÿçèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  59. 59. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äâà ìîñòà À åñëè ìîñòû îêàæóòñÿ ñóùåñòâåííî ðàçíîé äëèíûD òî ïîëó÷èòñÿD ÷òî ïî áîëåå êîðîòêîìó ïóòè ìóðàâüè âîçâðàùàþòñÿ ðàíüøåF È òàì ðàíüøå îêàæåòñÿ áîëüøå ôåðîìîíîâF È óæå íèêàêèõ ôëóêòóàöèé áóäåò âûáðàíà áîëåå êîðîòêàÿ äîðîãàF Ýòó ìûñëü è õî÷åòñÿ èñïîëüçîâàòü â ðåøåíèè çàäà÷ îïòèìèçàöèèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  60. 60. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Çàäà÷à êîììèâîÿæåðà Åñòåñòâåííî ïîïðîáîâàòü ïðèìåíèòü ê çàäà÷å êîììèâîÿæåðàF Åñòü ïîëíûé ãðàô ñ ðàññòîÿíèÿìè íà ð¼áðàõD è åñòü íàáîð èñêóññòâåííûõ ìóðàâü¼âF Ïîýòîìó ó êàæäîãî ðåáðà åñòü åù¼ ïåðåìåííàÿ ¾ôåðîìîí¿F Íà êàæäîì øàãå àëãîðèòìà ìóðàâåé âûáèðàåò ñëåäóþùóþ âåðøèíó èç òåõD êîòîðûå îí åù¼ íå ïîñåùàëD ñ âåðîÿòíîñòüþD ïðîïîðöèîíàëüíîé å¼ ôåðîìîíóF À ïîòîì ïîäïðàâëÿåò çíà÷åíèå ýòîãî ôåðîìîíàF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  61. 61. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Îáùàÿ ìîäåëü Äàâàéòå ôîðìàëüíî çàïèøåì ìîäåëü çàäà÷è îïòèìèçàöèèF S ïðîñòðàíñòâî âîçìîæíûõ ðåøåíèéD îïðåäåë¼ííîå íà |D | ìíîæåñòâå ïåðåìåííûõ Xi D ãäå Xi ∈ {vi1 , . . . , vi }F i Ω íàáîð îãðàíè÷åíèéF f : S → R öåëåâàÿ ôóíêöèÿF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  62. 62. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîììèâîÿæ¼ð Çàäà÷ó êîììèâîÿæ¼ðà ìîæíî îïèñàòü êàê íàáîð ïåðåìåííûõ Xi D ïðèíèìàþùèõ çíà÷åíèÿ âî ìíîæåñòâå âåðøèí V Y Xi = v çíà÷èòD ÷òî íà iEì øàãå ìû ïîéä¼ì â âåðøèíó i @èç âåðøèíû Xi −1 AF Êîìïîíåíòû ðåøåíèÿ âîçìîæíûå çíà÷åíèÿ êàæäîé èç ïåðåìåííîé ýòî ð¼áðà cij = (i , j )Y òàêîå ðåáðî îçíà÷àåòD ÷òî ïîñëå i íóæíî èäòè â jF Çíà÷åíèå ôåðîìîíà τij êàê ðàç è îïðåäåëÿåòñÿ íà ýòèõ êîìïîíåíòàõF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  63. 63. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ìåòàñõåìà îïòèìèçàöèè ìóðàâüÿìè ÈíèöèàëèçèðîâàòüF Ïîêà íå âûïîëíåíî óñëîâèå îñòàíîâêèX 1 Ïîñòðîèòü ðåøåíèÿ ìóðàâü¼â. 2 Ïðèìåíèòü ëîêàëüíûé ïîèñê (íåîáÿçàòåëüíî). 3 Èçìåíèòü çíà÷åíèÿ ôåðîìîíîâ. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  64. 64. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äëÿ çàäà÷è êîììèâîÿæ¼ðà I Ïîñòðîèòü ðåøåíèÿ ìóðàâü¼âF Ìóðàâåé ñòðîèò ðåøåíèå èç cij F Íà÷èíàåò ñ ïóñòîãîX s0 = ∅F Ïîòîì íà øàãå i äîáàâëÿåò îäíî ðåáðî èç íàáîðà äîñòóïíûõ ð¼áåðF Ôàêòè÷åñêè ïîëó÷àåòñÿ áëóæäàíèå ïî íàøåìó ïîëíîìó ãðàôóF Âûáîð ñëåäóþùåãî ðåáðà çàâèñèò îò êîíêðåòíîãî àëãîðèòìà @÷óòü ïîçæåAF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  65. 65. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äëÿ çàäà÷è êîììèâîÿæ¼ðà P Ëîêàëüíûé ïîèñêF Îáû÷íî â ðåàëüíûõ ïðèìåíåíèÿõ ïîñòðîåííûå íà øàãå I ðåøåíèÿ îïòèìèçèðóþò ëîêàëüíûì ïîèñêîìF ÍàïðèìåðD ìîæíî ñëó÷àéíûì îáðàçîì ïîìåíÿòü ïàðó ð¼áåð è ïîñìîòðåòüD íå ïîëó÷èòñÿ ëè ëó÷øåD ÷åì áûëîF Íî ýòî íåîáÿçàòåëüíûé øàãF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  66. 66. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Äëÿ çàäà÷è êîììèâîÿæ¼ðà Q Èçìåíèòü çíà÷åíèÿ ôåðîìîíîâF À òåïåðü íóæíî ïîäïðàâèòü ôåðîìîíû â ïðàâèëüíóþ ñòîðîíóF Îáû÷íî äåëàþò òàêX âîîáùå âñå ôåðîìîíû íåìíîæêî èñïàðÿþòñÿD ïîñëå ÷åãî õîðîøèå ðåøåíèÿ ïîëó÷àþò á¡ëüøóþ íàäáàâêóD ÷åì ïëîõèåF î Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  67. 67. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: AS ent ƒystemX èñòîðè÷åñêè ïåðâûé òàêîé àëãîðèòìF Ôåðîìîí àïäåéòÿò âñå ìóðàâüèX m τij := (I − ρ)τij + ∆τk . ij k =1 Çäåñü ρ ñêîðîñòü èñïàðåíèÿD ∆τk êîëè÷åñòâî ij ôåðîìîíàD êîòîðûé äîáàâèò ìóðàâåé k ðåáðó (i , j )X Q /Lk , åñëè k èñïîëüçîâàë (i , j ) â ïóòè. ∆τk = ij H, åñëè íå èñïîëüçîâàë. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  68. 68. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: AS À íà ýòàïå ïîñòðîåíèÿ ðåøåíèÿ ìóðàâüè âûáèðàþò ðåáðî ñòîõàñòè÷åñêè ñ âåðîÿòíîñòüþD ïðîïîðöèîíàëüíîé τα ηβ , ij ij ãäå ηij = d1 D dij ðàññòîÿíèå îò i äî jF ij Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  69. 69. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: MMAS w—xEwin ent ƒystemX ïðîäîëæåíèå ýòèõ èäåéF Îãðàíè÷èì τ èíòåðâàëîì [τmin , τmax ]F Ïðàâèëî áóäåò ó÷èòûâàòü òîëüêî ∆τbest D êîòîðîå ðàâíî ij I/Lbest D åñëè (i , j ) ïðèíàäëåæèò ëó÷øåìó íàéäåííîìó ïóòèF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  70. 70. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: MMAS Íîâîå çíà÷åíèå ðàññ÷èòûâàåòñÿ êàê τij = (I − ρ)τij + m=1 ∆τbest F k ij Çäåñü best ìîæåò îçíà÷àòü ëèáî ¾ëó÷øèé çà ïîñëåäíþþ èòåðàöèþ¿D ëèáî ¾âîîáùå ëó÷øèé ïîêà ÷òî¿F Ñîáñòâåííî ïðàâèëî àïäåéòàX  τmin , åñëè τ τmin ,   ij τij := åñëè τij ∈ [τmin , τmax ],  ij τ ,  τ , max åñëè τij τmax . Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  71. 71. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: ACS ent golony ƒystem ââîäèò åù¼ ëîêàëüíûå èçìåíåíèÿ ôåðîìîíîâF Ïîñëå êàæäîãî øàãà ïîñòðîåíèÿ ïóòè ìóðàâüèøêè ïîäïðàâëÿþò ôåðîìîíûD íà÷àâøèåñÿ ñ τ0 X τij = (I − φ)τij + φτ0 . Ñìûñë â òîìD ÷òî êîãäà ìóðàâüè ïîëçóò ïî ðåáðóD îíè îò íåãî ¾îòáèâàþò çàïàõ¿D è óìåíüøàþòñÿ íåæåëàòåëüíûå ýôôåêòûD î êîòîðûõ ìû ãîâîðèëèX íå âñå ñêàïëèâàþòñÿ â îäíîì è òîì æå íåîïòèìàëüíîì ðåáðåF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  72. 72. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Êîíêðåòíûå àëãîðèòìû: ACS À o1ine upd—te ôåðîìîíîâ äåëàåò òîëüêî îäèí @ëó÷øèéA ìóðàâåéX (I − ρ)τij + ρ∆τij , (i , j ) åñòü â ëó÷øåì ïóòè, τij := H, â ïðîòèâíîì ñëó÷àå. Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  73. 73. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà ×òî èçâåñòíî ÄîêàçàíîD ÷òî ìóðàâüèíûå àëãîðèòìû äåéñòâèòåëüíî ñõîäÿòñÿ ê îïòèìàëüíûì ðåøåíèÿìF ÏðîáëåìûD â îáùåìD òå æåD ÷òî â ãåíåòè÷åñêèõ àëãîðèòìàõF Åñòü óñïåøíûå ïðèìåíåíèÿ ê ðåøåíèþ x€Eïîëíûõ çàäà÷D îñîáåííî ê çàäà÷àì ðóòèíãà â òåëåêîììóíèêàöèîííûõ ñåòÿõF Ãëàâíûé ñïîñîá óëó÷øåíèÿ ïðèìåíåíèå ëîêàëüíîé îïòèìèçàöèè íà âòîðîì ìåòàEøàãåF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  74. 74. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ñóòü ìåòàëëóðãè÷åñêàÿ Èìèòàöèÿ îòæèãà @simul—ted —nne—lingA â ñàìîì ïðÿìîì ñìûñëå3 Îòæèã ýòî êîãäà ìàòåðèàë íàãðåâàþòD à ïîòîì ïîíåìíîæêó îõëàæäàþòF Ïðè íàãðåâå àòîìû äâèãàþòñÿ ïîáûñòðåå @âûëåçàþò èç ñâîèõ ëîêàëüíûõ ìèíèìóìîâA è íà÷èíàþò áëóæäàòü ïî ñîñòîÿíèÿì ñ âûñîêîé ýíåðãèåéF Ïîñòåïåííîå îõëàæäåíèå äà¼ò èì øàíñ çàñòûòü â áîëåå ãëîáàëüíîì ìèíèìóìåD ÷åì ðàíüøå îáðàçîâàòü áîëåå êðóïíûå êðèñòàëëû ñ ìåíüøèìè äåôåêòàìèF Áîëåå òîãîD âðåìÿ îò âðåìåíè èõ äàæå îáðàòíî ïîäîãðåâàþòD åñëè ÷òîEòî èä¼ò íå òàêF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  75. 75. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ñóòü àëãîðèòìè÷åñêàÿ Íà êàæäîì øàãå àëãîðèòìà òåêóùåå ðåøåíèå çàìåíÿåòñÿ íà áëèçëåæàùóþ òî÷êóD âûáðàííóþ ñ âåðîÿòíîñòüþD çàâèñÿùåé îò ðàçíîñòè ìåæäó çíà÷åíèÿìè ôóíêöèè è îò òåìïåðàòóðû T F Òåìïåðàòóðà ïîíåìíîæêó óìåíüøàåòñÿX ñíà÷àëà ðåøåíèÿ áåðóò ïî÷òè ñëó÷àéíîD çàòåì âñ¼ áëèæå è áëèæå ê ïðåäûäóùåìóF Ôîðìàëüíî ýòî àäàïòàöèÿ àëãîðèòìà ÌåòðîïîëèñàEÃàñòèíãñàF ÈD êîíå÷íîD å¼ ìîæíî èñïîëüçîâàòü äëÿ ñýìïëèíãà @êîãäà âåðîÿòíîñòü âèäà p (x ) = Z e −E (x ) AF 1 Íî ìû ïîêà íå áóäåìF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  76. 76. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Áëóæäàíèå Íà êàæäîì øàãå àëãîðèòì îïðåäåëÿåòD â êàêîé s ïåðåéòè èç s F s âûáèðàåòñÿ èç ñîñåäåé @íàïðèìåðD èç ïóòåé â çàäà÷å êîììèâîÿæ¼ðàD îòëè÷àþùèõñÿ íà îäíó òðàíñïîçèöèþAF Ó s è s åñòü ýíåðãèÿ e = E (s ) è e = E (s )D îíà æå öåëåâàÿ ôóíêöèÿF Âåðîÿòíîñòü ïåðåéòè èç s â s çàâèñèò îò ýíåðãèé è òåêóùåé òåìïåðàòóðû p (e , e , T )F Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  77. 77. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ñâîéñòâà p p (e , e , T ) äîëæíà áûòü íåîòðèöàòåëüíîD äàæå êîãäà e eD òFåF äîëæåí áûòü ñïîñîá âûáðàòüñÿ èç ëîêàëüíîãî ìèíèìóìàF Ïðè T → H p (e , e , T ) äîëæíà ñòðåìèòüñÿ ê íóëþ ïðè e eD òFåF ÷åì íèæå òåìïåðàòóðàD òåì ñïîêîéíåå ìû ïðîñòî äâèæåìñÿ ê ëîêàëüíîìó ìèíèìóìóF ×àùå âñåãî T óìåíüøàåòñÿ ñ ðîñòîì e − eD òFåF íåáîëüøèå øàãè ïðåäïî÷òèòåëüíåå áîëüøèõF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  78. 78. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ñâîéñòâà T Îñòàëîñü ïîíÿòüD ÷òî ïðîèñõîäèò ñ òåìïåðàòóðîéF Îíà ïîíåìíîãó óìåíüøàåòñÿD íî êàêc Ýòî íàçûâàåòñÿ ðàñïèñàíèå îòæèãà @—nne—ling s™heduleAF ×åì ìåäëåííåå îíà óìåíüøàåòñÿD òåì áîëüøå âåðîÿòíîñòüD ÷òî ìû ïðèä¼ì ê ãëîáàëüíîìó ìèíèìóìó @íóD âî âñÿêîì ñëó÷àåD ê ìèíèìóìó ïîëó÷øåAF ÍîD åñòåñòâåííîD òåì äîëüøå ðàáîòàåò àëãîðèòìF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
  79. 79. Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà Ñïàñèáî çà âíèìàíèå! ve™ture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé homep—geX http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching Ïðèñûëàéòå ëþáûå çàìå÷àíèÿD ðåøåíèÿ óïðàæíåíèéD íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàìX sergey@logic.pdmi.ras.ruD snikolenko@gmail.com Çàõîäèòå â ÆÆ smartnikF Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû

×