2.2.Cautarca       functiilor o singura
           minimului        de                 prin
                                       variabila evaluarea
                                                         derivatei
Metodele anterioare impun ca functia sa fie unimodala (convexa sau strict convexa). Prezentamin
continuaremetode de calcul a valorii minime a unei functii care utilizeaza pe langa valorile functiei
obiectiv si valori ale derivatei acesteia. impune deci ca functia sa fie unimodalasi derivabila pe
                                         Se
intervalul de incertitudin analizat.
                          e

     *   Metoda injumatatirii intervaluluide cautare
rie O(.L):la,bl   convexasi deci derivabila.Se dorestedeterminarea 7 pentru carefwctia 0()")
                                                                 lui
esteminima.



         variazainintervalulde incertitudine4 eloo,boT




              . e'(h)=o                 +
                                            -44
                                              /1k = A        deci),
                                                                      "rt"punaul
                                                                                   deminim



            ' o'(nu),
                    o                    + prr. 1> Lu, 0(7), e(Lr)




                                                             e'
                                                              (a)'o




                                                  Figura I


                  loou,br,*rl=lou,1u7
            . o'(h).0                   + ptr. A < Au,0(1), e(4)
)<o




                  louu,bu*r!=Ilu,bul

              -                                                           minim sa fre intr-unul
         14, "rl. Daca consideram esteechiprobabilca situareamunchrlui de
                                  ca
         din celedouaatunciseimpuneconditia:
                            .  (
                           mln imax|.Do- /Lk,Ak a* )j
                                               -
                                    /t    4  ^     r)




Rezultaca valoareade test )"utrebuiesa sesituezela jumatea intervalului de incertitudine.

Vitezade convergenta algoritmului estedatade vitezade contractiea intervalului de incertitudine:
                   a

               bo*r-ar*,-l
vk>1,
                 bo-au              2
Dupa n interatii, lungimeaintervalului de incertutudine fi :
                                                       va

                   bn*t - Qn+L*         I
                                                       bn*t - on*t    =br-o, <l
                      br-a,             2"                                 2"
                             - ar
                  2n ,b,
                              I
Relatiaoferaposibilitateasa stabilim numarul de iteratii ale calculului.
*    Metoda Newton
Consideramfunctia e(1,):la,bl-+              R, convexasi de doua ori derivabilape intervalul considerat.
Functia criteriu se poate aproxima in punctul )"u prn dezvoltareasa in serie Taylor in jurul acestui
punct(seobservaca seconsidera functia arecavariabila pasul de cautare):
                                ca


q(x) e(hl.r &)(t - ).)* +,t'
   =                           - +...           -
                           (x)(1 r*)' +t" (r)(x xu)"
          i,
+
Dacaconsideram          paffiica a acesteifunctii :
              aproximarea

   =              h.)**t',Q)@- 1r)'
q(1) 0(1ot.i, @r)Q-
atuncieaareun punct de minim daca:

q'(1):0                        =   q' (1) = e' (lr) + e" (lr)Q" - 1o)= 0

Rezultacapentru 2n-ffitunctia
          * Aoo,-                                           q(1) vaaveaunminim.




Metodaestevaloroasa                                           iterativa a pasuluide cautare.
                   prin aceea propuneun algoritu de determinare
                             ca                                                            Cum
procesul de cautare se va lansa dintr-un punct xr, noile puncte de test se vor determina ca

f i i n d : x o *= x * - 4 .
                 ,

          deci ca iteratiile procesuluide cautare sase facacu pasul
Serecomanda
                                      ^'/^     
                                     o"n: ),
                          tro = ^r -
                            r, ^
                                     o (tr.)
Obs:
)         metodaimpuneconditii puternicrestrictive( existenta A"(4)
    aceasta                                                  hi                   ri 0'(4)+0   in
    toatepunctelede evaluare).
    dacaseefectueaza
                   aproximarea patraticaa functiei, determinarea
                                                               punchrluide minim seface dintr-
    un singurpas.Dacanu se acceptaaproximarea   functiei 0 &)    ( pu*,iru sauprintr-unnumar
    finit de termeni), atunci in punctele 4,a nu se va depistadupaprimul paspunctul de minim. Se
                                                                          n'lr

                                                                   -
    retinenumai ca esterecomandat pasulde cautare sufr" At *t - 7t
                                ca                                   #
                                                                          a Ao)
t   proceduraeste eficace dacapunctul de initializare a cautarii este aproapede punctul de minim.
                       panacandse ajungeb )o*r:
    Procedura efectueaza
            se                                             tro*,-, ceeace inseamna se va gasi
                                                                                 ca
                                   o'()*-,-r)
    acelpunctpentrucareraportul                 -a-

                                  e (a+t-l)
Concluzii privind alegereauneia din metodele determinara a minimului unei functii de o variabila
                                               de
(metodece utilizeazavalori ale functiei obiectiv precum si derivate ale acesteia)
    l.   Metodele care ttilizeaza derivata a doua sunt puternic restrictive si limiteaza functiile caxese
         preteazala aplicareaalgoritmilor prezentati.Evaluareaderivatelor complica calculele si fac ca
         durataprocesuluide cautarese fie innaceptabilde mare.
         Toate metodeleasiguraconvergentaalgoritmilor daca functia obiectiv este garantatconvexape
                  I
         intervalu analizatla, bf

    3 . Dacaderivataintai poatefi calculata acelasiordin de dificultatecu functiaobiectiv,atuncise
                                           cu
         recomandaalegereametodei de cautareprin injumatatirea intervalului de cautare si evaluarea
         derivateiintai.
    4. Daca derivata este calculata prin diferente finite in raport cu doua valori ale functiei obiectiv,
       atunci se recomanda  alegerea uneiadin metodelede cautareiterativa cu evaluarea   functiei intr-un
       singurpunct la fiecareiteratie (respectivmetodasectiuniide aur sauFibonacci).
    J.   Metoda Fibonacci este in generalmai eficienta decatmetoda sectiunii de aur. Daca numarul de
         iteratii estemareele suntaproximativechivalente raport cu vitezade convergenta.
                                                        in

    6. O comparatieintre acestemetode,dacase consideraacelasinumar de evaluari ale lui d(2)             sau

         0' (1, pune in evidentanumarul de divizari succesive intervaluluiinitial la,bl
                                                             ale                                     O"nt o
         fiecaremetodain parte :
         Cautaredihotomica      Cautaredihotomica      Metoda Fibonacci       Metoda sectiunii de
                                                                              aur
         carcur
              0'(A)                 ZxeQ")
                                Calcul



              rc24(21o)                32(2s)                   89                    x76




3. Functii de mai multe variabile. Metode de cautare a extremelor(f*rn) in absenta
restrictiilor
Similm cautarii minimului unei functii de o singuravariabila, vom propunemetodede cautarea minimului
functiilor de mai multe variabileprin utilizareavalorii functiei obiectiv saua valorii derivatelor acesteia.

3.1. Determinarea minimului functiilor de mai multe variabile prin cautalc ciclica (fara
utilizarea derivatelor)
Cautarea  ciclica dupa axele de coordonate esteo particularizarea metodeigeneralede cautareliniara si
                                                                 a
iterativaa valorii de minim pentrufunctia de o variabila.
In general,presupunand ne situam la iteratia ft in procesul de cautarea minimului unei functii de
                      ca
variabilaxeR",      -f :R" +R.      Se alegeo directie do de cautare valorii de minim, cu lungimea
                                                                    a
                                                                                 pasului d , obtinut
pasuluide cautare 2 . Se determinapunctul de minim relativ allur f , corespunzator
               valorilor functiei obiectiv pentru Y ), e R :
prin inspectarea

    tr = trs1min $r +t.dr))l
               (f         ')
               [ ;'C
Noul punct de lucru este .rfr+l=h*Q'd.          Procesuliterativ se reia pentru fiecarenoua directie de
cautare.Cautareasi determinarea   punctului de minim pe fiecare directie do se realizeazaptn aplicarea
                                                                                    anterioara.
unuia din algorituii de minimizarea unei functii de o variabilaprezentatiin sectiunea

 + Metoda cautarii ciclice dupa axele de coordonate
Metoda se bazeazape cautareaciclica a extremului minim al functiei obiectiv, dupa cele n dtrectii
corespunzatoare                                            functia obiectiv. Cautareasuccesiva
                rxelor de coordonatein care estereprezentata                                  dupa
una din axelede coordonate efectueaza
                           se          considerand celelelteaxe sunt inghetate.
                                                   ca




Dupa o cautarecompletape cele n directii ale axelor de coordonatedt, d2, ....d,            cautarea reia
                                                                                                  se

                ordine.In planul axelor de coordonate
ciclic in aceeasi                                    (*ro*r),                   curbelede izonivel care
                                                                     se considera

suntgrafice ale locului geometrical punctelorcaresatisfacconditia f (*t,*r) = constant dacaadmitem
ca functie obiectiv se poatereprezentainfi-un spatiu fidimensional. Intr-un spatiu n dimensional,aceste
cwbe carelocalaeazapunctulde munim gasitprin cautarea una din axe,nu sepot reptezenta
                                                          pe                                graftc.

Punctulde debutal cautariieste /r(",,,trr).     Se porneste       valorii minime alui f
                                                           cautarea                             pe directia

               punctul de coordonate(xrrrxrr)
0", . S. gaseste                                                       punctul de pornire a cautariipe illa
                                                           va reprezenta
                                                   "*"
hr,,                   s" a.t"rrriou punctul yr(xrrrxrr)              am              pe
                                                             . Deoarece epuizatcautarea directiile
      lr(xrrrxrr).
                   procesulsereia cu punct de initializare .
axelorde coordonate,
tr)
                                                 l r( xr ,xr r )


                                               Figura 4

Algoritmul seoprestecanOllxo., - toll a a . [n acestcazpunctul t]+r estepunctul de minim. Dacarelatia
                     algoritrnul sereia.
inca nu esteadevarata,
+   Un inconveniental metodei constain aceeaca algoritrnul de cautareeste in functie de sistemulde
    coordonate careestereprezentata
                 in                    functia obiectiv. Orice schimbarea axelor de coordonate  (rotatie,
    fianslatie) poateconducela cresteresau scadere eficientei metodeipropuse,punctul de minim fiind
                                                    a
    acelasi.Se poate alegeun sistemde coordonatein care anumite directii ale axelor de coordonatesa
    favoizeze avansarea  rapida sprepunctul de minim in procesulde cautare.La fel de bine, se poateca
                                                                     functia, sa faca cautarea
    din motive obiective,sistemulde referinta in care estereprezentata                        greoaiesi
    din multe cicluri.

    Obs: reprezentarea functii !, = f (x,xr,..xns)
                     unei                                              chiar dacase modifica sistemul
                                                             esteaceeasi

    de referinta(Oxrxr..x,-r)

+   Un alt inconvenientconstain aceeaca, desi conditia de stop a algoritnului sa fie indeplinita, punctul
    .trr+l sa fie departede punctul real de minim. In plus, cautareadupa acestalgoritm este foarte lenta
    deoarecese fianforma intr-un traseu de cautarede forma anui zigzag prelungit, care in apropierea
    punctului de minim seface cu pasi mici si ineficineti.


Algoritmul cautarii ciclice dupa axelede coordonateesteurmatorul( senoteaza indicele 7 axadupa
                                                                          cu
crre sefacecautarea cu ft contorulciclului curent) :
                  si

Initializare. !r:   xt, e > 0;

Pas1.

     )., = argni" f (yo + ).d j)

     !i+t=Yi+)"idi
      .        li<n, j=i+7         -+ pas I
     daca     I
                                   -+ pas 2
               lj =n
Pas2.
xt*t = !r*t)
            -trll< a -+ sroP,   * rr*r val'deminim
aoro [ll*0.,                    -, pas3
      ffr=/c+1, =1,!r=xk*r
                  j

Curs soa

  • 1.
    2.2.Cautarca functiilor o singura minimului de prin variabila evaluarea derivatei Metodele anterioare impun ca functia sa fie unimodala (convexa sau strict convexa). Prezentamin continuaremetode de calcul a valorii minime a unei functii care utilizeaza pe langa valorile functiei obiectiv si valori ale derivatei acesteia. impune deci ca functia sa fie unimodalasi derivabila pe Se intervalul de incertitudin analizat. e * Metoda injumatatirii intervaluluide cautare rie O(.L):la,bl convexasi deci derivabila.Se dorestedeterminarea 7 pentru carefwctia 0()") lui esteminima. variazainintervalulde incertitudine4 eloo,boT . e'(h)=o + -44 /1k = A deci), "rt"punaul deminim ' o'(nu), o + prr. 1> Lu, 0(7), e(Lr) e' (a)'o Figura I loou,br,*rl=lou,1u7 . o'(h).0 + ptr. A < Au,0(1), e(4)
  • 2.
    )<o louu,bu*r!=Ilu,bul - minim sa fre intr-unul 14, "rl. Daca consideram esteechiprobabilca situareamunchrlui de ca din celedouaatunciseimpuneconditia: . ( mln imax|.Do- /Lk,Ak a* )j - /t 4 ^ r) Rezultaca valoareade test )"utrebuiesa sesituezela jumatea intervalului de incertitudine. Vitezade convergenta algoritmului estedatade vitezade contractiea intervalului de incertitudine: a bo*r-ar*,-l vk>1, bo-au 2 Dupa n interatii, lungimeaintervalului de incertutudine fi : va bn*t - Qn+L* I bn*t - on*t =br-o, <l br-a, 2" 2" - ar 2n ,b, I Relatiaoferaposibilitateasa stabilim numarul de iteratii ale calculului.
  • 3.
    * Metoda Newton Consideramfunctia e(1,):la,bl-+ R, convexasi de doua ori derivabilape intervalul considerat. Functia criteriu se poate aproxima in punctul )"u prn dezvoltareasa in serie Taylor in jurul acestui punct(seobservaca seconsidera functia arecavariabila pasul de cautare): ca q(x) e(hl.r &)(t - ).)* +,t' = - +... - (x)(1 r*)' +t" (r)(x xu)" i, + Dacaconsideram paffiica a acesteifunctii : aproximarea = h.)**t',Q)@- 1r)' q(1) 0(1ot.i, @r)Q- atuncieaareun punct de minim daca: q'(1):0 = q' (1) = e' (lr) + e" (lr)Q" - 1o)= 0 Rezultacapentru 2n-ffitunctia * Aoo,- q(1) vaaveaunminim. Metodaestevaloroasa iterativa a pasuluide cautare. prin aceea propuneun algoritu de determinare ca Cum procesul de cautare se va lansa dintr-un punct xr, noile puncte de test se vor determina ca f i i n d : x o *= x * - 4 . , deci ca iteratiile procesuluide cautare sase facacu pasul Serecomanda ^'/^ o"n: ), tro = ^r - r, ^ o (tr.) Obs:
  • 4.
    ) metodaimpuneconditii puternicrestrictive( existenta A"(4) aceasta hi ri 0'(4)+0 in toatepunctelede evaluare). dacaseefectueaza aproximarea patraticaa functiei, determinarea punchrluide minim seface dintr- un singurpas.Dacanu se acceptaaproximarea functiei 0 &) ( pu*,iru sauprintr-unnumar finit de termeni), atunci in punctele 4,a nu se va depistadupaprimul paspunctul de minim. Se n'lr - retinenumai ca esterecomandat pasulde cautare sufr" At *t - 7t ca # a Ao) t proceduraeste eficace dacapunctul de initializare a cautarii este aproapede punctul de minim. panacandse ajungeb )o*r: Procedura efectueaza se tro*,-, ceeace inseamna se va gasi ca o'()*-,-r) acelpunctpentrucareraportul -a- e (a+t-l)
  • 5.
    Concluzii privind alegereauneiadin metodele determinara a minimului unei functii de o variabila de (metodece utilizeazavalori ale functiei obiectiv precum si derivate ale acesteia) l. Metodele care ttilizeaza derivata a doua sunt puternic restrictive si limiteaza functiile caxese preteazala aplicareaalgoritmilor prezentati.Evaluareaderivatelor complica calculele si fac ca durataprocesuluide cautarese fie innaceptabilde mare. Toate metodeleasiguraconvergentaalgoritmilor daca functia obiectiv este garantatconvexape I intervalu analizatla, bf 3 . Dacaderivataintai poatefi calculata acelasiordin de dificultatecu functiaobiectiv,atuncise cu recomandaalegereametodei de cautareprin injumatatirea intervalului de cautare si evaluarea derivateiintai. 4. Daca derivata este calculata prin diferente finite in raport cu doua valori ale functiei obiectiv, atunci se recomanda alegerea uneiadin metodelede cautareiterativa cu evaluarea functiei intr-un singurpunct la fiecareiteratie (respectivmetodasectiuniide aur sauFibonacci). J. Metoda Fibonacci este in generalmai eficienta decatmetoda sectiunii de aur. Daca numarul de iteratii estemareele suntaproximativechivalente raport cu vitezade convergenta. in 6. O comparatieintre acestemetode,dacase consideraacelasinumar de evaluari ale lui d(2) sau 0' (1, pune in evidentanumarul de divizari succesive intervaluluiinitial la,bl ale O"nt o fiecaremetodain parte : Cautaredihotomica Cautaredihotomica Metoda Fibonacci Metoda sectiunii de aur carcur 0'(A) ZxeQ") Calcul rc24(21o) 32(2s) 89 x76 3. Functii de mai multe variabile. Metode de cautare a extremelor(f*rn) in absenta restrictiilor Similm cautarii minimului unei functii de o singuravariabila, vom propunemetodede cautarea minimului functiilor de mai multe variabileprin utilizareavalorii functiei obiectiv saua valorii derivatelor acesteia. 3.1. Determinarea minimului functiilor de mai multe variabile prin cautalc ciclica (fara utilizarea derivatelor) Cautarea ciclica dupa axele de coordonate esteo particularizarea metodeigeneralede cautareliniara si a iterativaa valorii de minim pentrufunctia de o variabila. In general,presupunand ne situam la iteratia ft in procesul de cautarea minimului unei functii de ca variabilaxeR", -f :R" +R. Se alegeo directie do de cautare valorii de minim, cu lungimea a pasului d , obtinut pasuluide cautare 2 . Se determinapunctul de minim relativ allur f , corespunzator valorilor functiei obiectiv pentru Y ), e R : prin inspectarea tr = trs1min $r +t.dr))l (f ') [ ;'C
  • 6.
    Noul punct delucru este .rfr+l=h*Q'd. Procesuliterativ se reia pentru fiecarenoua directie de cautare.Cautareasi determinarea punctului de minim pe fiecare directie do se realizeazaptn aplicarea anterioara. unuia din algorituii de minimizarea unei functii de o variabilaprezentatiin sectiunea + Metoda cautarii ciclice dupa axele de coordonate Metoda se bazeazape cautareaciclica a extremului minim al functiei obiectiv, dupa cele n dtrectii corespunzatoare functia obiectiv. Cautareasuccesiva rxelor de coordonatein care estereprezentata dupa una din axelede coordonate efectueaza se considerand celelelteaxe sunt inghetate. ca Dupa o cautarecompletape cele n directii ale axelor de coordonatedt, d2, ....d, cautarea reia se ordine.In planul axelor de coordonate ciclic in aceeasi (*ro*r), curbelede izonivel care se considera suntgrafice ale locului geometrical punctelorcaresatisfacconditia f (*t,*r) = constant dacaadmitem ca functie obiectiv se poatereprezentainfi-un spatiu fidimensional. Intr-un spatiu n dimensional,aceste cwbe carelocalaeazapunctulde munim gasitprin cautarea una din axe,nu sepot reptezenta pe graftc. Punctulde debutal cautariieste /r(",,,trr). Se porneste valorii minime alui f cautarea pe directia punctul de coordonate(xrrrxrr) 0", . S. gaseste punctul de pornire a cautariipe illa va reprezenta "*" hr,, s" a.t"rrriou punctul yr(xrrrxrr) am pe . Deoarece epuizatcautarea directiile lr(xrrrxrr). procesulsereia cu punct de initializare . axelorde coordonate,
  • 7.
    tr) l r( xr ,xr r ) Figura 4 Algoritmul seoprestecanOllxo., - toll a a . [n acestcazpunctul t]+r estepunctul de minim. Dacarelatia algoritrnul sereia. inca nu esteadevarata, + Un inconveniental metodei constain aceeaca algoritrnul de cautareeste in functie de sistemulde coordonate careestereprezentata in functia obiectiv. Orice schimbarea axelor de coordonate (rotatie, fianslatie) poateconducela cresteresau scadere eficientei metodeipropuse,punctul de minim fiind a acelasi.Se poate alegeun sistemde coordonatein care anumite directii ale axelor de coordonatesa favoizeze avansarea rapida sprepunctul de minim in procesulde cautare.La fel de bine, se poateca functia, sa faca cautarea din motive obiective,sistemulde referinta in care estereprezentata greoaiesi din multe cicluri. Obs: reprezentarea functii !, = f (x,xr,..xns) unei chiar dacase modifica sistemul esteaceeasi de referinta(Oxrxr..x,-r) + Un alt inconvenientconstain aceeaca, desi conditia de stop a algoritnului sa fie indeplinita, punctul .trr+l sa fie departede punctul real de minim. In plus, cautareadupa acestalgoritm este foarte lenta deoarecese fianforma intr-un traseu de cautarede forma anui zigzag prelungit, care in apropierea punctului de minim seface cu pasi mici si ineficineti. Algoritmul cautarii ciclice dupa axelede coordonateesteurmatorul( senoteaza indicele 7 axadupa cu crre sefacecautarea cu ft contorulciclului curent) : si Initializare. !r: xt, e > 0; Pas1. )., = argni" f (yo + ).d j) !i+t=Yi+)"idi . li<n, j=i+7 -+ pas I daca I -+ pas 2 lj =n Pas2.
  • 8.
    xt*t = !r*t) -trll< a -+ sroP, * rr*r val'deminim aoro [ll*0., -, pas3 ffr=/c+1, =1,!r=xk*r j