Optimización multivariable sin restricciones

Slide 1: Capítulo 6. Optimización multivariable sin restricciones

Slide 2: 6.1 Métodos que usan únicamente valores de la función Búsqueda aleatoria. Seleccionar un vector de partida x0. Evaluar f(x0). Seleccionar otro vector de forma aleatoria x1. Evaluar f(x1). Tanto la dirección como el tamaño de paso se han seleccionado simultáneamente. Después de una o más etapas, el valor de f(xk) es comparado con el mejor valor previo de todas las etapas anteriores, y se toma la decisión de continuar o terminar con la búsqueda.

Slide 3: Búsqueda en malla x2 x2 xk xk x1 x1

Slide 4: Búsqueda univariada n f1 (x) = ∑ci x i 2 i =1 x0 n n f 1 (x) = ∑∑ d ij x i x j i =1 j=1 x0

Slide 5: Método de búsqueda Simplex 3 4 1 2 f(x1) > f(x2) 11 10 f(x1) > f(x3) 5 4 9 7 8 6 2 3 0 1 X 1 2 0 1 0 X X 0 0 X

Slide 6: Búsqueda en direcciones conjugadas Dos direcciones s i y s j se dicen conjugadas con respecto a una matriz positiva definida Q si, (s ) Q (s ) = 0 i T j En general un conjunto de n direcciones linealmente independientes s 0 , s1 ,... , s n −1 son conjugadas con respecto a una matriz cuadrada positiva definida si (s ) Qs i T =0j 0 ≤ i ≠ j ≤ n -1 En optimización la matriz Q es la matriz de Hess de la función objetivo, H. ( ) T La ortogonalidad es un caso especial, debido a que si Q = I, s i s j = 0.

Slide 7: Ejercicio. Cálculo de direcciones conjugadas Se desea minimizar f(x)=2x12+x22-3 empezando en (x0)T=[1 1] con la dirección de búsqueda inicial s0=[-4 -2]T. Buscar una dirección conjugada a la dirección inicial s0. Ejecutar la búsqueda del óptimo para las direcciones de búsqueda conjugadas.

Slide 8: 2. Métodos que usan la primera derivada Una buena dirección de búsqueda (s) debe cumplir con el criterio, ∇ T f (x)s < 0 − ∇f ( x k ) sk xk θ ∇f ( x k )

Slide 9: Método del descenso más pronunciado s k = −∇f (x k ) x k +1 = x k + ∆x k = x k − α k ∇f (x k ) Si αk se selecciona para obtener el mínimo, d gk(α)=f(xk+αsk) f ( x k + αs k ) = 0 dα ( g k (α ) = f x k + αs k ) d f ( x + αs ) = ∑ k k ∂f (x k + αs k ) k si ( ) Pendiente = ∇f T x k + α k s k s k = 0 dα i ∂x i ( ) T ( = s k ∇f x k + α s k ) αk =0 αk

Slide 10: Métodos de gradiente conjugado Paso 1 : Calcular f x 0 ( ) ( ) s 0 = −∇f x 0 Paso 2 : Guardar ∇f x 0 y calcular( ) x1 = x 0 + α 0s 0 ( ) ( ) Paso 3 : Calcular f x 1 , ∇f x 1 . La nueva dirección de búsqueda es ∇ f ( x )∇f (x ) ( ) T 1 1 s = −∇f x + s 1 1 0 ∇ f ( x )∇f (x ) T 0 0 Para la k - esima iteración, k +1 s = −∇f x ( k +1 +s ∇ T f ( x k +1 )∇f x k +1 ) k ( ) ∇ T f ( x k )∇f x k ( ) Paso 4 : Aplicar el test de convergencia. Si no se cumple con el criterio de convergencia, regresar al paso 3. Paso n : Terminar el algoritmo cuando ∇f(x k ) sea menor a alguna tolerancia prescrita.

Slide 11: Para una búsqueda en línea, se puede optimizar el tamaño de paso, mediante una aproximación cuadrática de la función, k k ( ) f (x ) = f (x + αs ) = f x + ∇ f (x )αs + αs H (x k )αs k k T k k ( ) 1 2 k T d dα ( ) T f (x k + αs k ) = 0 = ∇ T f (x k )s k + s k H (x k )αs k α =− k T opt ( ) ∇Tf xk sk (s ) H (x k )s k

Slide 12: Método de Newton La aproximaxión cuadrática en series de Taylor para f(x) es, ( ) f (x ) ≈ f (x k ) + ∇ T f x k ∆x k + 1 2 T ( ∆x k H (x k )∆x k ) El mínimo de la aproximación cuadrática es, ∇f (x ) = ∇f (x k ) + H(x k )∆x k = 0 Para ejecutar la búsqueda unidimensional, x k +1 = x −α H x k k [ ( )]k −1 ( ) ∇f x k s =−Hx k [ ( )]k −1 ( ) ∇f x k