• Like
  • Save
1 algebra lineal y vectores aleatorios
Upcoming SlideShare
Loading in...5
×
 

1 algebra lineal y vectores aleatorios

on

  • 167 views

algebra

algebra

Statistics

Views

Total Views
167
Views on SlideShare
167
Embed Views
0

Actions

Likes
0
Downloads
2
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    1 algebra lineal y vectores aleatorios 1 algebra lineal y vectores aleatorios Presentation Transcript

    • ANÁLISIS MULTIVARIANTE INTRODUCCIÓN         1. Álgebra lineal y vectores aleatorios         2. Distribución normal multivariante   ANÁLISIS DE LA MATRIZ DE COVARIANZAS         3. Componentes principales         4. Análisis factorial         5. Correlaciones canónicas   CLASIFICACIÓN         6. Análisis discriminante         7. Análisis de conglomerados 1
    • 1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS  Vectores      Ortogonalización de Gram-Schmidt      Matrices ortogonales      Autovalores y autovectores      Formas cuadráticas      Vectores y matrices aleatorias      Matriz de datos        2
    • EJEMPLOS 3
    • Vectores Matriz de datos: p variables observadas en n objetos Objeto_1 Objeto_n  x11   x21 x  31   x  n1 x12 x22 x32  xn 2 Variable_1 x13 x23 x33  xn 3      x1 p   x2 p  x3 p  = X nxp    xnp   en ℜ Variable_p ALGEBRA LINEAL 4 p
    • Vectores Dados  x1    x=   x   p  y1    y=   y   p se define: 1. Suma   x1 + y1    x+ y =   x + y  p   p ALGEBRA LINEAL 5
    • Vectores 2. Producto de un escalar por un vector  c ⋅ x1    c⋅x =    c ⋅ x  p   3. Producto escalar de dos vectores p x • y = x, y = x' y = ∑ xi y i = x1 y1 +  + x p y p i =1 ALGEBRA LINEAL 6
    • Vectores Propiedades x, ay + bz = a x, y + b x, z x, y = y , x x, x ≥ 0 y x x, x = 0 ⇔ x = 0 4. Norma de un vector x = x ' x = ( x ' x )1 / 2 = p xi2 ∑ i =1 ALGEBRA LINEAL 7 x
    • Vectores 5. Distancia entre dos vectores y x− y d ( x, y ) = x − y x 6. Ángulo entre dos vectores cosϑ = θ x, y x y θ ϑ x, y = 0 ⇒ cosϑ = 0 ⇒ x ⊥ y θ ALGEBRA LINEAL 8
    • Vectores Desigualdad de Cauchy-Schwarz  x, y ≤ x y Consecuencia: − x y ≤ x, y ≤ x y −1 ≤ x, y x y ≤1 θ − 1 ≤ cos ϑ ≤ 1 ALGEBRA LINEAL 9
    • Vectores 7. Ortogonalidad {u1 , u 2 , , u n } es ortogonal si  u i ⊥ u j ∀ i, j 8. Ortonormalidad   { 1 , e 2 ,, e n } es ortonormal si es ortogonal   e y todos los vectores tienen norma 1, es decir,  ei = 1 ∀i ALGEBRA LINEAL 10
    • Vectores Ejemplo −1   u = 0  2     1    v = 0   −3    (i ) < u , v > (ii ) u (iii ) u ⊥ v ? (iv ) d (u , v ) (v ) cos θ ALGEBRA LINEAL 11
    • Vectores  Un  conjunto de vectores  { u1 , u 2 ,  , u n } es linealmente independiente si   n ∑c u i =1 i i = 0 ⇒ c1 = c 2 =  = c n =0 (la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0) ALGEBRA LINEAL 12
    • Vectores Proposición.  Todo conjunto ortogonal de vectores  no nulos es linealmente independiente.  { u1 , u 2 ,, u n } ortogonal ⇒ { u1 , u 2 ,, u n } ⇐ l.i. Demostración c1u1 +  + cn un = 0 u j , c1u1 +  + cnu n = c j u j , u j = 0 u j ,u j ≠ 0 ⇒ cj = 0 ALGEBRA LINEAL 13
    • Vectores Proyección de x sobre y  pry ( x ) = x, y y, y y = x, y y 2 y ALGEBRA LINEAL 14
    • Vectores Ejemplo    − 1   x= 0  3   2   y =  − 1 1   pry ( x) ? prx ( y ) ? ALGEBRA LINEAL 15
    • Ortogonalización de Gram-Schmidt    V⊂ p ;      V subespacio vectorial de  ℜ p si V es espacio vectorial,  ∀ es decir, si   u , v ∈ V y ∀a, b ∈ ℜ ; au + bv ∈ V   Dado    A =  {u1 , u 2 ,  , u n } n span A ≡ ci ui ∑ 1 i =  : ci ∈  ℜ  Propiedades (i ) A ⊂ span A (ii ) span ( A) es un subespacio ALGEBRA LINEAL 16
    • Ortogonalización de Gram-Schmidt Proposición  v ⊥ ui i = 1,  , n ⇒ ⇒ v ⊥ span { u1,  , un } Demostración u ∈ span { u1 ,  , un } n n i =1 i =1 u , v = v, ∑ ci ui = ∑ ci v, ui = 0 ALGEBRA LINEAL 17
    • Ortogonalización de Gram-Schmidt Dado un conjunto de vectores l.i., se puede  construir otro conjunto ortogonal que genere el mismo espacio. Sean { x1 , x2 ,  , xn } linealmente independientes u1 =x1 u 2 =x2 − u3 =x3 −  u n = xn − x2 , u1 u1 , u1 x3 , u1 u1 , u1 xn , u1 u1 , u1 u1 u1 − x3 , u 2 u2 , u2 u1 − −  u2 xn , u n − 1 un − , un − 1 1 un− 1 ALGEBRA LINEAL 18
    • Ortogonalización de Gram-Schmidt Entonces: (i ) span { x1 ,  , xn } = span { u1 ,  , un } (ii ) { u1 ,  , un } es ortogonal ALGEBRA LINEAL 19
    • Matrices ortogonales Amxn  a11  =  a  m1 a12  am 2  a1n       amn   Matrices ortogonales  Anxn; inversa A-1: A A-1 = A-1A = I.  A’ transpuesta de A.  Qnxn es ortogonal si Q’Q = QQ’ = I. (las columnas de una matriz ortogonal son vectores ortonormales) ALGEBRA LINEAL 20
    • Matrices ortogonales Propiedades x, y ∈ p; Q matriz ortogonal (i ) Qx, Qy = x, y (ii ) x ⊥ y ⇒ Qx ⊥ Qy (iii ) Qx = x y Qy Qx x ALGEBRA LINEAL 21
    • Autovalores y autovectores Anxn; λ autovalor de A ⇔ ∃ x ≠ 0 tal que Ax = λ x x es autovector asociado a λ x ∃x ≠ 0, Ax − λ x = 0 ⇔ ∃x ≠ 0, Ax − λ Ix = 0 ⇔ ∃x ≠ 0, ( A − λ I ) x = 0 ⇔ A−λ I = 0 Polinomio característico Ecuación característica ALGEBRA LINEAL 22
    • Autovalores y autovectores Ejemplo Autovalores y autovectores de  1 − 5 A= −5 1     ALGEBRA LINEAL 23
    • Autovalores y autovectores Propiedades (i ) λ 1+ λ 2 +  + λn = trA λ1 ≠ λ2 , x1 con autovalor λ1  (ii )  ⇒ x1 y x2 son l.i. x2 con autovalor λ2  Diagonalización de matrices Anxn simétrica ⇔ A = A' ⇔ aij = a ji Anxn  a11   a12 =   a  1n  a1n            ann   a12 ALGEBRA LINEAL 24
    • Autovalores y autovectores: diagonalización Si A simétrica entonces existen autovalores reales λ 1, , λ n con autovectores asociados e1 , , en ortonormales tales que Anxn    e1 =    e2  λ 1   en     0  λ2 0       λ n   P D A=PDP’, siendo D diagonal y P ortogonal        e1 ' e2 '  en ' P’ (Toda matriz simétrica es diagonalizable) ALGEBRA LINEAL 25
    • Autovalores y autovectores: diagonalización Ejemplo Diagonalizar  3 A= − 2  − 2   2  ALGEBRA LINEAL 26
    • Autovalores y autovectores: representación espectral Sea Anxn  a11   a12 =   a  1n  a1n      .      ann   a12 Si A es simétrica entonces existen autovalores reales λ 1, , λ n con autovectores ortonormales e1 ,  , en ' ' ' tales que A = λ 1e1e1 + λ 2 e2 e2 +  + λ n en en . ALGEBRA LINEAL 27
    • Autovalores y autovectores: representación espectral Ejemplo Descomposición espectral de  9 − 2 A= − 2 6     ALGEBRA LINEAL 28
    • Formas cuadráticas  x1    n x=   x ∈ℜ , Anxn simétrica; f(x)=x’ A x es una forma cuadrática  xn    ⇓ a12  a1n  x1       x2  f ( x) = ( x1 x2    =       ann  xn    2 = a11 x12 +  + ann xn + a12 x1 x2 +  + aij xi x j +  + an −1n xn −1 xn = n n  a11   a21  xn )    a  n1 n n n = ∑∑ aij xi x j = ∑ a x + 2∑∑ aij xi x j i =1 j =1 i =1 2 ij i i =1 j =1 i< j ALGEBRA LINEAL 29
    • Formas cuadráticas Ejemplo Expresar matricialmente la forma cuadrática 2 2 f ( x1 , x2 , x3 ) = 5 x12 − 2 x2 + 3x3 − 6 x1 x2 + 4 x1 x3 − 5 x2 x3 Escribir en forma cuadrática f ( x1 , x2 ) = ( x1  1 2  x1  x2 )   2 − 2  x      2  ALGEBRA LINEAL 30
    • Formas cuadráticas Como Anxn es simétrica, es diagonalizable, se puede escribir A = PDP’ y, por tanto, queda: f(x) = x’PDP’x. Haciendo y = P’x: 0   y1  n λ 1    f ( y ) = y ' Dy = ( y1  yn )     = ∑ λ i yi2 ,   0   y  i =1 λ n  n   se tiene n f ( y ) = ∑ λ i yi2 = λ 1 y12 +  + λ n yn2 . i =1 ALGEBRA LINEAL 31
    • Formas cuadráticas x’Ax=c2 representa geométricamente una elipse ℜ 2 ; los autovalores son λ 1> λ 2 y los autovectores en normalizados son e1 y e2. x' Ax = c 2 x' PDP ' x = c 2 ⇒ λ 1 y12 + λ 2 y22 = c 2 x1 y1 c λ1 e1 y2 e2 x2 c λ2 ALGEBRA LINEAL 32
    • Formas cuadráticas Ejemplo Representar, hallar los ejes y obtener la expresión reducida de ( x1  13 − 5  x1  x2 )   − 5 13  x  = 9     2  ALGEBRA LINEAL 33
    • Formas cuadráticas Clasificación de formas cuadráticas Sea f(x) = x’ A x  f es definida positiva si ∀ x ≠ 0,  f ( x) > 0 ∀ x ∈ n, f ( x) ≥ 0 f es semidefinida positiva si n f es semidefinida negativa si ∀ x ∈ , f ( x) ≤ 0 f es definida negativa si ∀ x ≠ 0, f ( x) < 0  f es indefinida si   ∃ x1 ∈ n y ∃ x2 ∈ n tal que f ( x1 ) > 0 y f ( x2 ) < 0 ALGEBRA LINEAL 34
    • Formas cuadráticas Sean λ 1, , λ n los autovalores de A  f es definida positiva ⇔ λ 1> 0, , λ n > 0  f es semidefinida positiva ⇔ λ 1≥ 0, , λ n ≥ 0  f es semidefinida negativa ⇔ λ 1≤ 0, , λ n ≤ 0  f es definida negativa ⇔ λ 1< 0, , λ n < 0  f es indefinida ⇔ ∃λ i > 0, ∃λ j < 0 ALGEBRA LINEAL 35
    • Raíz cuadrada de una matriz Raíz cuadrada de una matriz: A semidefinida positiva; B es raíz de A si A=BB; B=A1/2 ; A=A1/2 A1/2 Si A es simétrica y A=PDP’ con descomposición espectral entonces: n A = ∑ λ i ei e' i =1 ALGEBRA LINEAL 36
    • Formas cuadráticas Raíz cuadrada de una matriz: Nota: 0  1/ λ 1  A − 1 = P   0 1/ λ   n  1  P' = ∑ ei ei ' i=1 λ i  n 0 λ 1   Sea A = P    P' 0 λ n    λ1 0     P' = ⇒ A1/ 2 = P      0 λ n   n = ∑ λ i ei ei ' i=1 ALGEBRA LINEAL 37
    • Descomposición singular de una matriz Dada la matriz Amxn, AA’ es cuadrada y simétrica; por tanto, diagonalizable. 2 λ i es un valor singular de A, si λ i es autovalor de AA’. Descomposición singular Sea A una matriz mxn; λ 1, , λ k valores singulares de A. Entonces existen matrices ortogonales U y V tales que: 0 λ 1     0  A=U  V 0 λk    0 0   ALGEBRA LINEAL 38
    • Vectores y matrices aleatorias X i variable aleatoria µ i= E( X i ) σ ii = σ i2 = V ( X i ) = E[ X i − E ( X i )]2  X1    X =   X   p Vector aleatorio ;  X 11 X 12  X 1n    Χ=      X X m 2  X mn   m1  Matriz aleatoria 31
    • Vectores y matrices aleatorias Se llama vector de medias a:  µ 1   E( X1)      EX = µ =    =     µ   E( X )  p   p  y covarianza entre dos variables a σ ij = Cov ( X i , X j ) = E[( X i − EX i )( X j − EX j )]. Se define la matriz de covarianzas de X como:  σ11  VX = ∑ = ∑ X =   σ  p1  σ1 p        σ pp  40
    • Vectores y matrices aleatorias  X1   c1      X =   , c =    constantes; EX = µ , VX = Σ. Entonces : X  c   p  p (i ) E (c' X ) = c' µ (ii ) V (c' X ) = c' Σc Cmxp matriz de constantes. Entonces : (i ) E (CX ) = CEX . (ii ) V (CX ) = CΣC '.
    • Vectores y matrices aleatorias Ejemplo  X1  X =  X   2  − 1 µ =  0   Y1 = 2 X 2 − X 1   Y2 = X 1 − X 2 Y = X − 2 X 2 1  3  6 − 2 ∑= − 2 4     ALGEBRA LINEAL 42
    • Vectores y matrices aleatorias Propiedades Sea Xmxn y sean Akxm y Bnxr matrices de constantes. Entonces:  E ( X 11 )   (i ) E ( AX ) = AE ( X ) = A    E( X )  m1  (ii ) E ( AXB ) = AE ( X ) B (iii ) Ymxn ⇒ E ( X + Y ) = E ( X ) + E (Y ) E ( X 1n )     E ( X mn )   43
    • Vectores y matrices aleatorias Matriz de correlaciones 1   r21 ρ =   r  p1 r12 1  rp 2     r1 p   r2 p  ,   1   σij rij = ; σii σ jj donde ρ = V −1/ 2 ∑V −1/ 2 , en forma matricial: donde V es la matriz de varianzas: σ11  V =  0  0  σ12     = σ pp   0   0     2 σp   44
    • Vectores y matrices aleatorias  X1        X   (1)  r  = X  X =  X r +1   X ( 2 )          X   p  Partición de un vector aleatorio  X1    Sea X =    ; X   p  µ (1)   Vector de medias: µ =  ( 2 )  µ     ∑11 ∑12   , donde ∑=  Matriz de covarianzas: ∑ ∑22   21  ∑11 = V ( X (1) ) ∑22 = V ( X ( 2 ) ) (1) ( 2) ∑12 = ∑'21 = Cov ( X (1) , X ( 2 ) ) = Cov ( X i , X j ) 45
    • Matriz de datos Objeto_1 Objeto_n  x11   x21 x  31   x  n1 x12 x22 x32  x13 x23 x33  xn 2 xn 3 n Variable_11 ∑ xi x1 = i =1 n  x1 p    x2 p   x3 p  = X nxp      xnp   en ℜ p n  Variable_p ∑ xip xp = i =1 n 46
    • Matriz de datos  x1     Vector de medias: x =    x   p  s11   Matriz de varianzas y covarianzas: S n =   n s donde sij = ∑( xki − xi )( xkj − x j ) / n  p1 k= 1  Matriz de correlaciones: R = Vn  s11  Vn =  0   −1 / 2 S n Vn −1 / 2  s1 p       s pp   , donde 0    s pp   47
    • EJEMPLOS 48
    • EJEMPLOS 49
    • EJEMPLOS 50
    • EJEMPLOS 51
    • EJEMPLOS 52
    • EJEMPLOS 53
    • EJEMPLOS 54
    • Matriz de datos Proposición  X1    Dado X =    ; X 1 , X 2 ,  , X n X  n  p X = (i ) ∑X E( X ) = µ (ii ) V ( X ) = ∑/ n n −1 (iii ) E ( S n ) = ∑ n i =1 i.i.d . ; i n 55
    • Matriz de datos La matriz de datos se puede representar como:  Diagrama de dispersión, n puntos en el espacio p=2 p=3 x2 x1 ℜ p x3 x2 x1 Como para p>3 no es posible representarlo, se utilizan diagramas de dispersión múltiple con pares de variables. 56
    • Matriz de datos  Considerando las columnas en vez de la filas de la matriz de datos, es decir, p puntos en Objeto_1  x11 x12 x13  x1 p  Objeto_n   x21 x  31   x  n1 x22 x32  xn 2 x23 x33  xn 3      x2 p  x3 p  = X nxp    xnp   Y1 Y2 Y3 Yp Para cuatro variables: Variable_1 Variable_p  x11  X =  x21 x  31 Y1 x12 x13 x22 x32 x23 x33 Y2 Y3 x14   x24  x34   Y4 Y1 n en ℜp Y4 Y3 Y2 57
    • Matriz de datos Vector de unos: Propiedades  1= 1   nx1 =    n unos 1   1 n y forma el mismo ángulo con todos los ejes.  1/ n es el vector unitario que forma el mismo ángulo en todas las direcciones. 58
    • Matriz de datos  Proyección de un vector sobre el vector n pr1 ( yi ) = yi ,1 1,1 1= ∑x j =1 ij n 1:  xi    ⋅1 = xi 1 =    x   i yi 1 xi 1 59
    • Matriz de datos Vector de desviaciones a la media:  x1i − xi   x1i  1       d i =    =    − xi    x − x  x  1  ni i   ni    60
    • Matriz de datos Entonces: • • d i = ( x1i − xi ) + ... + ( xni − xi ) ⇒ d i 2 2 2 = nsii n d i , d j = ∑ ( xki − xi )( xkj − x j ) = nsij k =1 • cos(d i , d j ) = di , d j di d j = nsij nsii ns jj = sij sii s jj = rij 61
    • Matriz de datos Varianza generalizada y varianza total:  X1   µ1   σ 11  σ 1 p        X =    ; µ = E( X ) =    ; ∑ =      X  µ  σ  σ  pp   p  p  p1 62
    • Matriz de datos  Varianza generalizada de X: ∑ = det(∑)  Varianza total de X: traza (∑) = σ11 +  + σ pp  Varianza generalizada muestral:  Varianza total muestral: S n = det( S n ) traza ( S n ) = s11 +  + s pp 63
    • Matriz de datos Interpretación geométrica  Área = 2 = d1 d 2 senθ = ns11 ns22 1 − cos 2 θ = n s11s22 (1 − r12 ) = n | S n | p  Varianza generalizada en Volumen 2 Sn = np 64
    • EJEMPLOS 65
    • EJEMPLOS 66
    • EJEMPLOS 67
    • Matriz de datos Combinaciones lineales de las componentes de una variable  X1   x1   s11  s1 p   c1   b1            X =   ; x =   ; S n =     ; c =   ; b =    X  x  s  s  c  b  pp   p  p  p1  p  p c' X = c1 X 1 +  + c p X p y las combinaciones lineales: b' X = b X +  + b X 1 1 p p  Media muestral de c’X: c' x  Varianza muestral de c’X: c' S n c  Covarianza muestral de c’X y b’X: c' S nb 68
    • Matriz de datos Ejemplo 2  3 X = 2  4  0 1  1 0 1 0  1 0   X1    X =  X2  X   3 c' X = 2 X 1 − 3 X 2 b' X = X 1 − 2 X 3 ALGEBRA LINEAL 69
    • EJEMPLOS 70
    • EJEMPLOS 71
    • EJEMPLOS 72
    • EJEMPLOS 73
    • EJEMPLOS 74
    • EJEMPLOS 75
    • EJEMPLOS 76