1 algebra lineal y vectores aleatorios

265 views
212 views

Published on

algebra

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
265
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

1 algebra lineal y vectores aleatorios

  1. 1. ANÁLISIS MULTIVARIANTE INTRODUCCIÓN         1. Álgebra lineal y vectores aleatorios         2. Distribución normal multivariante   ANÁLISIS DE LA MATRIZ DE COVARIANZAS         3. Componentes principales         4. Análisis factorial         5. Correlaciones canónicas   CLASIFICACIÓN         6. Análisis discriminante         7. Análisis de conglomerados 1
  2. 2. 1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS  Vectores      Ortogonalización de Gram-Schmidt      Matrices ortogonales      Autovalores y autovectores      Formas cuadráticas      Vectores y matrices aleatorias      Matriz de datos        2
  3. 3. EJEMPLOS 3
  4. 4. Vectores Matriz de datos: p variables observadas en n objetos Objeto_1 Objeto_n  x11   x21 x  31   x  n1 x12 x22 x32  xn 2 Variable_1 x13 x23 x33  xn 3      x1 p   x2 p  x3 p  = X nxp    xnp   en ℜ Variable_p ALGEBRA LINEAL 4 p
  5. 5. Vectores Dados  x1    x=   x   p  y1    y=   y   p se define: 1. Suma   x1 + y1    x+ y =   x + y  p   p ALGEBRA LINEAL 5
  6. 6. Vectores 2. Producto de un escalar por un vector  c ⋅ x1    c⋅x =    c ⋅ x  p   3. Producto escalar de dos vectores p x • y = x, y = x' y = ∑ xi y i = x1 y1 +  + x p y p i =1 ALGEBRA LINEAL 6
  7. 7. Vectores Propiedades x, ay + bz = a x, y + b x, z x, y = y , x x, x ≥ 0 y x x, x = 0 ⇔ x = 0 4. Norma de un vector x = x ' x = ( x ' x )1 / 2 = p xi2 ∑ i =1 ALGEBRA LINEAL 7 x
  8. 8. Vectores 5. Distancia entre dos vectores y x− y d ( x, y ) = x − y x 6. Ángulo entre dos vectores cosϑ = θ x, y x y θ ϑ x, y = 0 ⇒ cosϑ = 0 ⇒ x ⊥ y θ ALGEBRA LINEAL 8
  9. 9. Vectores Desigualdad de Cauchy-Schwarz  x, y ≤ x y Consecuencia: − x y ≤ x, y ≤ x y −1 ≤ x, y x y ≤1 θ − 1 ≤ cos ϑ ≤ 1 ALGEBRA LINEAL 9
  10. 10. Vectores 7. Ortogonalidad {u1 , u 2 , , u n } es ortogonal si  u i ⊥ u j ∀ i, j 8. Ortonormalidad   { 1 , e 2 ,, e n } es ortonormal si es ortogonal   e y todos los vectores tienen norma 1, es decir,  ei = 1 ∀i ALGEBRA LINEAL 10
  11. 11. Vectores Ejemplo −1   u = 0  2     1    v = 0   −3    (i ) < u , v > (ii ) u (iii ) u ⊥ v ? (iv ) d (u , v ) (v ) cos θ ALGEBRA LINEAL 11
  12. 12. Vectores  Un  conjunto de vectores  { u1 , u 2 ,  , u n } es linealmente independiente si   n ∑c u i =1 i i = 0 ⇒ c1 = c 2 =  = c n =0 (la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0) ALGEBRA LINEAL 12
  13. 13. Vectores Proposición.  Todo conjunto ortogonal de vectores  no nulos es linealmente independiente.  { u1 , u 2 ,, u n } ortogonal ⇒ { u1 , u 2 ,, u n } ⇐ l.i. Demostración c1u1 +  + cn un = 0 u j , c1u1 +  + cnu n = c j u j , u j = 0 u j ,u j ≠ 0 ⇒ cj = 0 ALGEBRA LINEAL 13
  14. 14. Vectores Proyección de x sobre y  pry ( x ) = x, y y, y y = x, y y 2 y ALGEBRA LINEAL 14
  15. 15. Vectores Ejemplo    − 1   x= 0  3   2   y =  − 1 1   pry ( x) ? prx ( y ) ? ALGEBRA LINEAL 15
  16. 16. Ortogonalización de Gram-Schmidt    V⊂ p ;      V subespacio vectorial de  ℜ p si V es espacio vectorial,  ∀ es decir, si   u , v ∈ V y ∀a, b ∈ ℜ ; au + bv ∈ V   Dado    A =  {u1 , u 2 ,  , u n } n span A ≡ ci ui ∑ 1 i =  : ci ∈  ℜ  Propiedades (i ) A ⊂ span A (ii ) span ( A) es un subespacio ALGEBRA LINEAL 16
  17. 17. Ortogonalización de Gram-Schmidt Proposición  v ⊥ ui i = 1,  , n ⇒ ⇒ v ⊥ span { u1,  , un } Demostración u ∈ span { u1 ,  , un } n n i =1 i =1 u , v = v, ∑ ci ui = ∑ ci v, ui = 0 ALGEBRA LINEAL 17
  18. 18. Ortogonalización de Gram-Schmidt Dado un conjunto de vectores l.i., se puede  construir otro conjunto ortogonal que genere el mismo espacio. Sean { x1 , x2 ,  , xn } linealmente independientes u1 =x1 u 2 =x2 − u3 =x3 −  u n = xn − x2 , u1 u1 , u1 x3 , u1 u1 , u1 xn , u1 u1 , u1 u1 u1 − x3 , u 2 u2 , u2 u1 − −  u2 xn , u n − 1 un − , un − 1 1 un− 1 ALGEBRA LINEAL 18
  19. 19. Ortogonalización de Gram-Schmidt Entonces: (i ) span { x1 ,  , xn } = span { u1 ,  , un } (ii ) { u1 ,  , un } es ortogonal ALGEBRA LINEAL 19
  20. 20. Matrices ortogonales Amxn  a11  =  a  m1 a12  am 2  a1n       amn   Matrices ortogonales  Anxn; inversa A-1: A A-1 = A-1A = I.  A’ transpuesta de A.  Qnxn es ortogonal si Q’Q = QQ’ = I. (las columnas de una matriz ortogonal son vectores ortonormales) ALGEBRA LINEAL 20
  21. 21. Matrices ortogonales Propiedades x, y ∈ p; Q matriz ortogonal (i ) Qx, Qy = x, y (ii ) x ⊥ y ⇒ Qx ⊥ Qy (iii ) Qx = x y Qy Qx x ALGEBRA LINEAL 21
  22. 22. Autovalores y autovectores Anxn; λ autovalor de A ⇔ ∃ x ≠ 0 tal que Ax = λ x x es autovector asociado a λ x ∃x ≠ 0, Ax − λ x = 0 ⇔ ∃x ≠ 0, Ax − λ Ix = 0 ⇔ ∃x ≠ 0, ( A − λ I ) x = 0 ⇔ A−λ I = 0 Polinomio característico Ecuación característica ALGEBRA LINEAL 22
  23. 23. Autovalores y autovectores Ejemplo Autovalores y autovectores de  1 − 5 A= −5 1     ALGEBRA LINEAL 23
  24. 24. Autovalores y autovectores Propiedades (i ) λ 1+ λ 2 +  + λn = trA λ1 ≠ λ2 , x1 con autovalor λ1  (ii )  ⇒ x1 y x2 son l.i. x2 con autovalor λ2  Diagonalización de matrices Anxn simétrica ⇔ A = A' ⇔ aij = a ji Anxn  a11   a12 =   a  1n  a1n            ann   a12 ALGEBRA LINEAL 24
  25. 25. Autovalores y autovectores: diagonalización Si A simétrica entonces existen autovalores reales λ 1, , λ n con autovectores asociados e1 , , en ortonormales tales que Anxn    e1 =    e2  λ 1   en     0  λ2 0       λ n   P D A=PDP’, siendo D diagonal y P ortogonal        e1 ' e2 '  en ' P’ (Toda matriz simétrica es diagonalizable) ALGEBRA LINEAL 25
  26. 26. Autovalores y autovectores: diagonalización Ejemplo Diagonalizar  3 A= − 2  − 2   2  ALGEBRA LINEAL 26
  27. 27. Autovalores y autovectores: representación espectral Sea Anxn  a11   a12 =   a  1n  a1n      .      ann   a12 Si A es simétrica entonces existen autovalores reales λ 1, , λ n con autovectores ortonormales e1 ,  , en ' ' ' tales que A = λ 1e1e1 + λ 2 e2 e2 +  + λ n en en . ALGEBRA LINEAL 27
  28. 28. Autovalores y autovectores: representación espectral Ejemplo Descomposición espectral de  9 − 2 A= − 2 6     ALGEBRA LINEAL 28
  29. 29. Formas cuadráticas  x1    n x=   x ∈ℜ , Anxn simétrica; f(x)=x’ A x es una forma cuadrática  xn    ⇓ a12  a1n  x1       x2  f ( x) = ( x1 x2    =       ann  xn    2 = a11 x12 +  + ann xn + a12 x1 x2 +  + aij xi x j +  + an −1n xn −1 xn = n n  a11   a21  xn )    a  n1 n n n = ∑∑ aij xi x j = ∑ a x + 2∑∑ aij xi x j i =1 j =1 i =1 2 ij i i =1 j =1 i< j ALGEBRA LINEAL 29
  30. 30. Formas cuadráticas Ejemplo Expresar matricialmente la forma cuadrática 2 2 f ( x1 , x2 , x3 ) = 5 x12 − 2 x2 + 3x3 − 6 x1 x2 + 4 x1 x3 − 5 x2 x3 Escribir en forma cuadrática f ( x1 , x2 ) = ( x1  1 2  x1  x2 )   2 − 2  x      2  ALGEBRA LINEAL 30
  31. 31. Formas cuadráticas Como Anxn es simétrica, es diagonalizable, se puede escribir A = PDP’ y, por tanto, queda: f(x) = x’PDP’x. Haciendo y = P’x: 0   y1  n λ 1    f ( y ) = y ' Dy = ( y1  yn )     = ∑ λ i yi2 ,   0   y  i =1 λ n  n   se tiene n f ( y ) = ∑ λ i yi2 = λ 1 y12 +  + λ n yn2 . i =1 ALGEBRA LINEAL 31
  32. 32. Formas cuadráticas x’Ax=c2 representa geométricamente una elipse ℜ 2 ; los autovalores son λ 1> λ 2 y los autovectores en normalizados son e1 y e2. x' Ax = c 2 x' PDP ' x = c 2 ⇒ λ 1 y12 + λ 2 y22 = c 2 x1 y1 c λ1 e1 y2 e2 x2 c λ2 ALGEBRA LINEAL 32
  33. 33. Formas cuadráticas Ejemplo Representar, hallar los ejes y obtener la expresión reducida de ( x1  13 − 5  x1  x2 )   − 5 13  x  = 9     2  ALGEBRA LINEAL 33
  34. 34. Formas cuadráticas Clasificación de formas cuadráticas Sea f(x) = x’ A x  f es definida positiva si ∀ x ≠ 0,  f ( x) > 0 ∀ x ∈ n, f ( x) ≥ 0 f es semidefinida positiva si n f es semidefinida negativa si ∀ x ∈ , f ( x) ≤ 0 f es definida negativa si ∀ x ≠ 0, f ( x) < 0  f es indefinida si   ∃ x1 ∈ n y ∃ x2 ∈ n tal que f ( x1 ) > 0 y f ( x2 ) < 0 ALGEBRA LINEAL 34
  35. 35. Formas cuadráticas Sean λ 1, , λ n los autovalores de A  f es definida positiva ⇔ λ 1> 0, , λ n > 0  f es semidefinida positiva ⇔ λ 1≥ 0, , λ n ≥ 0  f es semidefinida negativa ⇔ λ 1≤ 0, , λ n ≤ 0  f es definida negativa ⇔ λ 1< 0, , λ n < 0  f es indefinida ⇔ ∃λ i > 0, ∃λ j < 0 ALGEBRA LINEAL 35
  36. 36. Raíz cuadrada de una matriz Raíz cuadrada de una matriz: A semidefinida positiva; B es raíz de A si A=BB; B=A1/2 ; A=A1/2 A1/2 Si A es simétrica y A=PDP’ con descomposición espectral entonces: n A = ∑ λ i ei e' i =1 ALGEBRA LINEAL 36
  37. 37. Formas cuadráticas Raíz cuadrada de una matriz: Nota: 0  1/ λ 1  A − 1 = P   0 1/ λ   n  1  P' = ∑ ei ei ' i=1 λ i  n 0 λ 1   Sea A = P    P' 0 λ n    λ1 0     P' = ⇒ A1/ 2 = P      0 λ n   n = ∑ λ i ei ei ' i=1 ALGEBRA LINEAL 37
  38. 38. Descomposición singular de una matriz Dada la matriz Amxn, AA’ es cuadrada y simétrica; por tanto, diagonalizable. 2 λ i es un valor singular de A, si λ i es autovalor de AA’. Descomposición singular Sea A una matriz mxn; λ 1, , λ k valores singulares de A. Entonces existen matrices ortogonales U y V tales que: 0 λ 1     0  A=U  V 0 λk    0 0   ALGEBRA LINEAL 38
  39. 39. Vectores y matrices aleatorias X i variable aleatoria µ i= E( X i ) σ ii = σ i2 = V ( X i ) = E[ X i − E ( X i )]2  X1    X =   X   p Vector aleatorio ;  X 11 X 12  X 1n    Χ=      X X m 2  X mn   m1  Matriz aleatoria 31
  40. 40. Vectores y matrices aleatorias Se llama vector de medias a:  µ 1   E( X1)      EX = µ =    =     µ   E( X )  p   p  y covarianza entre dos variables a σ ij = Cov ( X i , X j ) = E[( X i − EX i )( X j − EX j )]. Se define la matriz de covarianzas de X como:  σ11  VX = ∑ = ∑ X =   σ  p1  σ1 p        σ pp  40
  41. 41. Vectores y matrices aleatorias  X1   c1      X =   , c =    constantes; EX = µ , VX = Σ. Entonces : X  c   p  p (i ) E (c' X ) = c' µ (ii ) V (c' X ) = c' Σc Cmxp matriz de constantes. Entonces : (i ) E (CX ) = CEX . (ii ) V (CX ) = CΣC '.
  42. 42. Vectores y matrices aleatorias Ejemplo  X1  X =  X   2  − 1 µ =  0   Y1 = 2 X 2 − X 1   Y2 = X 1 − X 2 Y = X − 2 X 2 1  3  6 − 2 ∑= − 2 4     ALGEBRA LINEAL 42
  43. 43. Vectores y matrices aleatorias Propiedades Sea Xmxn y sean Akxm y Bnxr matrices de constantes. Entonces:  E ( X 11 )   (i ) E ( AX ) = AE ( X ) = A    E( X )  m1  (ii ) E ( AXB ) = AE ( X ) B (iii ) Ymxn ⇒ E ( X + Y ) = E ( X ) + E (Y ) E ( X 1n )     E ( X mn )   43
  44. 44. Vectores y matrices aleatorias Matriz de correlaciones 1   r21 ρ =   r  p1 r12 1  rp 2     r1 p   r2 p  ,   1   σij rij = ; σii σ jj donde ρ = V −1/ 2 ∑V −1/ 2 , en forma matricial: donde V es la matriz de varianzas: σ11  V =  0  0  σ12     = σ pp   0   0     2 σp   44
  45. 45. Vectores y matrices aleatorias  X1        X   (1)  r  = X  X =  X r +1   X ( 2 )          X   p  Partición de un vector aleatorio  X1    Sea X =    ; X   p  µ (1)   Vector de medias: µ =  ( 2 )  µ     ∑11 ∑12   , donde ∑=  Matriz de covarianzas: ∑ ∑22   21  ∑11 = V ( X (1) ) ∑22 = V ( X ( 2 ) ) (1) ( 2) ∑12 = ∑'21 = Cov ( X (1) , X ( 2 ) ) = Cov ( X i , X j ) 45
  46. 46. Matriz de datos Objeto_1 Objeto_n  x11   x21 x  31   x  n1 x12 x22 x32  x13 x23 x33  xn 2 xn 3 n Variable_11 ∑ xi x1 = i =1 n  x1 p    x2 p   x3 p  = X nxp      xnp   en ℜ p n  Variable_p ∑ xip xp = i =1 n 46
  47. 47. Matriz de datos  x1     Vector de medias: x =    x   p  s11   Matriz de varianzas y covarianzas: S n =   n s donde sij = ∑( xki − xi )( xkj − x j ) / n  p1 k= 1  Matriz de correlaciones: R = Vn  s11  Vn =  0   −1 / 2 S n Vn −1 / 2  s1 p       s pp   , donde 0    s pp   47
  48. 48. EJEMPLOS 48
  49. 49. EJEMPLOS 49
  50. 50. EJEMPLOS 50
  51. 51. EJEMPLOS 51
  52. 52. EJEMPLOS 52
  53. 53. EJEMPLOS 53
  54. 54. EJEMPLOS 54
  55. 55. Matriz de datos Proposición  X1    Dado X =    ; X 1 , X 2 ,  , X n X  n  p X = (i ) ∑X E( X ) = µ (ii ) V ( X ) = ∑/ n n −1 (iii ) E ( S n ) = ∑ n i =1 i.i.d . ; i n 55
  56. 56. Matriz de datos La matriz de datos se puede representar como:  Diagrama de dispersión, n puntos en el espacio p=2 p=3 x2 x1 ℜ p x3 x2 x1 Como para p>3 no es posible representarlo, se utilizan diagramas de dispersión múltiple con pares de variables. 56
  57. 57. Matriz de datos  Considerando las columnas en vez de la filas de la matriz de datos, es decir, p puntos en Objeto_1  x11 x12 x13  x1 p  Objeto_n   x21 x  31   x  n1 x22 x32  xn 2 x23 x33  xn 3      x2 p  x3 p  = X nxp    xnp   Y1 Y2 Y3 Yp Para cuatro variables: Variable_1 Variable_p  x11  X =  x21 x  31 Y1 x12 x13 x22 x32 x23 x33 Y2 Y3 x14   x24  x34   Y4 Y1 n en ℜp Y4 Y3 Y2 57
  58. 58. Matriz de datos Vector de unos: Propiedades  1= 1   nx1 =    n unos 1   1 n y forma el mismo ángulo con todos los ejes.  1/ n es el vector unitario que forma el mismo ángulo en todas las direcciones. 58
  59. 59. Matriz de datos  Proyección de un vector sobre el vector n pr1 ( yi ) = yi ,1 1,1 1= ∑x j =1 ij n 1:  xi    ⋅1 = xi 1 =    x   i yi 1 xi 1 59
  60. 60. Matriz de datos Vector de desviaciones a la media:  x1i − xi   x1i  1       d i =    =    − xi    x − x  x  1  ni i   ni    60
  61. 61. Matriz de datos Entonces: • • d i = ( x1i − xi ) + ... + ( xni − xi ) ⇒ d i 2 2 2 = nsii n d i , d j = ∑ ( xki − xi )( xkj − x j ) = nsij k =1 • cos(d i , d j ) = di , d j di d j = nsij nsii ns jj = sij sii s jj = rij 61
  62. 62. Matriz de datos Varianza generalizada y varianza total:  X1   µ1   σ 11  σ 1 p        X =    ; µ = E( X ) =    ; ∑ =      X  µ  σ  σ  pp   p  p  p1 62
  63. 63. Matriz de datos  Varianza generalizada de X: ∑ = det(∑)  Varianza total de X: traza (∑) = σ11 +  + σ pp  Varianza generalizada muestral:  Varianza total muestral: S n = det( S n ) traza ( S n ) = s11 +  + s pp 63
  64. 64. Matriz de datos Interpretación geométrica  Área = 2 = d1 d 2 senθ = ns11 ns22 1 − cos 2 θ = n s11s22 (1 − r12 ) = n | S n | p  Varianza generalizada en Volumen 2 Sn = np 64
  65. 65. EJEMPLOS 65
  66. 66. EJEMPLOS 66
  67. 67. EJEMPLOS 67
  68. 68. Matriz de datos Combinaciones lineales de las componentes de una variable  X1   x1   s11  s1 p   c1   b1            X =   ; x =   ; S n =     ; c =   ; b =    X  x  s  s  c  b  pp   p  p  p1  p  p c' X = c1 X 1 +  + c p X p y las combinaciones lineales: b' X = b X +  + b X 1 1 p p  Media muestral de c’X: c' x  Varianza muestral de c’X: c' S n c  Covarianza muestral de c’X y b’X: c' S nb 68
  69. 69. Matriz de datos Ejemplo 2  3 X = 2  4  0 1  1 0 1 0  1 0   X1    X =  X2  X   3 c' X = 2 X 1 − 3 X 2 b' X = X 1 − 2 X 3 ALGEBRA LINEAL 69
  70. 70. EJEMPLOS 70
  71. 71. EJEMPLOS 71
  72. 72. EJEMPLOS 72
  73. 73. EJEMPLOS 73
  74. 74. EJEMPLOS 74
  75. 75. EJEMPLOS 75
  76. 76. EJEMPLOS 76

×