Máquinas de vectores de soporte
Upcoming SlideShare
Loading in...5
×
 

Máquinas de vectores de soporte

on

  • 215 views

Autores: Luciano Lorenti - María Emilia Charnelli. Trabajo Final para la cátedra Minería de Datos usando Sistemas Inteligentes de la Facultad de Informática - UNLP.

Autores: Luciano Lorenti - María Emilia Charnelli. Trabajo Final para la cátedra Minería de Datos usando Sistemas Inteligentes de la Facultad de Informática - UNLP.

Statistics

Views

Total Views
215
Views on SlideShare
214
Embed Views
1

Actions

Likes
0
Downloads
0
Comments
0

1 Embed 1

https://twitter.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution-ShareAlike LicenseCC Attribution-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Máquinas de vectores de soporte Máquinas de vectores de soporte Presentation Transcript

    • MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Charnelli Mar´ Emilia, Lorenti Luciano ıa Facultad de Inform´tica - UNLP a 4 de diciembre de 2013 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Contenidos MVS Charnelli, Lorenti Clasificaci´n Lineal o Clasificaci´n Lineal o Hiperplano separador Notaci´n o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Definiciones Margen Funcional ´ Hiperplano Separador Optimo Distancia del punto m´s cercano al plano a Formulaci´n del problema o Soluci´n del problema o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • MVS Clasificaci´n lineal o Charnelli, Lorenti Clasificaci´n Lineal o n Se utiliza una funci´n lineal f : X ∈ o → . La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase positiva si f (x) ≥ 0, Hiperplano separador Notaci´n o M´quinas de a vectores de soporte La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase negativa si f (x) < 0, Definiciones Margen Funcional Hiperplano Separador ´ Optimo f (x) es una funci´n lineal de x ∈ X , por lo tanto lo podemos o escribir de la siguiente manera: Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o n f (x) =< w , x > +b = wi xi + b i=1
    • Hiperplano separador MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Una interpretaci´n geom´trica de ´ste tipo de hip´tesis es o e e o que el espacio de entrada X est´ dividido en dos partes por a el hiperplano. Un hiperplano es un subespacio af´ de dimensi´n n − 1 que ın o divide el espacio en dos mitades. Para representar todos los posibles hiperplanos de n se requieren n + 1 par´metros: a n par´metros que definen al vector normal a un par´metro por b. a Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • MVS Notaci´n o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador T´ ıpicamente usamos X para denotar el espacio de entrada e Y para denotar el dominio de salida. Usualmente X ∈ n . Y = {−1, 1}, S = {(x1 , y1 ), · · · , (x , y )} ⊆ (X × Y ) donde es la cantidad de ejemplos. Nos referimos a los xi como ejemplos, instancias o patrones y a los yi como sus etiquetas o clases. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Margen Funcional MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definimos el margen (funcional) del par (xi , yi ) con respecto al hiperplano (w , b) a la cantidad: Definiciones Margen Funcional Hiperplano Separador ´ Optimo λi = yi (< w .xi > +b) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Historia MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Las M´quinas de Soporte Vectorial (en ingl´s Support a e Vector Machines) fueron propuestas por Vladimir Vapnik en 1992. M´todo de clasificaci´n supervisada cuyo objetivo es e o determinar la frontera ´ptima entre dos grupos de o patrones, pudiendo extenderse a un n´mero mayor. u Determinan el hiperplano que maximiza la distancia m´ ınima ( o margen geom´trico ) entre los ejemplos del e conjunto de datos y el hiperplano. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Objetivo de la MVS El objetivo de las m´quinas de soporte vectorial es encontrar a el par (w , b) que no s´lo clasifique correctamente el o conjunto de muestras sino que alcance el m´ximo margen a posible. Dicho margen puede ser visto como la distancia del plano al punto m´s cercano. a MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Figura : Hiperplano separador obtenido con la MVS
    • ´ Hiperplano Separador Optimo MVS Charnelli, Lorenti Dada la evaluaci´n del punto m´s cercano en el plano o a < w , xn > +b = d Podemos obtener los par´metros del hiperplano para d = 1. a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo w1 x1 + w2 x2 + · · · wn xn + b = d Dividiendo todo por d’ w1 w w b x1 + 2 x2 + · · · n xn + =1 d d d d w1 x1 + w2 x2 + · · · wn xn + b = 1 < w , xn > +b = 1 Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • MVS Distancia del punto m´s cercano al plano a Charnelli, Lorenti Sea xn el punto mas cercano al plano y x un punto sobre el plano, la distancia entre xn y el plano definido por (w , b) est´ dada por: a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Debido a que estamos utilizando el plano normalizado < w , xn > +b = 1 Entonces | < w , xn > +b| |w | 1 = |w | distancia = (1) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Formulaci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Encontrar el vector w que maximiza el margen geom´trico e con la restricci´n que si xn es el punto m´s cercano entonces o a | < w , xn > +b| = 1 1 ||w || Sujeto a m´ ın Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Maximizar n=1,2,··· ,N M´quinas de a vectores de soporte | < w , xn > +b| = 1
    • MVS Formulaci´n del problema o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o EL problema de minimizaci´n queda entonces o 1 Minimizar < w , w > 2 Sujeto a yn (< w , xn > +b) ≥ 1 w∈ d yb∈ M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo para n = 1, 2, · · · , N Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Soluci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Al tener restricciones con desigualdad no es posible utilizar los multiplicadores de Lagrange. Existe una generalizaci´n del m´todo que permite o e utilizar Lagrange con desigualdades. El teorema de Karush-Khun-Tucker. M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • Soluci´n del problema - KKT o MVS Charnelli, Lorenti Para poder expresar el problema de forma equivalente utilizando el teorema de Karush-Khun-Tucker Tomar la restricci´n de desigualdad y ponerla en forma o cero. yn (< w , xn > +b) − 1 ≥ 0 Se resta la funci´n de restricci´n multiplicada por los o o multiplicadores de Lagrange en forma cero a la funci´n o objetivo. Minimizar: L(w , b, α) = 1 < w, w > − 2 N αn (yn (< w , xn > +b) − 1) n=1 Con respecto a w y b y maximizando con respecto a αn ≥ 0 Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
    • MVS Soluci´n del problema - KKT o Charnelli, Lorenti Se calculan las derivadas parciales de la funci´n con o respecto a w y a b Clasificaci´n Lineal o Hiperplano separador N wL = w − Notaci´n o αn yn xn = 0 (2) n=1 ∂L =− ∂b N αn y n = 0 (3) n=1 Sustituir estas condiciones en el Lagrangiano original L(α) = − 1 2 N N N αn αm yn ym < xn , xm > + n=1 m=1 αn n=1 Ahora podemos maximizar L con respecto a α sujeto a que: N αn ≥ 0 para n = 1, · · · , N, y αn yn = 0. n=1 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o