Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

M´quinas de vectores de soporte
a
Charnelli ...
Contenidos

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o

Clasificaci´n Lineal
o

Hiperplano
separador
Notaci´n
o

Hiperpla...
MVS

Clasificaci´n lineal
o

Charnelli, Lorenti
Clasificaci´n Lineal
o

n

Se utiliza una funci´n lineal f : X ∈
o

→

.

La...
Hiperplano separador

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

Una interpretaci´n geom´trica de ...
MVS

Notaci´n
o

Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

T´
ıpicamente usamos X para denotar el esp...
Margen Funcional

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de s...
Historia

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

Las M´quinas de Soporte Vectorial (en ingl´s ...
Objetivo de la MVS
El objetivo de las m´quinas de soporte vectorial es encontrar
a
el par (w , b) que no s´lo clasifique co...
´
Hiperplano Separador Optimo

MVS
Charnelli, Lorenti

Dada la evaluaci´n del punto m´s cercano en el plano
o
a
< w , xn >...
MVS

Distancia del punto m´s cercano al plano
a

Charnelli, Lorenti

Sea xn el punto mas cercano al plano y x un punto sob...
Formulaci´n del problema
o

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

Encontrar el vec...
MVS

Formulaci´n del problema
o

Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

EL problema de ...
Soluci´n del problema
o

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

Al tener restriccio...
Soluci´n del problema - KKT
o

MVS
Charnelli, Lorenti

Para poder expresar el problema de forma equivalente
utilizando el ...
MVS

Soluci´n del problema - KKT
o

Charnelli, Lorenti

Se calculan las derivadas parciales de la funci´n con
o
respecto a...
Upcoming SlideShare
Loading in …5
×

Máquinas de vectores de soporte

867 views

Published on

Autores: Luciano Lorenti - María Emilia Charnelli. Trabajo Final para la cátedra Minería de Datos usando Sistemas Inteligentes de la Facultad de Informática - UNLP.

Published in: Education
  • Be the first to comment

  • Be the first to like this

Máquinas de vectores de soporte

  1. 1. MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Charnelli Mar´ Emilia, Lorenti Luciano ıa Facultad de Inform´tica - UNLP a 4 de diciembre de 2013 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  2. 2. Contenidos MVS Charnelli, Lorenti Clasificaci´n Lineal o Clasificaci´n Lineal o Hiperplano separador Notaci´n o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Definiciones Margen Funcional ´ Hiperplano Separador Optimo Distancia del punto m´s cercano al plano a Formulaci´n del problema o Soluci´n del problema o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  3. 3. MVS Clasificaci´n lineal o Charnelli, Lorenti Clasificaci´n Lineal o n Se utiliza una funci´n lineal f : X ∈ o → . La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase positiva si f (x) ≥ 0, Hiperplano separador Notaci´n o M´quinas de a vectores de soporte La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase negativa si f (x) < 0, Definiciones Margen Funcional Hiperplano Separador ´ Optimo f (x) es una funci´n lineal de x ∈ X , por lo tanto lo podemos o escribir de la siguiente manera: Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o n f (x) =< w , x > +b = wi xi + b i=1
  4. 4. Hiperplano separador MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Una interpretaci´n geom´trica de ´ste tipo de hip´tesis es o e e o que el espacio de entrada X est´ dividido en dos partes por a el hiperplano. Un hiperplano es un subespacio af´ de dimensi´n n − 1 que ın o divide el espacio en dos mitades. Para representar todos los posibles hiperplanos de n se requieren n + 1 par´metros: a n par´metros que definen al vector normal a un par´metro por b. a Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  5. 5. MVS Notaci´n o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador T´ ıpicamente usamos X para denotar el espacio de entrada e Y para denotar el dominio de salida. Usualmente X ∈ n . Y = {−1, 1}, S = {(x1 , y1 ), · · · , (x , y )} ⊆ (X × Y ) donde es la cantidad de ejemplos. Nos referimos a los xi como ejemplos, instancias o patrones y a los yi como sus etiquetas o clases. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  6. 6. Margen Funcional MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definimos el margen (funcional) del par (xi , yi ) con respecto al hiperplano (w , b) a la cantidad: Definiciones Margen Funcional Hiperplano Separador ´ Optimo λi = yi (< w .xi > +b) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  7. 7. Historia MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Las M´quinas de Soporte Vectorial (en ingl´s Support a e Vector Machines) fueron propuestas por Vladimir Vapnik en 1992. M´todo de clasificaci´n supervisada cuyo objetivo es e o determinar la frontera ´ptima entre dos grupos de o patrones, pudiendo extenderse a un n´mero mayor. u Determinan el hiperplano que maximiza la distancia m´ ınima ( o margen geom´trico ) entre los ejemplos del e conjunto de datos y el hiperplano. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  8. 8. Objetivo de la MVS El objetivo de las m´quinas de soporte vectorial es encontrar a el par (w , b) que no s´lo clasifique correctamente el o conjunto de muestras sino que alcance el m´ximo margen a posible. Dicho margen puede ser visto como la distancia del plano al punto m´s cercano. a MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Figura : Hiperplano separador obtenido con la MVS
  9. 9. ´ Hiperplano Separador Optimo MVS Charnelli, Lorenti Dada la evaluaci´n del punto m´s cercano en el plano o a < w , xn > +b = d Podemos obtener los par´metros del hiperplano para d = 1. a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo w1 x1 + w2 x2 + · · · wn xn + b = d Dividiendo todo por d’ w1 w w b x1 + 2 x2 + · · · n xn + =1 d d d d w1 x1 + w2 x2 + · · · wn xn + b = 1 < w , xn > +b = 1 Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  10. 10. MVS Distancia del punto m´s cercano al plano a Charnelli, Lorenti Sea xn el punto mas cercano al plano y x un punto sobre el plano, la distancia entre xn y el plano definido por (w , b) est´ dada por: a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Debido a que estamos utilizando el plano normalizado < w , xn > +b = 1 Entonces | < w , xn > +b| |w | 1 = |w | distancia = (1) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  11. 11. Formulaci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Encontrar el vector w que maximiza el margen geom´trico e con la restricci´n que si xn es el punto m´s cercano entonces o a | < w , xn > +b| = 1 1 ||w || Sujeto a m´ ın Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Maximizar n=1,2,··· ,N M´quinas de a vectores de soporte | < w , xn > +b| = 1
  12. 12. MVS Formulaci´n del problema o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o EL problema de minimizaci´n queda entonces o 1 Minimizar < w , w > 2 Sujeto a yn (< w , xn > +b) ≥ 1 w∈ d yb∈ M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo para n = 1, 2, · · · , N Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  13. 13. Soluci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Al tener restricciones con desigualdad no es posible utilizar los multiplicadores de Lagrange. Existe una generalizaci´n del m´todo que permite o e utilizar Lagrange con desigualdades. El teorema de Karush-Khun-Tucker. M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  14. 14. Soluci´n del problema - KKT o MVS Charnelli, Lorenti Para poder expresar el problema de forma equivalente utilizando el teorema de Karush-Khun-Tucker Tomar la restricci´n de desigualdad y ponerla en forma o cero. yn (< w , xn > +b) − 1 ≥ 0 Se resta la funci´n de restricci´n multiplicada por los o o multiplicadores de Lagrange en forma cero a la funci´n o objetivo. Minimizar: L(w , b, α) = 1 < w, w > − 2 N αn (yn (< w , xn > +b) − 1) n=1 Con respecto a w y b y maximizando con respecto a αn ≥ 0 Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  15. 15. MVS Soluci´n del problema - KKT o Charnelli, Lorenti Se calculan las derivadas parciales de la funci´n con o respecto a w y a b Clasificaci´n Lineal o Hiperplano separador N wL = w − Notaci´n o αn yn xn = 0 (2) n=1 ∂L =− ∂b N αn y n = 0 (3) n=1 Sustituir estas condiciones en el Lagrangiano original L(α) = − 1 2 N N N αn αm yn ym < xn , xm > + n=1 m=1 αn n=1 Ahora podemos maximizar L con respecto a α sujeto a que: N αn ≥ 0 para n = 1, · · · , N, y αn yn = 0. n=1 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o

×