MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

M´quinas de vectores de soporte
a
Charnelli ...
Contenidos

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o

Clasificaci´n Lineal
o

Hiperplano
separador
Notaci´n
o

Hiperpla...
MVS

Clasificaci´n lineal
o

Charnelli, Lorenti
Clasificaci´n Lineal
o

n

Se utiliza una funci´n lineal f : X ∈
o

→

.

La...
Hiperplano separador

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

Una interpretaci´n geom´trica de ...
MVS

Notaci´n
o

Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

T´
ıpicamente usamos X para denotar el esp...
Margen Funcional

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de s...
Historia

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador

Las M´quinas de Soporte Vectorial (en ingl´s ...
Objetivo de la MVS
El objetivo de las m´quinas de soporte vectorial es encontrar
a
el par (w , b) que no s´lo clasifique co...
´
Hiperplano Separador Optimo

MVS
Charnelli, Lorenti

Dada la evaluaci´n del punto m´s cercano en el plano
o
a
< w , xn >...
MVS

Distancia del punto m´s cercano al plano
a

Charnelli, Lorenti

Sea xn el punto mas cercano al plano y x un punto sob...
Formulaci´n del problema
o

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

Encontrar el vec...
MVS

Formulaci´n del problema
o

Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

EL problema de ...
Soluci´n del problema
o

MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o

Al tener restriccio...
Soluci´n del problema - KKT
o

MVS
Charnelli, Lorenti

Para poder expresar el problema de forma equivalente
utilizando el ...
MVS

Soluci´n del problema - KKT
o

Charnelli, Lorenti

Se calculan las derivadas parciales de la funci´n con
o
respecto a...
Upcoming SlideShare
Loading in …5
×

Máquinas de vectores de soporte

487 views
408 views

Published on

Autores: Luciano Lorenti - María Emilia Charnelli. Trabajo Final para la cátedra Minería de Datos usando Sistemas Inteligentes de la Facultad de Informática - UNLP.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
487
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Máquinas de vectores de soporte

  1. 1. MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Charnelli Mar´ Emilia, Lorenti Luciano ıa Facultad de Inform´tica - UNLP a 4 de diciembre de 2013 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  2. 2. Contenidos MVS Charnelli, Lorenti Clasificaci´n Lineal o Clasificaci´n Lineal o Hiperplano separador Notaci´n o Hiperplano separador Notaci´n o M´quinas de vectores de soporte a Definiciones Margen Funcional ´ Hiperplano Separador Optimo Distancia del punto m´s cercano al plano a Formulaci´n del problema o Soluci´n del problema o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  3. 3. MVS Clasificaci´n lineal o Charnelli, Lorenti Clasificaci´n Lineal o n Se utiliza una funci´n lineal f : X ∈ o → . La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase positiva si f (x) ≥ 0, Hiperplano separador Notaci´n o M´quinas de a vectores de soporte La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase negativa si f (x) < 0, Definiciones Margen Funcional Hiperplano Separador ´ Optimo f (x) es una funci´n lineal de x ∈ X , por lo tanto lo podemos o escribir de la siguiente manera: Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o n f (x) =< w , x > +b = wi xi + b i=1
  4. 4. Hiperplano separador MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Una interpretaci´n geom´trica de ´ste tipo de hip´tesis es o e e o que el espacio de entrada X est´ dividido en dos partes por a el hiperplano. Un hiperplano es un subespacio af´ de dimensi´n n − 1 que ın o divide el espacio en dos mitades. Para representar todos los posibles hiperplanos de n se requieren n + 1 par´metros: a n par´metros que definen al vector normal a un par´metro por b. a Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  5. 5. MVS Notaci´n o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador T´ ıpicamente usamos X para denotar el espacio de entrada e Y para denotar el dominio de salida. Usualmente X ∈ n . Y = {−1, 1}, S = {(x1 , y1 ), · · · , (x , y )} ⊆ (X × Y ) donde es la cantidad de ejemplos. Nos referimos a los xi como ejemplos, instancias o patrones y a los yi como sus etiquetas o clases. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  6. 6. Margen Funcional MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definimos el margen (funcional) del par (xi , yi ) con respecto al hiperplano (w , b) a la cantidad: Definiciones Margen Funcional Hiperplano Separador ´ Optimo λi = yi (< w .xi > +b) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  7. 7. Historia MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Las M´quinas de Soporte Vectorial (en ingl´s Support a e Vector Machines) fueron propuestas por Vladimir Vapnik en 1992. M´todo de clasificaci´n supervisada cuyo objetivo es e o determinar la frontera ´ptima entre dos grupos de o patrones, pudiendo extenderse a un n´mero mayor. u Determinan el hiperplano que maximiza la distancia m´ ınima ( o margen geom´trico ) entre los ejemplos del e conjunto de datos y el hiperplano. Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  8. 8. Objetivo de la MVS El objetivo de las m´quinas de soporte vectorial es encontrar a el par (w , b) que no s´lo clasifique correctamente el o conjunto de muestras sino que alcance el m´ximo margen a posible. Dicho margen puede ser visto como la distancia del plano al punto m´s cercano. a MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Figura : Hiperplano separador obtenido con la MVS
  9. 9. ´ Hiperplano Separador Optimo MVS Charnelli, Lorenti Dada la evaluaci´n del punto m´s cercano en el plano o a < w , xn > +b = d Podemos obtener los par´metros del hiperplano para d = 1. a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo w1 x1 + w2 x2 + · · · wn xn + b = d Dividiendo todo por d’ w1 w w b x1 + 2 x2 + · · · n xn + =1 d d d d w1 x1 + w2 x2 + · · · wn xn + b = 1 < w , xn > +b = 1 Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  10. 10. MVS Distancia del punto m´s cercano al plano a Charnelli, Lorenti Sea xn el punto mas cercano al plano y x un punto sobre el plano, la distancia entre xn y el plano definido por (w , b) est´ dada por: a Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Debido a que estamos utilizando el plano normalizado < w , xn > +b = 1 Entonces | < w , xn > +b| |w | 1 = |w | distancia = (1) Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  11. 11. Formulaci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Encontrar el vector w que maximiza el margen geom´trico e con la restricci´n que si xn es el punto m´s cercano entonces o a | < w , xn > +b| = 1 1 ||w || Sujeto a m´ ın Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o Maximizar n=1,2,··· ,N M´quinas de a vectores de soporte | < w , xn > +b| = 1
  12. 12. MVS Formulaci´n del problema o Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o EL problema de minimizaci´n queda entonces o 1 Minimizar < w , w > 2 Sujeto a yn (< w , xn > +b) ≥ 1 w∈ d yb∈ M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo para n = 1, 2, · · · , N Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  13. 13. Soluci´n del problema o MVS Charnelli, Lorenti Clasificaci´n Lineal o Hiperplano separador Notaci´n o Al tener restricciones con desigualdad no es posible utilizar los multiplicadores de Lagrange. Existe una generalizaci´n del m´todo que permite o e utilizar Lagrange con desigualdades. El teorema de Karush-Khun-Tucker. M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  14. 14. Soluci´n del problema - KKT o MVS Charnelli, Lorenti Para poder expresar el problema de forma equivalente utilizando el teorema de Karush-Khun-Tucker Tomar la restricci´n de desigualdad y ponerla en forma o cero. yn (< w , xn > +b) − 1 ≥ 0 Se resta la funci´n de restricci´n multiplicada por los o o multiplicadores de Lagrange en forma cero a la funci´n o objetivo. Minimizar: L(w , b, α) = 1 < w, w > − 2 N αn (yn (< w , xn > +b) − 1) n=1 Con respecto a w y b y maximizando con respecto a αn ≥ 0 Clasificaci´n Lineal o Hiperplano separador Notaci´n o M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o
  15. 15. MVS Soluci´n del problema - KKT o Charnelli, Lorenti Se calculan las derivadas parciales de la funci´n con o respecto a w y a b Clasificaci´n Lineal o Hiperplano separador N wL = w − Notaci´n o αn yn xn = 0 (2) n=1 ∂L =− ∂b N αn y n = 0 (3) n=1 Sustituir estas condiciones en el Lagrangiano original L(α) = − 1 2 N N N αn αm yn ym < xn , xm > + n=1 m=1 αn n=1 Ahora podemos maximizar L con respecto a α sujeto a que: N αn ≥ 0 para n = 1, · · · , N, y αn yn = 0. n=1 M´quinas de a vectores de soporte Definiciones Margen Funcional Hiperplano Separador ´ Optimo Distancia del punto m´s cercano al plano a Formulaci´n del o problema Soluci´n del problema o

×