Autores: Luciano Lorenti - María Emilia Charnelli. Trabajo Final para la cátedra Minería de Datos usando Sistemas Inteligentes de la Facultad de Informática - UNLP.

1. MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de vectores de soporte
a
Charnelli Mar´ Emilia, Lorenti Luciano
ıa
Facultad de Inform´tica - UNLP
a
4 de diciembre de 2013
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

2. Contenidos
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
Hiperplano separador
Notaci´n
o
M´quinas de vectores de soporte
a
Definiciones
Margen Funcional
´
Hiperplano Separador Optimo
Distancia del punto m´s cercano al plano
a
Formulaci´n del problema
o
Soluci´n del problema
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

3. MVS
Clasificaci´n lineal
o
Charnelli, Lorenti
Clasificaci´n Lineal
o
n
Se utiliza una funci´n lineal f : X ∈
o
→
.
La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase
positiva si f (x) ≥ 0,
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
La entrada x = (x1 , x2 , ..., xn ) es asignada a la clase
negativa si f (x) < 0,
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
f (x) es una funci´n lineal de x ∈ X , por lo tanto lo podemos
o
escribir de la siguiente manera:
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o
n
f (x) =< w , x > +b =
wi xi + b
i=1

4. Hiperplano separador
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Una interpretaci´n geom´trica de ´ste tipo de hip´tesis es
o
e
e
o
que el espacio de entrada X est´ dividido en dos partes por
a
el hiperplano.
Un hiperplano es un subespacio af´ de dimensi´n n − 1 que
ın
o
divide el espacio en dos mitades.
Para representar todos los posibles hiperplanos de n se
requieren n + 1 par´metros:
a
n par´metros que definen al vector normal
a
un par´metro por b.
a
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

5. MVS
Notaci´n
o
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
T´
ıpicamente usamos X para denotar el espacio de entrada e
Y para denotar el dominio de salida. Usualmente X ∈ n .
Y = {−1, 1},
S = {(x1 , y1 ), · · · , (x , y )} ⊆ (X × Y )
donde es la cantidad de ejemplos. Nos referimos a los xi
como ejemplos, instancias o patrones y a los yi como sus
etiquetas o clases.
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

6. Margen Funcional
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
Definimos el margen (funcional) del par (xi , yi ) con respecto
al hiperplano (w , b) a la cantidad:
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
λi = yi (< w .xi > +b)
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

7. Historia
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Las M´quinas de Soporte Vectorial (en ingl´s Support
a
e
Vector Machines) fueron propuestas por Vladimir
Vapnik en 1992.
M´todo de clasificaci´n supervisada cuyo objetivo es
e
o
determinar la frontera ´ptima entre dos grupos de
o
patrones, pudiendo extenderse a un n´mero mayor.
u
Determinan el hiperplano que maximiza la distancia
m´
ınima ( o margen geom´trico ) entre los ejemplos del
e
conjunto de datos y el hiperplano.
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

8. Objetivo de la MVS
El objetivo de las m´quinas de soporte vectorial es encontrar
a
el par (w , b) que no s´lo clasifique correctamente el
o
conjunto de muestras sino que alcance el m´ximo margen
a
posible. Dicho margen puede ser visto como la distancia del
plano al punto m´s cercano.
a
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o
Figura : Hiperplano separador obtenido con la MVS

9. ´
Hiperplano Separador Optimo
MVS
Charnelli, Lorenti
Dada la evaluaci´n del punto m´s cercano en el plano
o
a
< w , xn > +b = d
Podemos obtener los par´metros del hiperplano para d = 1.
a
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
w1 x1 + w2 x2 + · · · wn xn + b = d
Dividiendo todo por d’
w1
w
w
b
x1 + 2 x2 + · · · n xn +
=1
d
d
d
d
w1 x1 + w2 x2 + · · · wn xn + b = 1
< w , xn > +b = 1
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

10. MVS
Distancia del punto m´s cercano al plano
a
Charnelli, Lorenti
Sea xn el punto mas cercano al plano y x un punto sobre el
plano, la distancia entre xn y el plano definido por (w , b)
est´ dada por:
a
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Debido a que estamos utilizando el plano normalizado
< w , xn > +b = 1
Entonces
| < w , xn > +b|
|w |
1
=
|w |
distancia =
(1)
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

11. Formulaci´n del problema
o
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
Encontrar el vector w que maximiza el margen geom´trico
e
con la restricci´n que si xn es el punto m´s cercano entonces
o
a
| < w , xn > +b| = 1
1
||w ||
Sujeto a
m´
ın
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o
Maximizar
n=1,2,··· ,N
M´quinas de
a
vectores de soporte
| < w , xn > +b| = 1

12. MVS
Formulaci´n del problema
o
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
EL problema de minimizaci´n queda entonces
o
1
Minimizar < w , w >
2
Sujeto a yn (< w , xn > +b) ≥ 1
w∈
d
yb∈
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
para n = 1, 2, · · · , N
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

13. Soluci´n del problema
o
MVS
Charnelli, Lorenti
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
Al tener restricciones con desigualdad no es posible
utilizar los multiplicadores de Lagrange.
Existe una generalizaci´n del m´todo que permite
o
e
utilizar Lagrange con desigualdades. El teorema de
Karush-Khun-Tucker.
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

14. Soluci´n del problema - KKT
o
MVS
Charnelli, Lorenti
Para poder expresar el problema de forma equivalente
utilizando el teorema de Karush-Khun-Tucker
Tomar la restricci´n de desigualdad y ponerla en forma
o
cero.
yn (< w , xn > +b) − 1 ≥ 0
Se resta la funci´n de restricci´n multiplicada por los
o
o
multiplicadores de Lagrange en forma cero a la funci´n
o
objetivo. Minimizar:
L(w , b, α) =
1
< w, w > −
2
N
αn (yn (< w , xn > +b) − 1)
n=1
Con respecto a w y b y maximizando con respecto a
αn ≥ 0
Clasificaci´n Lineal
o
Hiperplano
separador
Notaci´n
o
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o

15. MVS
Soluci´n del problema - KKT
o
Charnelli, Lorenti
Se calculan las derivadas parciales de la funci´n con
o
respecto a w y a b
Clasificaci´n Lineal
o
Hiperplano
separador
N
wL = w −
Notaci´n
o
αn yn xn = 0
(2)
n=1
∂L
=−
∂b
N
αn y n = 0
(3)
n=1
Sustituir estas condiciones en el Lagrangiano original
L(α) = −
1
2
N
N
N
αn αm yn ym < xn , xm > +
n=1 m=1
αn
n=1
Ahora podemos maximizar L con respecto a α sujeto a que:
N
αn ≥ 0 para n = 1, · · · , N, y
αn yn = 0.
n=1
M´quinas de
a
vectores de soporte
Definiciones
Margen Funcional
Hiperplano Separador
´
Optimo
Distancia del punto
m´s cercano al plano
a
Formulaci´n del
o
problema
Soluci´n del problema
o