������� �����[��������*�]
������� ������������[�����������������������]�
������� � = ����[������[��������������������]� {����� ����}]
������� {{������ �� �����}� {�������� �� ������}� {����� �� �����}� {�������� �� �������}� {������ �� �������}� {�������� �� �������}�
{������� �� -������}� {������� �� �������}� {����� �� �����}� {������� �� �������}� {������ �� -������}� {�������� �� -������}�
{������� �� �������}� {������ �� �������}� {������� �� �������}� {������� �� ������}� {������� �� ������}�
{������� �� ������}� {������� �� ������}� {������ �� ������}� {������ �� �������}� {������� �� �������}� {������ �� �����}�
{�������� �� -�������}� {������� �� -������}� {������ �� �����}� {������ �� -������}� {������ �� -������}� {������� �� �����}�
{�������� �� �������}� {������ �� ������}� {�������� �� -�������}� {������ �� �����}� {������� �� -������}�
{������� �� ������}� {�������� �� -�������}� {������� �� -�������}� {�������� �� -�������}� {������ �� �����}�
{������ �� ������}� {�������� �� -�������}� {������� �� �������}� {������ �� ������}� {������ �� �����}� {������� �� -�������}�
{������ �� �����}� {������� �� �}� {������� �� ������}� {������� �� ������}� {������ �� -�������}� {������� �� ������}}
������� � = ���������[�]�
������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]�
������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]�
������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]�
�������� ��� = �[[�]]
�������� {������ �������� ����� �������� ������ �������� ������� ������� ����� ������� ������ ��������
������� ������ ������� ������� ������� ������� ������� ������ ������ ������� ������ �������� �������
������ ������ ������ ������� �������� ������ �������� ������ ������� ������� �������� ������� ��������
������ ������ �������� ������� ������ ������ ������� ������ ������� ������� ������� ������ ������}
�������� ��� = �[[�]]
�������� {�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ��
�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �}
�������� ���� = �[[�]]
�������� {������ ������� ������ �������� �������� �������� -������� �������� ������ �������� -������� -������� ��������
�������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������
-������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -��������
������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������}
�������� �[�����������[���� ���]]
�������� -���������
�������� ��������[����]
��������
10 20 30 40 50
-50
50
100
�������� �� = �����[�����] �����[��� ����] - �����[��� ���] �����[��� ����]
�������� ������� × ���
�������� ��� = �����[�����] �����[�����] - �����[��� ���]��
�������� ������� × ���
�������� ��� = �[�� / ���]
�������� ���������
��������
�������� �� = �����[�����] �����[��� ����] - �����[��� ���] �����[��� ����]
�������� ������ × ���
�������� ��� = �����[�����] �����[�����] - �����[��� ���]��
�������� ������� × ���
�������� ��� = �[�� / ���]
�������� �������
��������
�������� � = �[����[����] - ��� ����[���] - ��� ����[���]]
�������� -�������
��������� � = ��� ��� + ��� ��� + �
��������� {�������� �������� �������� �������� �������� �������� �������� �������� -�������� �������� �������� �������� ��������
�������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ������� �������� ��������
�������� �������� �������� �������� ��������� �������� �������� ��������� �������� �������� �������� �������� -��������
�������� �������� �������� �������� ��������� �������� ������� �������� �������� �������� �������� -��������}
��������
�������� {��������[���]� ��������[���]� ��������[����]� ��������[�]}
�������� 
10 20 30 40 50
100
200
300
400
500
600
�
10 20 30 40 50
2
4
6
8
�
10 20 30 40 50
-50
50
100
�
10 20 30 40 50
5
10
15
20
25

�������� ��������[{����� �}� ����������� → ���������� ��������� → {����� ���}]
�������� ●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■■
■■
■
■
■
■
■
■■
■■
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■
■■
■■
■
■
10 20 30 40 50
-20
20
40
�������� ������� ������ �������
�������� ������� ������� ������
�������� ����������
�������� ���� = �����������[��� - ���]
�������� {��� ���� ��� ����� ��� ���� ���� ���� �� ���� �� ���� ���� ��� ��� ��� ��� ��� ��� ��� ��� ���� ��� ����
�� ��� �� �� ���� ���� ��� ���� ��� ��� �� ���� ��� ���� ��� ��� ���� ���� ��� ��� ��� ��� ���� ���� ��� �� ��}
�������� ����������
�������� ���������[��� - ���]
��������
0 500 1000
0
5
10
15
20
25
30
35
�������� ��������� � � ���� �� ����������
�������� ���� = �����
��������
�[�����[����� �_ /� -���� < � < ����] / ����������[����][[�]]]
�������� ��������
�������� ���� � � ��������� ������� �� ���������
�������� � ������� ��������� � ���� �� ���������
��������
�������� = �������[��������[����� �_ /� -���� < � < ����]]
�������� {�� �� �� �� �� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ���
��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��}
�������� ����� = ���
�������� ���
�������� �������
2��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
�������� ������� = ���[[#]] � /@ ��������
�������� {������ �������� ����� ������ �������� ������� ������� ����� ������� ������ �������� �������
������ ������� ������� ������� ������� ������� ������ ������ ������� ������ �������� ������� ������
������ ������ ������� �������� ������ �������� ������ ������� ������� �������� ������� ��������
������ ������ �������� ������� ������ ������ ������� ������ ������� ������� ������� ������ ������}
�������� ������� = ���[[#]] � /@ ��������
�������� {�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ��
�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �}
�������� ��� = �������� = ����[[#]] � /@ ��������
�������� {������ ������� ������ �������� �������� -������� �������� ������ �������� -������� -������� ��������
�������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������
-������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -��������
������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������}
�������� ������ =
�[����[�����������������[{���[[#]]� ����[[#]]}� {���[[#]]� ����[[#]]}] / �����] � /@ �����[�� {�� �� ����������[���][[�]]� �}]]
�������� {��������� ������� ��������� ������� ��������� �������� �������� ������� ��������� �������� ���������� �������� ��������
��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ���������
�������� ��������� ���������� ��������� ��������� ��������� �������� ��������� ��������� ��������� �������� ��������� ��������
��������� ��������� �������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ��������� ��������� ��������}
�������� � ������ ���� �� ����������� ��� ������� �� ������� ��� ��� ������ ������� ������ !!�
������ � � ����� �� ���� ��� �� ����������
�������� �� ��������� ���� ����������� ��� �� ��� ��� � ����� ������ ���������� ����� ���������� ��� ��
�������� ���������� = �[����[�����������������[{���[[#]]� ����[[#]]}� {���[[#]]� ����[[#]]}] / �����] � /@ ��������]
�������� {��������� ������� ��������� ��������� �������� �������� ������� ��������� �������� ���������� �������� �������� ���������
��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������
��������� ���������� ��������� ��������� ��������� �������� ��������� ��������� ��������� �������� ��������� �������� ���������
��������� �������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ��������� ��������� ��������}
�������� ��������[����������]
��������
0.0
0.5
1.0
1.5
2.0
�������� ��������� ���� ����������� ���� � �������
�� �� ��� �� ���� ��������� ��� �� ��� � ��������� ��� �������
������ �� �������� ������� ��� ����� ��������������
��������
� = �������[��������[����������� �_ /� � < ��]]
�������� {�� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��}
�������� ��������[{���[[#]] � /@ �� ���[[#]] � /@ �}]
��������
5 10 15 20 25 30
50
100
150
200
250
300
350
�������� ����������
�������� ��������
��� ���� ������� ���������
���� ��� � ������ ���������� �� � ��� ��� � ������� �� ������� ���������
SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���3
�������� ��������
�������� ��������
�������� ������ = �����[���������] �����[������� ��������] - �����[������� �������] �����[������� ��������]
�������� -������� × ���
�������� ������� = �����[���������] �����[���������] - �����[������� �������]��
�������� ������� × ���
�������� ������� = �[������ / �������]
�������� -���������
�������� ������ = �����[���������] �����[������� ��������] - �����[������� �������] �����[������� ��������]
�������� ������� × ���
�������� ������� = �����[���������] �����[���������] - �����[������� �������]��
�������� ������� × ���
�������� ������� = �[������ / �������]
�������� �������
�������� ����� = �[����[��������] - ������� ����[�������] - ������� ����[�������]]
�������� -�������
�������� �������� =
(�[������� �������] + �[������� �������] + �[�����]) / ((������� ������� + ������� ������� + �����) - ��������) /� {�� → ����}
�������� {�������� ��������� -������� -��������� ��������� -�������� -��������� -��������� ����������
�������� -�������� ��������� ������� -��������� �������� �������� -�������� �������� �������� ��������
-��������� -�������� ���������� ��������� -��������� ��������� ��������� -���������� -��������� -��������
-��������� �������� ��������� �������� -�������� ��������� ��������� ��������� -��������� -���������
-��������� -�������� -�������� ��������� �������� ����� -���������� �������� ��������� ���������}
�������� �� = ���[�������� - �������� �������� ����������] /� {�� → ����}
�������� {�������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ������� �������� ��������
�������� ��������� ��������� �������� ���������� �������� �������� �������� �������� �������� �������� ��������
�������� ������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ��������
�������� �������� �������� �������� �������� �������� �������� �������� ����� �������� �������� �������� �������}
�������� ������������� �� �������� � ��� - ������
�������� ������� = ��������[[��������[��� ���[��]][[�]][[�]]]]
�������� �������
�������� ���� = �����
�������� ����������[{������������[{��������� ���� = (��� �������� ����������)}�
������������������ → �� ��������� → ���� ��������� → {���� ����}� ����������� → {������� ����������}]�
(����������[����][[�]] �����[# ����] - �����[#] �����[����]) / ����[(����������[����][[�]] �����[#��] - �����[#]��)
(����������[����][[�]] �����[������] - �����[����]��)] � /@ {��������}}� {{���� ����� ��������}� -��� ��� ���}]
��������
������

10 20 30 40 50
-60
-40
-20
20
40
60
80
VI19
function
� {�������}
�������� ��������� = (���� �������� ����������)
�������� {�������� �������� �������� �������� �������� -�������� �������� ��������� �������� -���������� -�������� �������� ��������
�������� �������� ��������� �������� �������� �������� �������� �������� �������� -�������� -��������� ��������
-�������� -��������� �������� �������� �������� -�������� �������� -�������� �������� -�������� -�������� -��������
�������� ������� -�������� �������� �������� �������� -�������� �������� ��� �������� ��������� -�������� �������}
4��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
��������� {��������[{����� �}� ����������� → ���������� ��������� → ����
��������� → {{�� ����������[���������][[�]] + �}� {-���� ���}}� ��������� → {����� ���}]�
��������[{��������� ���������}� ��������� → {{�� ����������[���������][[�]] + �}� {-���� ���}}� ��������� → ����
��������� → �������� �������� ����������� → ���������� ��������� → {����� ���}]}
���������  ●
●
●
●
●
●
●
●
● ●●
●
●
●
●
●●●●●
●
●
●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
■ ■
■
■
■ ■ ■
■
■
■
■ ■ ■
■
■ ■
■ ■ ■ ■
■ ■
■ ■
■
■ ■ ■ ■
■
■
■
■
■
■ ■ ■
■
■
■ ■
■
■ ■ ■
■ ■ ■ ■ ■ ■
10 20 30 40 50
-150
-100
-50
50
100
150
� ●
●
●●
●
●
●
● ●●
●
●
●
●
●●●●●
●
●
●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
■
■
■ ■
■
■
■
■ ■ ■
■
■
■
■ ■ ■ ■ ■ ■
■
■
■
■
■
■ ■
■
■
■ ■
■ ■
■
■
■
■
■
■
■
■ ■ ■
■ ■
■
■ ■
■
10 20 30 40 50
-150
-100
-50
50
100
150
SUPPORT VECTOR

�������� {��������[{���� - �}� ������������������ → �� ��������� → ���� ��������� → {{�� ����������[�������][[�]]}� {-��� ��}}]�
��������[{�������� - ���������}� ������������������ → ��
��������� → ���� ��������� → {{�� ����������[�������][[�]]}� {-��� ��}}]}
�������� 
10 20 30 40 50
-30
-20
-10
0
10
20
30
�
10 20 30 40 50
-30
-20
-10
0
10
20
30

�������� {��������[{������ ����������[��]� �����[{�������[[#]]� ��������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]�
��������[{������ ����������[��]� �����[{�������[[#]]� ��������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]}
��������  � 
�������� {��������[{������ ����������[��]� �����[{�������[[#]]� ���������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]�
��������[{������ ����������[��]� �����[{�������[[#]]� ���������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]}
��������  � 
��������
�������� ��������� �� ������ ��������� � ��������������
SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���5
��������� ����������[{������������[{�������� �������� �� = (���� ���� (-����������)) - (���� ���� (-����������) - ������� - �������) / ����
�� = (���� ���� ����������) - (���� ���� ���������� - ������� - �������) / ���}� ������������������ → ��
��������� → ���� ��������� → {{������ ���}� {������ ����}� ������ ����}� ������� -> {� → {{�}� ������}}�
��������� → {{�� ����������[�������][[�]]}� {-��� ���}}� ����������� → {������ ������ ����������}]
}� {{����� ������ ������}� -��� ���� ���}� {{���� ����� ���������}� -��� ���� ���}]
���������
����
�������

10 20 30 40 50
100
200
300
400
500
600
VI1
VI2
function

�������� �������
�������� ������������[{��� ��}� ����������� → {����� ����}]
��������
10 20 30 40 50
50
100
150
200
f4
f5
�������� �[��������[#] � /@ {���� ���� ����}]
�������� {�� ������ �������� �������}
�������� ��� = ��������
�������� {������ ������� ������ �������� �������� -������� �������� ������ �������� -������� -������� ��������
�������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������
-������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -��������
������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������}
�������� ��������� ����� �� ��������� ������ � �� ������� ������ ��������
�������� �������� � � ������ ����� ��� �� ���������� � ��� � �������
�������� {����[����[���[���� - �]]]� ����[����[���[��� - ���������]]]}
�������� {�������� �������}
�������� ���� ����� �� ��������
������ � ���������� = ����� ������ ���������� ��� ��������� ������ ��� ����������� ������� ������ �������� �����������
�������� �[�����������[#� ����] � /@ {���� ���}]
�������� {���������� ��������}
��������
� ���������
�������� ����������
�������� (����������[�][[�]] �����[# �] - �����[#] �����[�]) /
����[(����������[�][[�]] �����[#��] - �����[#]��) (����������[�][[�]] �����[���] - �����[�]��)] � /@ {����}
�������� {��������}
�������� ����
6��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
�������� (����������[���][[�]] �����[# ���] - �����[#] �����[���]) /
����[(����������[���][[�]] �����[#��] - �����[#]��) (����������[���][[�]] �����[�����] - �����[���]��)] � /@ {���������}
�������� {�������}
�������� ���������
�������� ���������
�������� ��� � ����� �������
�������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}]
�������� {{�������� �������}� {�������� �� ����}}
�������� ����� ��
�������� �[{����[#] � /@ {����� �}� ����[#] � /@ {��������� ���������}}]
�������� {{�������� �������}� {�������� �������}}
�������� {����[���� - �]� ����[�������� - ���������]}
�������� -������� × ��-��
� �������
�������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}]
�������� {{-��������� ��������}� {-�������� -�������}}
�������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}]
�������� {{�������� �������}� {�������� �������}}
�������� �����������[����� �]
�������� ��������
�������� {�����������[��������� ���������]}
�������� {�������}
�������� {�����������������[����� �]� �����������������[��������� ���������]}
�������� {�������� �������}
�������� {�������������[���� - �� ��������� → ��� ��������� → ������� ������������ ��������� → ���������[���������[�����]� ���]�
���� → ���� ��������� → ���]� �������������[�������� - ���������� ��������� → �������� ��������
��������� → ��� ��������� → ���������[���������[�����]� ����]� ���� → ���� ��������� → ���]}
�������� 
-40 -20 20 40
-40
-20
20
40
LINEAR REGRESSION
�
-40 -20 20 40
-40
-20
20
40
SUPPORT VECTOR

�������� {��������[{����� �����[����[�]� {����������[����][[�]]}]}� ����������� → ���������� ��������� → ����
��������� → {{�� ����������[���������][[�]]}� {-���� ���}}� ��������� → ������� ������������ ��������� → {����� ���}]�
��������[{��������� ���������}� ��������� → �������� �������� ��������� → {{�� ����������[���������][[�]]}� {-���� ���}}�
��������� → ���� ����������� → ���������� ��������� → {����� ���}]}
��������  ●
●
●
●
●
●
●
●
● ●●
●
●
●
●
●●●●●
●
●
●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■
10 20 30 40 50
-150
-100
-50
50
100
150
LINEAR REGRESSION
� ●
●
●●
●
●
●
● ●●
●
●
●
●
●●●●●
●
●
●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
■
■
■ ■
■
■
■
■ ■ ■
■
■
■
■ ■ ■ ■ ■ ■
■
■
■
■
■
■ ■
■
■
■ ■
■ ■
■
■
■
■
■
■
■
■ ■ ■
■ ■
■
■ ■
■
10 20 30 40 50
-150
-100
-50
50
100
150
SUPPORT VECTOR

�������� � = �����[�� {�� �� ����������[�������][[�]]� �}]
�������� {�� �� �� �� �� �� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ���
��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��}
�������� ����� �� ��� �����������
SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���7
�������� ����������[{{�� �� �������}� {�� �� �������}� {�� �� ��}}� ��������� → ���]
��������
�������� ����������[{{�� �� ��������}� {�� �� ���������}}� ��������� → ���]
��������
8��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb

Support Vector Machines - Wolfram Mathematica

  • 1.
    ������� �����[��������*�] ������� ������������[�����������������������]� �������� = ����[������[��������������������]� {����� ����}] ������� {{������ �� �����}� {�������� �� ������}� {����� �� �����}� {�������� �� �������}� {������ �� �������}� {�������� �� �������}� {������� �� -������}� {������� �� �������}� {����� �� �����}� {������� �� �������}� {������ �� -������}� {�������� �� -������}� {������� �� �������}� {������ �� �������}� {������� �� �������}� {������� �� ������}� {������� �� ������}� {������� �� ������}� {������� �� ������}� {������ �� ������}� {������ �� �������}� {������� �� �������}� {������ �� �����}� {�������� �� -�������}� {������� �� -������}� {������ �� �����}� {������ �� -������}� {������ �� -������}� {������� �� �����}� {�������� �� �������}� {������ �� ������}� {�������� �� -�������}� {������ �� �����}� {������� �� -������}� {������� �� ������}� {�������� �� -�������}� {������� �� -�������}� {�������� �� -�������}� {������ �� �����}� {������ �� ������}� {�������� �� -�������}� {������� �� �������}� {������ �� ������}� {������ �� �����}� {������� �� -�������}� {������ �� �����}� {������� �� �}� {������� �� ������}� {������� �� ������}� {������ �� -�������}� {������� �� ������}} ������� � = ���������[�]� ������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]� ������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]� ������� ��� = ��[�[[�]][[#]] > � �����������������[�[[�]]]� ����[�[[�]]]� �[[�]][[#]]] � /@ �����[�� {�� �� ����������[�][[�]]� �}]� �������� ��� = �[[�]] �������� {������ �������� ����� �������� ������ �������� ������� ������� ����� ������� ������ �������� ������� ������ ������� ������� ������� ������� ������� ������ ������ ������� ������ �������� ������� ������ ������ ������ ������� �������� ������ �������� ������ ������� ������� �������� ������� �������� ������ ������ �������� ������� ������ ������ ������� ������ ������� ������� ������� ������ ������} �������� ��� = �[[�]] �������� {�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �} �������� ���� = �[[�]] �������� {������ ������� ������ �������� �������� �������� -������� �������� ������ �������� -������� -������� �������� �������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������ -������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -�������� ������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������} �������� �[�����������[���� ���]] �������� -��������� �������� ��������[����] �������� 10 20 30 40 50 -50 50 100 �������� �� = �����[�����] �����[��� ����] - �����[��� ���] �����[��� ����] �������� ������� × ��� �������� ��� = �����[�����] �����[�����] - �����[��� ���]�� �������� ������� × ��� �������� ��� = �[�� / ���] �������� ��������� �������� �������� �� = �����[�����] �����[��� ����] - �����[��� ���] �����[��� ����] �������� ������ × ��� �������� ��� = �����[�����] �����[�����] - �����[��� ���]�� �������� ������� × ��� �������� ��� = �[�� / ���] �������� ������� �������� �������� � = �[����[����] - ��� ����[���] - ��� ����[���]] �������� -�������
  • 2.
    ��������� � =��� ��� + ��� ��� + � ��������� {�������� �������� �������� �������� �������� �������� �������� �������� -�������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ������� �������� �������� �������� �������� �������� �������� ��������� �������� �������� ��������� �������� �������� �������� �������� -�������� �������� �������� �������� �������� ��������� �������� ������� �������� �������� �������� �������� -��������} �������� �������� {��������[���]� ��������[���]� ��������[����]� ��������[�]} ��������  10 20 30 40 50 100 200 300 400 500 600 � 10 20 30 40 50 2 4 6 8 � 10 20 30 40 50 -50 50 100 � 10 20 30 40 50 5 10 15 20 25  �������� ��������[{����� �}� ����������� → ���������� ��������� → {����� ���}] �������� ● ● ● ● ● ● ● ●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■ 10 20 30 40 50 -20 20 40 �������� ������� ������ ������� �������� ������� ������� ������ �������� ���������� �������� ���� = �����������[��� - ���] �������� {��� ���� ��� ����� ��� ���� ���� ���� �� ���� �� ���� ���� ��� ��� ��� ��� ��� ��� ��� ��� ���� ��� ���� �� ��� �� �� ���� ���� ��� ���� ��� ��� �� ���� ��� ���� ��� ��� ���� ���� ��� ��� ��� ��� ���� ���� ��� �� ��} �������� ���������� �������� ���������[��� - ���] �������� 0 500 1000 0 5 10 15 20 25 30 35 �������� ��������� � � ���� �� ���������� �������� ���� = ����� �������� �[�����[����� �_ /� -���� < � < ����] / ����������[����][[�]]] �������� �������� �������� ���� � � ��������� ������� �� ��������� �������� � ������� ��������� � ���� �� ��������� �������� �������� = �������[��������[����� �_ /� -���� < � < ����]] �������� {�� �� �� �� �� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��} �������� ����� = ��� �������� ��� �������� ������� 2��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
  • 3.
    �������� ������� =���[[#]] � /@ �������� �������� {������ �������� ����� ������ �������� ������� ������� ����� ������� ������ �������� ������� ������ ������� ������� ������� ������� ������� ������ ������ ������� ������ �������� ������� ������ ������ ������ ������� �������� ������ �������� ������ ������� ������� �������� ������� �������� ������ ������ �������� ������� ������ ������ ������� ������ ������� ������� ������� ������ ������} �������� ������� = ���[[#]] � /@ �������� �������� {�� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �} �������� ��� = �������� = ����[[#]] � /@ �������� �������� {������ ������� ������ �������� �������� -������� �������� ������ �������� -������� -������� �������� �������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������ -������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -�������� ������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������} �������� ������ = �[����[�����������������[{���[[#]]� ����[[#]]}� {���[[#]]� ����[[#]]}] / �����] � /@ �����[�� {�� �� ����������[���][[�]]� �}]] �������� {��������� ������� ��������� ������� ��������� �������� �������� ������� ��������� �������� ���������� �������� �������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ���������� ��������� ��������� ��������� �������� ��������� ��������� ��������� �������� ��������� �������� ��������� ��������� �������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ��������� ��������� ��������} �������� � ������ ���� �� ����������� ��� ������� �� ������� ��� ��� ������ ������� ������ !!� ������ � � ����� �� ���� ��� �� ���������� �������� �� ��������� ���� ����������� ��� �� ��� ��� � ����� ������ ���������� ����� ���������� ��� �� �������� ���������� = �[����[�����������������[{���[[#]]� ����[[#]]}� {���[[#]]� ����[[#]]}] / �����] � /@ ��������] �������� {��������� ������� ��������� ��������� �������� �������� ������� ��������� �������� ���������� �������� �������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ���������� ��������� ��������� ��������� �������� ��������� ��������� ��������� �������� ��������� �������� ��������� ��������� �������� ��������� ��������� ��������� ��������� ��������� �������� ��������� ��������� ��������� ��������} �������� ��������[����������] �������� 0.0 0.5 1.0 1.5 2.0 �������� ��������� ���� ����������� ���� � ������� �� �� ��� �� ���� ��������� ��� �� ��� � ��������� ��� ������� ������ �� �������� ������� ��� ����� �������������� �������� � = �������[��������[����������� �_ /� � < ��]] �������� {�� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��} �������� ��������[{���[[#]] � /@ �� ���[[#]] � /@ �}] �������� 5 10 15 20 25 30 50 100 150 200 250 300 350 �������� ���������� �������� �������� ��� ���� ������� ��������� ���� ��� � ������ ���������� �� � ��� ��� � ������� �� ������� ��������� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���3
  • 4.
    �������� �������� �������� �������� �������������� = �����[���������] �����[������� ��������] - �����[������� �������] �����[������� ��������] �������� -������� × ��� �������� ������� = �����[���������] �����[���������] - �����[������� �������]�� �������� ������� × ��� �������� ������� = �[������ / �������] �������� -��������� �������� ������ = �����[���������] �����[������� ��������] - �����[������� �������] �����[������� ��������] �������� ������� × ��� �������� ������� = �����[���������] �����[���������] - �����[������� �������]�� �������� ������� × ��� �������� ������� = �[������ / �������] �������� ������� �������� ����� = �[����[��������] - ������� ����[�������] - ������� ����[�������]] �������� -������� �������� �������� = (�[������� �������] + �[������� �������] + �[�����]) / ((������� ������� + ������� ������� + �����) - ��������) /� {�� → ����} �������� {�������� ��������� -������� -��������� ��������� -�������� -��������� -��������� ���������� �������� -�������� ��������� ������� -��������� �������� �������� -�������� �������� �������� �������� -��������� -�������� ���������� ��������� -��������� ��������� ��������� -���������� -��������� -�������� -��������� �������� ��������� �������� -�������� ��������� ��������� ��������� -��������� -��������� -��������� -�������� -�������� ��������� �������� ����� -���������� �������� ��������� ���������} �������� �� = ���[�������� - �������� �������� ����������] /� {�� → ����} �������� {�������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ������� �������� �������� �������� ��������� ��������� �������� ���������� �������� �������� �������� �������� �������� �������� �������� �������� ������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� �������� ����� �������� �������� �������� �������} �������� ������������� �� �������� � ��� - ������ �������� ������� = ��������[[��������[��� ���[��]][[�]][[�]]]] �������� ������� �������� ���� = ����� �������� ����������[{������������[{��������� ���� = (��� �������� ����������)}� ������������������ → �� ��������� → ���� ��������� → {���� ����}� ����������� → {������� ����������}]� (����������[����][[�]] �����[# ����] - �����[#] �����[����]) / ����[(����������[����][[�]] �����[#��] - �����[#]��) (����������[����][[�]] �����[������] - �����[����]��)] � /@ {��������}}� {{���� ����� ��������}� -��� ��� ���}] �������� ������  10 20 30 40 50 -60 -40 -20 20 40 60 80 VI19 function � {�������} �������� ��������� = (���� �������� ����������) �������� {�������� �������� �������� �������� �������� -�������� �������� ��������� �������� -���������� -�������� �������� �������� �������� �������� ��������� �������� �������� �������� �������� �������� �������� -�������� -��������� �������� -�������� -��������� �������� �������� �������� -�������� �������� -�������� �������� -�������� -�������� -�������� �������� ������� -�������� �������� �������� �������� -�������� �������� ��� �������� ��������� -�������� �������} 4��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
  • 5.
    ��������� {��������[{����� �}������������ → ���������� ��������� → ���� ��������� → {{�� ����������[���������][[�]] + �}� {-���� ���}}� ��������� → {����� ���}]� ��������[{��������� ���������}� ��������� → {{�� ����������[���������][[�]] + �}� {-���� ���}}� ��������� → ���� ��������� → �������� �������� ����������� → ���������� ��������� → {����� ���}]} ���������  ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ●●●●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ 10 20 30 40 50 -150 -100 -50 50 100 150 � ● ● ●● ● ● ● ● ●● ● ● ● ● ●●●●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ 10 20 30 40 50 -150 -100 -50 50 100 150 SUPPORT VECTOR  �������� {��������[{���� - �}� ������������������ → �� ��������� → ���� ��������� → {{�� ����������[�������][[�]]}� {-��� ��}}]� ��������[{�������� - ���������}� ������������������ → �� ��������� → ���� ��������� → {{�� ����������[�������][[�]]}� {-��� ��}}]} ��������  10 20 30 40 50 -30 -20 -10 0 10 20 30 � 10 20 30 40 50 -30 -20 -10 0 10 20 30  �������� {��������[{������ ����������[��]� �����[{�������[[#]]� ��������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]� ��������[{������ ����������[��]� �����[{�������[[#]]� ��������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]} ��������  �  �������� {��������[{������ ����������[��]� �����[{�������[[#]]� ���������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]� ��������[{������ ����������[��]� �����[{�������[[#]]� ���������[[#]]} � /@ �����[�� {�� �� ����������[�������][[�]]� �}]]}]} ��������  �  �������� �������� ��������� �� ������ ��������� � �������������� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���5
  • 6.
    ��������� ����������[{������������[{�������� ���������� = (���� ���� (-����������)) - (���� ���� (-����������) - ������� - �������) / ���� �� = (���� ���� ����������) - (���� ���� ���������� - ������� - �������) / ���}� ������������������ → �� ��������� → ���� ��������� → {{������ ���}� {������ ����}� ������ ����}� ������� -> {� → {{�}� ������}}� ��������� → {{�� ����������[�������][[�]]}� {-��� ���}}� ����������� → {������ ������ ����������}] }� {{����� ������ ������}� -��� ���� ���}� {{���� ����� ���������}� -��� ���� ���}] ��������� ���� �������  10 20 30 40 50 100 200 300 400 500 600 VI1 VI2 function  �������� ������� �������� ������������[{��� ��}� ����������� → {����� ����}] �������� 10 20 30 40 50 50 100 150 200 f4 f5 �������� �[��������[#] � /@ {���� ���� ����}] �������� {�� ������ �������� �������} �������� ��� = �������� �������� {������ ������� ������ �������� �������� -������� �������� ������ �������� -������� -������� �������� �������� �������� ������� ������� ������� ������� ������� �������� �������� ������ -�������� -������� ������ -������� -������� ������ �������� ������� -�������� ������ -������� ������� -�������� -�������� -�������� ������ ������� -�������� �������� ������� ������ -�������� ������ �� ������� ������� -�������� ������} �������� ��������� ����� �� ��������� ������ � �� ������� ������ �������� �������� �������� � � ������ ����� ��� �� ���������� � ��� � ������� �������� {����[����[���[���� - �]]]� ����[����[���[��� - ���������]]]} �������� {�������� �������} �������� ���� ����� �� �������� ������ � ���������� = ����� ������ ���������� ��� ��������� ������ ��� ����������� ������� ������ �������� ����������� �������� �[�����������[#� ����] � /@ {���� ���}] �������� {���������� ��������} �������� � ��������� �������� ���������� �������� (����������[�][[�]] �����[# �] - �����[#] �����[�]) / ����[(����������[�][[�]] �����[#��] - �����[#]��) (����������[�][[�]] �����[���] - �����[�]��)] � /@ {����} �������� {��������} �������� ���� 6��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb
  • 7.
    �������� (����������[���][[�]] �����[#���] - �����[#] �����[���]) / ����[(����������[���][[�]] �����[#��] - �����[#]��) (����������[���][[�]] �����[�����] - �����[���]��)] � /@ {���������} �������� {�������} �������� ��������� �������� ��������� �������� ��� � ����� ������� �������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}] �������� {{�������� �������}� {�������� �� ����}} �������� ����� �� �������� �[{����[#] � /@ {����� �}� ����[#] � /@ {��������� ���������}}] �������� {{�������� �������}� {�������� �������}} �������� {����[���� - �]� ����[�������� - ���������]} �������� -������� × ��-�� � ������� �������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}] �������� {{-��������� ��������}� {-�������� -�������}} �������� �[{��������[#] � /@ {����� �}� ��������[#] � /@ {��������� ���������}}] �������� {{�������� �������}� {�������� �������}} �������� �����������[����� �] �������� �������� �������� {�����������[��������� ���������]} �������� {�������} �������� {�����������������[����� �]� �����������������[��������� ���������]} �������� {�������� �������} �������� {�������������[���� - �� ��������� → ��� ��������� → ������� ������������ ��������� → ���������[���������[�����]� ���]� ���� → ���� ��������� → ���]� �������������[�������� - ���������� ��������� → �������� �������� ��������� → ��� ��������� → ���������[���������[�����]� ����]� ���� → ���� ��������� → ���]} ��������  -40 -20 20 40 -40 -20 20 40 LINEAR REGRESSION � -40 -20 20 40 -40 -20 20 40 SUPPORT VECTOR  �������� {��������[{����� �����[����[�]� {����������[����][[�]]}]}� ����������� → ���������� ��������� → ���� ��������� → {{�� ����������[���������][[�]]}� {-���� ���}}� ��������� → ������� ������������ ��������� → {����� ���}]� ��������[{��������� ���������}� ��������� → �������� �������� ��������� → {{�� ����������[���������][[�]]}� {-���� ���}}� ��������� → ���� ����������� → ���������� ��������� → {����� ���}]} ��������  ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ●●●●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ 10 20 30 40 50 -150 -100 -50 50 100 150 LINEAR REGRESSION � ● ● ●● ● ● ● ● ●● ● ● ● ● ●●●●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ 10 20 30 40 50 -150 -100 -50 50 100 150 SUPPORT VECTOR  �������� � = �����[�� {�� �� ����������[�������][[�]]� �}] �������� {�� �� �� �� �� �� �� �� �� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��� ��} �������� ����� �� ��� ����������� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb ���7
  • 8.
    �������� ����������[{{�� ���������}� {�� �� �������}� {�� �� ��}}� ��������� → ���] �������� �������� ����������[{{�� �� ��������}� {�� �� ���������}}� ��������� → ���] �������� 8��� SUPPORT.VECTOR.MACHINE.THE.BEST.GRADIENTE.LAGRANGE.3.works.nb