La presentazione parla di sistemi lineari, autovalori e autovettori dandone definzioni ed esempi di risoluzione e calcolo. Gli argomenti sono utili anche per chi intende approcciarsi al machine learning e non ha nozioni di Algebra lineare.

1. Fondamenti di algebra
lineare: sistemi lineari,
autovalori e autovettori

2. Cos’è un sistema lineare?
 Un sistema lineare è un sistema di equazioni in cui tutte le
incognite appaiono al primo grado.
Esempio
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
3x1 –x3 = 0
È un sistema lineare di tre equazioni in tre incognite

3. Esempio
Esempio
x1 + 3x2 = 3
x1 + 2x2 = 5
3x1 –x2 = 0
2x1 –x2 =1
È un sistema lineare di quattro equazioni in due incognite (x e y)
x1 + 3x2
2 = 3
log(x1) + 2x2 = 5
Non è un sistema lineare perché appaiono delle incognite al
secondo grado o con una funzione logaritmica

4. Matrice associata ad un sistema lineare
I sistemi lineare precedenti si possono riscrivere in forma
matriciale. Ad esempio il sistema
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
3x1 –x3 = 0
Si può riscrivere come
Ax = b
1 3 2 x1 3
A= 1 2 0 x = x2 b = 5
3 0 -1 x3 0

5. Definizione
Un sistema lineare si dice quadrato se ha lo stesso numero di
equazioni e di incognite.
Teorema
Un sistema lineare quadrato ha un’unica soluzione se e solo il
determinante della matrice associata è diverso da zero (e quindi
la matrice ha l’inversa).
Tale soluzione è x= A-1*b
Se il determinante è uguale a zero, ci sono due possibilità:
- il sistema non ha soluzioni
- il sistema ha infinite soluzioni

6. Esempio
Il sistema lineare precedente
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
3x1 –x3 = 0
ha come matrice associata
1 3 2
A= 1 2 0
3 0 -1
Il determinante di A vale -11 ed è dunque diverso da 0. Di
conseguenza il sistema ha un’unica soluzione

7. Esempio
Tale soluzione sarà data dalla formula
x= A-1 * b
Con calcoli che già conosciamo possiamo calcolare A-1 e
moltiplicare tale matrice per il vettore b
2/11 -3/11 4/11 3 -9/11
-1/11 7/11 -2/11 5 = 32/11
6/11 -9/11 1/11 0 -27/11

8. Esempio
La soluzione del sistema è dunque
x1=-9/11, x2=32/11 , x3=-27/11
Per esercizio possiamo verificare che questa terna soddisfa tutte
le equazioni del sistema di partenza
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
3x1 –x3 = 0
-9/11 + 3*(32/11) + 2*(-27/11) = 3 -> vero
-9/11 + 2*(32/11) = 5 -> vero
3*(-9/11) –(-27/11) = 0 -> vero

9. Caso non quadrato o con determinante
uguale a 0
 Se il sistema non è quadrato o se il determinante
è 0 possiamo utilizzare un altro metodo:
l’eliminazione di Gauss.
Consideriamo ad esempio il sistema
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
x1 –x3 = 2
2x1 –2x3 = 4

10. Eliminazione di Gauss
La matrice associata non è quadrata quindi non posso calcolare il
determinante
A= 1 3 2
1 2 0
1 0 -1
2 0 -2
Considero allora la matrice A|b ottenuta aggiungendo la
colonna dei termini noti
A|b = 1 3 2 3
1 2 0 5
1 0 -1 2
2 0 -2 4

11. Eliminazione di Gauss
A|b = 1 3 2 3
1 2 0 5
1 0 -1 2
2 0 -2 4
Dobbiamo eseguire delle operazioni per arrivare alla forma
A|b = 1 X X X
0 X X X
0 X X X
0 X X X

12. Eliminazione di Gauss
Sostituisco alla seconda riga il risultato della differenza tra
essa e la prima riga. Ottengo così la matrice
1 3 2 3
0 -1 -2 2
1 0 -1 2
2 0 -2 4
Analogamente sostituisco alla terza riga il risultato della
differenza tra essa e la prima riga
1 3 2 3
0 -1 -2 2
0 -3 -3 -1
2 0 -2 4

13. Eliminazione di Gauss
Sostituisco alla quarta riga il risultato della differenza tra
essa e il doppio della prima riga.
1 3 2 3
0 -1 -2 2
0 -3 -3 -1
0 -6 -6 -2
La prima colonna è ok, ora bisogna portare la matrice in
questa forma
1 3 2 3
0 1 X X
0 X X X
0 X X X

14. Eliminazione di Gauss
Per prima cosa moltiplichiamo la seconda riga per -1
1 3 2 3
0 1 2 -2
0 -3 -3 -1
0 -6 -6 -2
Sostituisco la terza riga con la somma tra essa e il triplo
della prima
1 3 2 3
0 1 2 -2
0 0 3 -7
0 -6 -6 -2

15. Eliminazione di Gauss
Sostituisco la quarta riga con la somma tra essa e sei volte la
prima
1 3 2 3
0 1 2 -2
0 0 3 -7
0 0 6 -14
A questo punto l’obiettivo è
1 3 2 3
0 1 2 -2
0 0 1 X
0 0 X X

16. Eliminazione di Gauss
Divido la terza riga per 3
1 3 2 3
0 1 2 -2
0 0 1 -7/3
0 0 6 -14
Sostituisco la quarta riga con la differenza tra essa e 6 volte la
terza
1 3 2 3
0 1 2 -2
0 0 1 -7/3
0 0 0 0

17. Eliminazione di Gauss
Tutte le operazioni fatte fino ad ora non hanno modificato le
soluzioni del sistema. A questo punto però i calcoli sono molto più
semplici. Dalla matrice
1 3 2 3
0 1 2 -2
0 0 1 -7/3
0 0 0 0
otteniamo un nuovo sistema con le stesse soluzioni
x1 + 3x2 + 2x3 = 3
x2 + 2x3 = -2
x3= -7/3
0 = 0

18. Eliminazione di Gauss
che possiamo risolvere facilmente «partendo dal basso»
x3= -7/3
Sostituendo nella seconda
x2 + 2 * (-7/3) = -2
x2 = -2 +14/3 = 8/3
Sostituendo nella prima
x1 + 3*(8/3) + 2(-7/3) = 3
x1 = 3 – 8 +(14/3)
x1 = -1/3

19. Eliminazione di Gauss
Verifichiamo anche in questo caso che la soluzione trovata
x1 = -1/3, x2= 8/3, x3=-7/3
sia corretta sostituendo i valori nel sistema di partenza
x1 + 3x2 + 2x3 = 3
x1 + 2x2 = 5
x1 –x3 = 2
2x1 –2x3 = 4
-1/3 + 3*(8/3) + 2(-7/3) = 3 -> vero
-1/3 + 2*(8/3) = 5 -> vero
-1/3 – (-7/3) = 2 -> vero
2*(-1/3) –2* (-7/3) = 4 -> vero

20. Cosa sono autovalori e autovettori?
 Data una matrice quadrata A di dimensione n x n:
un autovalore k è uno scalare 1x1,
un rispettivo autovettore v è un vettore colonne n x 1 diverso
dal vettore con tutti 0
tali che vaga la relazione
A v = k v
dove la prima operazione è il prodotto tra matrice e vettore
mentre la seconda operazione è il prodotto tra scalare e vettore.

21. Cosa sono autovalori e autovettori?
Esempio
Data la matrice
A = 2 3
4 5
Lo scalare k = 2 e il vettore v = 1
2
NON sono autovalore/autovettore perché
A v non è uguale a k v
Infatti Av = 8 mentre kv = 2
14 4

22. Cosa sono autovalori e autovettori?
Esempio
Data la matrice
A = 4 2
2 4
Lo scalare k = 2 e il vettore v = 1
-1
sono autovalore/autovettore perché
A v è uguale a kv
Infatti Av = 2 mentre kv = 2
- 2 -2

23. Come si trovano gli autovalori di una
matrice?
Gli autovalori di una matrice A sono le soluzione dell’equazione
Determinante(A –k I ) = 0
dove I è la matrice identità.
Nella prossima slide vedremo perché.

24. Come si trovano gli autovalori di una
matrice?
Partendo dalla definizione -> A v = kv con v diverso da 0
Portiamo a sinistra kv -> A v – kv = 0
Raccogliamo v -> (A – k I ) v = 0
v deve essere dunque soluzione del sistema quadrato
(A – k I ) v = 0
Un sistema quadrato ha un’unica soluzione se e solo se il
determinante della matrice è diverso da 0.
Il vettore 0 è sempre soluzione di questo sistema.
Affinché esistano altre soluzione deve essere dunque
Determinante ( A – k I ) = 0

25. Esempio calcolo autovalori
Data la matrice
A = 4 -4
-2 2
Calcoliamo Det( A – k I )
Det [ 4 -4 -k 1 0 ] = Det [ (4 – k) -4 ] =
-2 2 0 1 -2 (2 – k)
= (4 – k ) * (2 – k) – (-2) * (-4 ) = 8 - 4k – 2k + k2 – 8 = k2 - 6k
e lo poniamo uguale a 0

26. Esempio calcolo autovalori
k2 - 6k = 0
Otteniamo dunque un’equazione di secondo grado.
Se fossimo partiti da una matrice 3x3 avremmo ottenuto
un’equazione di terzo grado, e così via.
Ricordando che un’equazione di grado n ha al più n radici reali,
generalizzando abbiamo il seguente teorema:
Una matrice n x n ha al più n autovalori reali

27. Esempio calcolo autovalori
Torniamo alla nostra equazione
k2 - 6k = 0
e troviamo le soluzioni
k ( k - 6 ) = 0
Da cui k = 0 oppure k = 6
La matrice A ha dunque due autovalori distinti: 0 e 6

28. Esempio calcolo autovettori
Troviamo ora gli autovettori. Dobbiamo calcolare:
gli autovettori relativi a 6
gli autovettori relativi a 0
Partiamo da quelli relativi a 6. Dobbiamo risolvere il sistema
( A – k I ) v = 0
con k = 6. Il sistema sarà dunque
[ 4 -4 - 6 1 0 ] v1 = 0
-2 2 0 1 v2 0

29. Esempio calcolo autovettori
Da cui
4 -6 -4 v1 = 0
-2 2 - 6 v2 0
e quindi
-2 -4 v1 = 0
-2 -4 v2 0
da cui il sistema -2v1 – 4 v2 = 0
-2v1 - 4 v2 = 0

30. Esempio calcolo autovettori
Ricaviamo v1 v1 = 4 v2 / ( -2 )
-2v1 – 4 v2 = 0
e quindi v1 = -2 v2
-2 ( -2 v2 ) – 4 v2 = 0
Otteniamo così v1 = -2 v2
4v2 – 4 v2 = 0
E infine v1 = -2 v2
0 = 0

31. Esempio calcolo autovettori
Abbiamo ottenuto dunque infiniti autovettori relativi a 6, tutti con
la proprietà v1 = -2 v2.
Scegliendo v2 = 1 otteniamo ad esempio l’autovettore -2
1
Verifichiamo che i calcoli siano corretti controllando la definizione
di autovalore/autovettore A v = k v
Nel nostro caso abbiamo
4 -4 -2 = 6 -2 da cui -12 = -12
-2 2 1 1 6 6

32. Esercizi
1) Calcolare ora gli autovettori relativi all’autovalore 0.
Traccia: occorre calcolare la soluzione del sistema (A – 0 I ) v = 0
cioè
[ 4 -4 - 0 1 0 ] v1 = 0
-2 2 0 1 v2 0
…….
……
Verificare che v = 1 è autovettore
1

33. Esercizi
2) Verificare che se V è la matrice che ha:
sulla prima colonna un autovettore relativo a 6
sulla seconda colonna un autovettore relativo a 0
V = -2 1
1 1
Mentre D è la matrice diagonale che ha sulla diagonale gli
autovalori (nello stesso ordine scelto per le colonne di V)
D = 6 0
0 0
Vale la relazione V-1 A V = D dove A è la matrice di partenza

34. Esercizi
3) Verificare che la matrice A non ha autovalori
A = 5 2
-1 5
4) Calcolare autovalori e autovettori della matrice A
A= 6 2
4 4