20181012 Intelligenza artificiale e soggezione all'azione amministrativa: il problema della tutela dei dati personali tra “profilazione” e "processi decisionali automatizzati"

1
Intelligenza artificiale e soggezione all'azione
amministrativa: il problema della tutela dei dati personali
tra “profilazione” e "processi decisionali automatizzati"
Dott. Avv. FEDERICO COSTANTINI
Professore aggregato di Informatica giuridica
DISG/UNIUD
Convegno internazionale:
Nuove prospettive dell’amministrazione
digitale: open data e algoritmi
Venezia, 12 ottobre 2018
Università Ca’Foscari
Aula Baratto
Seconda sessione: Algoritmi e azione amministrativa
Presidente: Prof.ssa Elena D’Orlando

2
(1) «Social credit system»: la Cina è vicina?
Esempio di profilazione di massa nella sfera pubblica a titolo di introduzione
(2) Il problema: soggezione all’automazione nella P.A.
Formulazione del problema di fondo
(3) Il riferimento alla profilazione nell’azione amministrativa
tradizionale
Dalle origini ad oggi (breve fenomenologia)
(4) GDPR, profilazione e decisioni automatizzate
Cenni alla nuova disciplina europea
(5) Azione amministrativa e “diritti” dell’interessato
Rimedi contro la profilazione
(6) Conclusione
Osservazioni finali
<Sommario>

3
https://www.bbc.com/news/world-asia-china-34592186
EVOLUZIONE
- 2013 Supreme People's Court (SPC)
- 2015 convenzione
- People's Bank of China (credito)
- Sesame Credit (Alibaba Group)
- Tencent (media, online gaming)
- Didi Chuxing (mobilità)
- Baihe.com (online dating)
- 2020 completa operatività prevista
https://en.wikipedia.org/wiki/Social_Credit_System
CATEGORIE DI DATI PERSONALI
"honesty in government affairs" (政务诚信),
"commercial integrity" (商务诚信),
"societal integrity" (社会诚信),
"judicial credibility" (司法公信).
IMPRESE STRANIERE?

4
https://www.theguardian.com/world/commentisfree/2018/jul/12/algorithm-
privacy-data-surveillance
https://global.handelsblatt.com/politics/germany-mass-surveillance-social-
credit-china-big-data-886786
UK e DE: «la Cina è vicina»…

5
(2) Il problema: soggezione all’automazione nella P.A.
Formulazione del problema di fondo
Intelligenza artificiale e P.A. in
due sensi
- Soggettivo
-> sostituzione di un «algoritmo» alla decisione umana
- Oggettivo
-> subordinazione dell’uomo all’«algoritmo»
https://ia.italia.it/task-force/

6
tradizionale
Gottfried Achenwall (20
ottobre 1719 – 1°
maggio 1772)
https://archive.org/detail
s/bub_gb_MUJXCTjL4ro
C/page/n3
https://it.wikipedia.org/wiki/
Presepe#/media/File:Kripp
e_Wolfurt_4.JPG
https://en.wikipedia.org/wiki
/Project_Cybersyn#/media/
File:Cybersyn_control_roo
m.jpg
Censimento di Augusto
(28 a.C. / 14 d.C.)
Invenzione
della
Statistica
come
«scienza
dello Stato»
(Scuola di
Gottinga,
1770 circa)
Uso della
cibernetica
come
strumento di
controllo dei
processi
statali
(Cile, 1970
circa)
Anthony Stafford Beer, 25
September 1926 – 23
August 2002)

7
tradizionale
Stato moderno = machina machinarum
-> CARL SCHMITT, "Der Staat Als Mechanismus Bei Hobbes Und Descartes.” Archiv für Rechts- und Sozialphilosophie 30 (1936/37), 4, 158.
-> NATALINO IRTI, Nichilismo giuridico, Roma-Bari, GLF editori Laterza (Sagittari Laterza; 144), 2004, p. 43.
Società contemporanea = megamacchina
-> Cfr. SERGE LATOUCHE, La mégamachine. Raison technoscientifique, raison économique et mythe du progrès. Essais à la mémoire de
Jacques Ellul, tr. it. di Alfredo Salsano, La megamacchina. Ragione tecnoscientifica, ragione economica e mito del progresso. Saggi in
memoria di Jacques Ellul, Torino, Bollati Boringhieri (Temi; 48), 1995 (1995).
«Non si potrebbe dunque più raffigurare lo Stato secondo l’immagine
tradizionale di un organismo vivente (…) esso è oggi inteso come un sistema
di relazioni, che possono essere programmate diversamente sulla base di un
sistema di informazioni e di decisioni, come avviene nei sistemi di
automazione informatica»
-> VITTORIO FROSINI, Riflessi sociali dell’informazione, in Aa. Vv., Studi in onore di M.S. Giannini, vol. I, 351, Milano: Giuffrè, 1988 comparso in
traduzione inglese come The social implications of the computer revolution, in «Informatica e diritto» (1987), 3, 7, poi raccolto in Id. Informatica,
diritto e società, cit., 321].

8
Lo stato attuale della «profilazione» (riferimenti impropri)
Utilizzo improprio del termine, si intende creazione di un «account» personale del
dipendente pubblico
- accesso anagrafe tributaria (Art. 7 D.P.R. 605/1973)
- fascicolo sanitario elettronico (D.P.C.M. 29 settembre 2015, n. 178)

9
Lo stato attuale della «profilazione» (propriamente intesa)
(1) Ambito tributario: «studi di settore»

10
(2) Ambito assistenziale: «centri per l’impiego» art. 19, D. Lgs. 14 settembre 2015,
n. 150
[…]
5. Sulla base delle informazioni fornite in sede di registrazione, gli utenti dei
servizi per l'impiego vengono assegnati ad una classe di profilazione, allo
scopo di valutarne il livello di occupabilita', secondo una procedura automatizzata
di elaborazione dei dati in linea con i migliori standard internazionali.
[…]

11
(3) Ambito sanitario: divieto
DELIBERAZIONE DEL GARANTE PER LA PROTEZIONE DEI DATI PERSONALI 5 maggio 2011, n.
182 (in Gazz. Uff., 25 maggio 2011, n. 120). - Linee guida in tema di trattamento di dati per lo
svolgimento di indagini di customer satisfaction in ambito sanitario. (Deliberazione n. 182 ).
[…] Infine, il trattamento di dati personali, nell’ambito di indagini di gradimento, deve essere finalizzato
esclusivamente al monitoraggio e alla valutazione della qualità percepita dei servizi sanitari. In
particolare, è vietato utilizzare tali dati per perseguire finalità di profilazione degli utenti, anche al
fine di invio di materiale promozionale relativo a prodotti o servizi correlati a quelli erogati (art. 11,
comma 1, lett. b) del Codice; cfr. anche provv. del 7 dicembre 2006, doc. web n. 1379101).

12
25 maggio 2018
19 settembre 2018
(D. LGs. 101/2018)
Le novità del 2018 in tema di
protezione dei dati personali

13
Art. 4 par. 1 n. 4) GDPR «profilazione»:
«qualsiasi forma di trattamento
automatizzato di dati personali
consistente nell'utilizzo di tali dati
personali per valutare determinati aspetti
personali relativi a una persona fisica, in
particolare per analizzare o prevedere
aspetti riguardanti il rendimento
professionale, la situazione economica,
la salute, le preferenze personali, gli
interessi, l'affidabilità, il comportamento,
l'ubicazione o gli spostamenti di detta
persona fisica»;
ELEMENTI
(1) Trattamento automatizzato
(2) Concernente dati personali
(3) Con il fine di valutare aspetti
personali relativi ad una
persona fisica

14
Art. 24 par. 1 GDPR
«decisione basata unicamente
sul trattamento automatizzato»
ELEMENTI
(1) Trattamento automatizzato
(2) Assenza di intervento
umano «significativo» nella
decisione
(3) Conseguenze rilevanti per
la persona fisica
(economiche, giuridiche)

15
Profilazione
Decisione basata unicamente
sul trattamento automatizzato
L’ambito dei concetti di «profilazione» e
«decisione automatizzata» non coincidono
«inference» (EN) / «deduzione» (IT): «devil is in the details»
multa autoveloxMutui online «credito sociale» (CINA)

16
L’ambito dei concetti di «profilazione» e
«decisione automatizzata» non coincidono
i) profilazione generale;
ii) processo decisionale
basato sulla profilazione;
iii) decisione basata
unicamente sul trattamento
automatizzato, compresa la
profilazione, che produce
effetti giuridici o incide in modo
analogo significativamente
sull’interessato.
Art. 22 §.1
GDPR
Divieto
generale
Artt. 4, 22
GDPR
Definizione
Art. 5
GDPR
Principi
Art. 6
GDPR
Basi
giuridiche
Artt. 15-21
GDPR
Diritti
interessato
Art. 22 §.
2 GDPR
Eccezioni
Art. 22 §.
2 GDPR
Diritti
Art. 35 §.
3 lett. a)
DPIA
Art. 37 § 1
lett. b)
DPO

17
Art. 22 GDPR Processo decisionale automatizzato
relativo alle persone fisiche, compresa la profilazione
1. L'interessato ha il diritto di non essere sottoposto a
una decisione basata unicamente sul trattamento
automatizzato, compresa la profilazione, che produca
effetti giuridici che lo riguardano o che incida in modo
analogo significativamente sulla sua persona.
2. Il paragrafo 1 non si applica nel caso in cui la decisione:
a) sia necessaria per la conclusione o l'esecuzione di un
contratto tra l'interessato e un titolare del trattamento;
b) sia autorizzata dal diritto dell'Unione o dello Stato
membro cui è soggetto il titolare del trattamento, che precisa
altresì misure adeguate a tutela dei diritti, delle libertà e dei
legittimi interessi dell'interessato;
c) si basi sul consenso esplicito dell'interessato.[…]
Art. 14 Preleggi (Codice
Civile) Dell'applicazione
della legge in generale
Le leggi penali e quelle che
fanno eccezione a regole
generali o ad altre leggi non
si applicano oltre i casi e i
tempi in esse considerati
Art. 22 §.1 GDPR
DIVIETO
GENERALE
Art. 22 §. 2 GDPR
ECCEZIONI

18
INOLTRE, se il trattamento riguarda «dati particolari», allora la decisione è consentita se e
solo se:
(1) Vi è il consenso esplicito dell’interessato (art. 9 §2 lett. a)
(2) Vi sono motivi di interesse pubblico … proporzionati … misure appropriate
e specifiche… (art. 9 §. 2 lett. g)
(3) Vi sono misure adeguate…
(4) Nel caso di minori: vi sono misure «appropriate»

19
Diritti dell’interessato
(1) Informazione (art. 13§2 lett. f, art. 14 § 2 lett. g)
- Esistenza di un processo automatico di decisione
- Logica utilizzata (Es: credit scoring dei debitori: indicazione delle fonti
delle informazioni finanziarie, metodi di valutazione, verifiche regolari, dati
di contatto per riesame)
- Importanza e conseguenze del trattamento
-> «buona prassi»: anche se il trattamento non rientra strettamente nella
definizione di cui all’art. 22§1
(2) Diritto di accesso (art. 15 §1 lett. h)
- Conseguenze previste della decisione
(3) «misure adeguate» (art. 22 §2, lett. a, b, c)
- Ottenere l’intervento umano per «riesame»
- Contestare la decisione
- Verifiche frequenti da parte dell’interessato per evitare «distorsioni»

20
(4) Diritto di opposizione (art. 21 GDPR)
(1) Il titolare del trattamento si astiene dal
trattare ulteriormente i dati personali
salvo che :
(1) egli dimostri l'esistenza di
motivi legittimi cogenti per
procedere al trattamento che
prevalgono sugli interessi, sui
diritti e sulle libertà
dell'interessato
(2) per l'accertamento,
l'esercizio o la difesa di un
diritto in sede giudiziaria.
Fondamento soggettivo
(2) Qualora i dati personali siano trattati a fini
di ricerca scientifica o storica o a fini statistici
a norma dell'articolo 89, paragrafo 1,
Limitazioni (per ciascuna ipotesi)
«per motivi
connessi alla sua
situazione
particolare»
Finalità del trattamento (2 ipotesi)
(2) salvo se il trattamento è necessario per
l'esecuzione di un compito di interesse
pubblico.
(1) Art. 6, paragrafo 1, lettere e) o f),
(1)Compiti di interesse
pubblico
(2) Legittimo interesse del titolare

21
(6) Conclusione
Osservazioni finali
https://guardian.ng/life/tencents-artificial-intelligence-to-make-parkinsons-
diagnosis-faster/
http://www.diagnosticimaging.com/ct/machine-outperforms-radiologists-
staging-liver-fibrosis-using-ct
https://peerj.com/articles/cs-93/#p-49
OK, «IA + BIG DATA (+ BLOCKCHAIN + IOT) = €€€€€€€€€!!!!!» ma…

22
(6) Conclusione
Osservazioni finali
(1) l’uomo ha da sempre «profilato» gli altri (con «alterni» risultati
e non sempre con fondamento «scientifico»)
(2) La «distorsione» è un rischio intrinseco in ogni forma di
«inferenza» logica (anche se compiuta dalle macchine)
(3) Il fatto che a profilare sia una Pubblica Amministrazione (lo
«Stato») per certi versi è inevitabile (per ragioni economiche,
se non altro)
(4) Il pericolo è che da «decisioni automatizzate» finiscano per
dipendere le fasce più deboli della popolazione (quelle che
invece avrebbero bisogno di maggiore «assistenza» e di
«umanità»)
(5) In che termini un «sistema di credito sociale» sarebbe
illegittimo in UE (cfr. «compiti di interesse pubblico»)?
https://it.wikipedia.org/wiki/Zodiaco#/
media/File:Venice_ast.jpg
TAKE AWAY

23
Grazie per l’attenzione
federico.costantini[@]uniud.it

24
Abstract:
È noto che negli ultimi anni le tecnologie dell'informazione concernenti la c.d. “intelligenza artificiale” hanno raggiunto un notevole
livello di maturità. Esse sono ormai incorporate nei dispositivi elettronici più diffusi (es: smartphones) e sono utilizzate dalle più comuni
applicazioni informatiche (dall’elaborazione di immagini al riconoscimento vocale). Le loro applicazioni non sono soltanto trasversali e
pervasive, ma anche in grado di modificare profondamente le dinamiche intrinseche dei settori in cui vengono applicate. Dopo una
prima espansione nel settore privato, di recente si assiste ad una loro adozione anche in ambito pubblico, tanto che tale processo è
posto come obiettivo politico a livello europeo ed è un elemento centrale dell’agenda digitale italiana.
Vi sono diverse implicazioni problematiche che riguardano l’adozione di strumenti di intelligenza artificiale nell’azione amministrativa.
Accanto ai profili soggettivi (la sostituzione della decisione o della valutazione umana) vi sono quelli oggettivi (il fatto che persone in
carne e ossa possano essere oggetto dell’elaborazione automatica di informazione).
In questo intervento si prende in considerazione tale secondo profilo. È noto che l’elaborazione di grandi quantità di informazione e
l’interconnessione tra diverse banche dati consente di rendere identificativi dati originariamente anonimi, di rivelare aspetti “sensibili”
della personalità dell’individuo da dettagli apparentemente innocui come le abitudini di consumo e di rendere prevedibile la condotta
umana consentendo di condizionarne le scelte. L’integrazione di tali tecnologie con l’intelligenza artificiale rende possibile un'accurata
“profilazione" di grandi quantità di persone, forme particolarmente sofisticate di “controllo sociale”, che peraltro in alcuni ordinamenti si
stanno già praticando, ma anche e soprattutto l’implementazione di "processi decisionali automatizzati” nei confronti di singoli cittadini,
generando in tal modo distorsioni nell’applicazione delle norme, effetti discriminatori e pregiudizi soprattutto nei confronti di soggetti
particolarmente vulnerabili.
Nell'intervento, dopo alcuni cenni introduttivi sulla più recente disciplina europea sul trattamento dei dati personali, si fornisce una
distinzione tra “profilazione” e “processi decisionali automatizzati” e si approfondisce la delineata problematica all’interno del settore
pubblicistico, verificando la presenza e l’efficacia di strumenti giuridici a disposizione degli "interessati” per la tutela dei propri diritti. Al
termine si propongono alcune valutazioni conclusive come contributo alla discussione.

25
Valutazione d’impatto (art. 35 §3 lett. a)
Prevista quando vi è una «una valutazione sistematica e globale di aspetti
personali relativi a persone fisiche, basata su un trattamento automatizzato,
compresa la profilazione, e sulla quale si fondano decisioni che hanno effetti
giuridici o incidono in modo analogo significativamente su dette persone
fisiche»;
Profilazione (art. 4)
«decisione basata
unicamente sul
trattamento
automatizzato» (art. 22)
DPIA (art. 35)
ATTENZIONE
Per aversi DPIA è sufficiente che
la decisione sia «basata su» un
trattamento automatizzato,
mentre il divieto generale opera
quando la decisione è «basata
unicamente» su di esso.

26
Responsabile per la protezione dei dati personali (art. 37 § 1 lett. b)
«le attività principali del titolare del trattamento o del responsabile del
trattamento consistono in trattamenti che, per loro natura, ambito di applicazione
e/o finalità, richiedono il monitoraggio regolare e sistematico degli interessati
su larga scala»
Profilazione (art. 4)
«decisione basata
unicamente sul
trattamento
automatizzato» (art. 22)
DPIA (art. 35)
RPD (art. 37)

20181012 Intelligenza artificiale e soggezione all'azione amministrativa: il problema della tutela dei dati personali tra “profilazione” e "processi decisionali automatizzati"

More Related Content

What's hot

Similar to 20181012 Intelligenza artificiale e soggezione all'azione amministrativa: il problema della tutela dei dati personali tra “profilazione” e "processi decisionali automatizzati"

More from Federico Costantini

20181012 Intelligenza artificiale e soggezione all'azione amministrativa: il problema della tutela dei dati personali tra “profilazione” e "processi decisionali automatizzati"