Aj modely AI vedia byť nespravodlivé, ak sa ich tvorcovia nezamyslia nad spoločenskými dôsledkami. Pár ukážok z USA v oblasti vzdelávania, spravodlivosti, polície, zdravotníctva, personalistiky, v bankách, poisťovniach aj v láske. Aké sú možné riešenia?

1. Udržateľné (AI) technológie
pre spoločenské blaho
Andrea Hrčková

2. Aplikácia prediktívnych
modelov správania ľudí
v obchodoch v
spoločnosti (USA)
• Pri prijímaní na vysokú školu, v
hodnotení VŠ
• V online reklamách
• Na polícii a v justícii
• Pri prijímaní do práce a v práci
• V bankách a poisťovniach
• V nemocniciach

3. Vzdelávanie: Ako hodnotiť kvalitu?
• Čo je najdôležitejšie vo vzdelávaní: lepšia životná
situácia, naplnenie, uplatnenie? Ťažko spočítateľné
• 1. hodnotenie rektorov (neskôr len 1/3)
• Rebríček US News (1983) – všetko
kvantifikovateľné tak aby tie najlepšie dopadli
najlepšie
• SAT skóre na prijímačkách (eseje) záverečných testoch
• pomer študentov a učiteľov
• podiel prijatých a neprijatých
• výška darov
• štandard, všetci sa prispôsobujú ako vedia

4. Vzdelávanie: Prispôsobovanie škôl rebríčku
• Zvyšovanie atraktivity škôl (bazény...)
• zvyšovanie študentských pôžičiek – zadĺženie strednej triedy
• Najlepšie: elitárske pre bohatých
• Ľahko oklamateľné, podvádzanie ako štandard
• študenti mohli znovu vypĺňať testy
• Pomáhanie pri testoch (Zhongxiang – vysielače v ceruzkách)
• “Kúpenie” najcitovanejších matematikov (King Abdualziz
University v Saudskej Arábii medzi naj. za 2 roky
• Cielenie na potenciálnych študentov so
špecifikckými vlastnosťami
• nárok na štátnu pomoc
• konzultačné služby pre eseje (cca 20tis. V prípade prijatia)
• Obama navrhol zmenu
• zahrnúť cenovú dostupnosť, podiel chudobných, doba
zamestnania po absolvovaní, pomer prijatých a absolventov
• Neprijatie: už všetci investovali, Otázne zlepšenie: Definícia
zamestnania, zníženie podmienok pre prijatie, náhrada
drahých profesorov za lacnejších…

5. Reklamy
• Podľa správania v minulosti (kliknutia)
• Ľudia s rovnakým vzorcom správania
• Lokalita, Ľudia, ktorí sa poznajú
• Dotazník
• Predátorské reklamy
• Ľudia s veľkou potrebou a nízkou informovanosťou (Viagra, pôžičky)
• Predátorské univerzity
• Phoenix minul 50 mil.dolárov na reklamy na Google (25 mil. len pre rektora), cieli
na chudobných, migrujúcich (pôžičky od štátu)
• Corinthian College, 120 miliónov na marketing/rok, 600 mil. zisk/rok (68800 za
bakalára právneho asistenta), cieli na izolovaných, netrpezlivých, nesebavedomých
– zrušení
• Vaterott College cieli na zraniteľných: tehotné, nedávny rozvod/smrť, nízke
sebavedomie, nízky príjem, bývalí väzni, drogovo závislí, fyzicky/mentálne
postihnutí…
• Vzdelanie ako jediná šanca dostať sa z chudoby...diplom nemá žiadnu hodnotu na
trhu práce

6. Polícia
• Predikcia kriminality (PredPol,
CompStat, HunchLab..)
• na zák. historických dát o krimi lokalitách
• + iné korelácie – n. ak v susedstve
vykradnú, pravdepodobne aj u vás
• Poslanie hliadok na zraniteľné miesta
• Začalo sa krátením policajných miest
kríze (Reading)
• Zahrnúť len násilné činy alebo aj
nenásilné (drogy, pitie alkoholu pod
18...) ak korelujú?

7. Najlepšie sa predikujú malé prečiny (vraždy
najťažšie)
• sú príznačné pre chudobné oblasti
• Dostávajú tých ľudí do kruhu, z ktorého neuniknú
(viac uväznení ≠ vyššia bezpečnosť, ale vyššia
pravdepodobnosť, že budú uväznení znova)
Predikcia zločinov predtým, ako sa stanú (Illinois
Institute of Technology)
• napr. podľa kamarátov
• upozorňovali „podozrivých“, aj s čistým registrom
Bohatých tieto modely nepenalizujú
• fin. magnáti položili ekonomiku – spravodlivé by
bolo penalizovať ich už za zavádzanie klientov..

8. Justícia
• Predikcia recidívy podľa osobnej histórie
• vyhodenie zo školy, niekto z rodiny vo väzení, problémy
s alkoholom, stretnutia s políciou...-idú na dlhšie do
väzenia (lebo korelácie)
• Cieľ by mal byť pomôcť daným oblastiam,
budovať dôveru, nie trestať
• zisťovať prečo sa tak deje..ale to voličov až tak
nezaujíma
• Komerčné firmy tiež neštudujú iba lokalitu, ale aj
spokojnosť so službami

9. Pohovory do práce
• Mnohé (McDonalds, Starbucks,
Wallmart): osobnostný dotazník
(big5)
• Vylučuje (aj stabilizovaných) ľudí s
mentálnym znevýhodnením
• Osobnosť nekoreluje s pracovným
výkonom (skôr dobré na budovanie
tímov)
• Cieľ: čo najrýchlejšie a najlacnejšie
odfiltrovať kandidátov
• Bez spätnej väzby-nevieme, či sa
nevybraný dobre neuplatnil inde
• Medicína: Automatizované
vyhodnocovanie životopisov podľa
výberov z minulosti (1970):
• znevýhodnenie žien;
• Znevýh. tých, čo mali gramatické chyby v
životopisoch -korelácia s cudzími
menami

10. Prijímanie do práce
Predikcie z korelácií:
• Pravdepodobnosť skorej výpovede: korelácia s ďalekým
dochádzaním (často chudobní) - Xerox vylúčil z dát
• Talent – napr. korelácia s manga fanúšikmi (vylučuje
mnohé ženy)
• eSkóre: približné fin. zázemie podľa dát o správaní
+ zdravotný stav, politické preferencie, uväznenie,
nákupy v obchodoch (niektoré korelovali s neskorými
platbami používateľov v banke)... spárované s
verejne dostupnými dátami – balíčky od data
brokerov
Chyby v dátach..

11. Teror efektivity v práci
Prispôsobenie otváracích
hodín podľa predikcií z
veľkých dát pre čo
najvyšší zisk
• Clopening (Starbucks) –
efektíva logistika, zničená
lacná pracovná sila
• Najtvrdší kapitalizmus (keď
prší, akcie), vedia len pár dní
dopredu
• Nedá sa z toho dostať – ani
druhá práca ani štúdium
popri, rozvrátená rodina
(bez rutiny a starostlivosti...)
• V médiách, chceli zrušiť, ale
šéfovia to obchádzajú, lebo
im to znižuje prijímy

12. Meranie práce (pre vyhadzov v kríze)
• meranie počtu nových myšlienok technikov
podľa komunikácie v sieti (Cataphora)
• nie každý sa o info. delí v sieti, možno iné
devízy
• radšej sledovať čo zamestnanci vedia pre
tvorbu efektívnych tímov – IBM a Microsoft
• Neexistuje spätná väzba, či sa im v inej práci
darilo

13. • Meranie skóre učiteľov podľa tajného
„value added model“
• 1983 sa zistilo, že skóre v testoch študentov
sa za 20 r. rapídne znížilo...nezisťovalo sa
prečo – učitelia sú na vine
• „Simpson´s paradox“ keď dáta dohromady
ukážu jeden trend, ale rozsegmentované do
skupín (napr. podľa prijímu) ukážu iný – tam
všade skóre stúpalo..dohromady klesalo,
lebo školy sa otvorili pre všetkých)
• VAM: skúsený učiteľ mal 1. rok skóre 6/100,
nevedel, čo má zlepšiť, učil naďalej, 2. rok
96/100
• Neskôr meranie podľa pomeru výkonu a
predpokladaného výkonu pre daného
človeka – odhady nad odhady
• Kvalita učiteľa sa nedá kvantifikovať...testy
učiteľov pozastavené (nezrušené)

14. Výpočet rizikovosti klienta v banke aj mimo nej
• Kreditka: manžel dostal, manželka
(bonitnejšia) nie
• Málo dát o ženách
• FICO model: výpočet rizikovosti pre každého
zvlášť podľa finančného správania, keď meškali
tí s vysokým skóre, prispôsobenie (OK)
• Skóre sa teraz využíva aj pri prijímaní do
zamestnania (= zodpovedný človek) – legálne v 40
štátoch
• ZestFinance – denné pôžičky podľa kalkulácie
rizika
• all data is credit data : fin. správanie + napr. či si
prečítajú pravidlá, gramatické chyby v dotazníku …
(rule followers=nižšie riziko)
• úrok len 2x vyšší, nie 3x ako ostatné podobné
V 50.rokoch sa bankár čiernym
nedával úver

15. Čerešnička:
eSkore už aj v láske
• skóre na základe finančného
správania (klikanie na bmw
alebo bazáry?)
• Spájanie ľudí s podobným
kreditom

16. Povinné poistenie áut
• vychádza z rizikovosti na základe nehôd
+ súkromného algoritmu z korelujúcich
(nie kauzálnych) dát
• napr. finančné správanie
• Človek s čistým registrom môže zaplatiť aj
viac ako odsúdený za alkohol za volantom
• ako dostať aj od ľudí s čistým registrom
viac..
• Nové dáta podľa kamerových záznamov
vodičov kamiónov
• N. podľa rizikovosti ciest, po ktorých chodí
(skôr ukradnú), rýchlosť..
• 5-50% lacnejšie poistné, súkromie bude
luxus

17. Nemocnice
• Chceli objektivitu pri
určovaní urgentných
prípadov
• Použili dáta z poisťovní
(finančné)
• Predpoklad: čím viac
výdavkov, tým urgentnejší
prípad
= Hlúposť

18. „Spravodlivosť“
pre všetkých

19. Algoritmy budú
vždy diskriminovať
Aké sú riešenia?

20. Transparentnosť?
Otvorený celý kód? Kto by
to robil

21. Transparentnosť
Iba relevantné časti by mali byť
otvorené (accountability)
Auditovateľnosť ako povinnosť
• Zatiaľ dobrovoľné, využívajú
firmy, ktoré vedia, že majú
problém
• Audit vyjde lacnejšie

22. Žiadanosť (desirability)
• Ide proti záujmom jednotlivca? =
Sú nefér? Poškodzujú životy?
• Ako to majú inžinieri vedieť?
(Pýtajú sa ich)
• Spolupráca
• Je to potrebné pre spoločnosť?
Nevytvárať len preto, že môžem

23. Overenie s ľuďmi, prijatie (acceptability)
• Pýtať sa odborníkov (Nemocnice:
doktori)
• Zahrnúť používateľskú spätnú väzbu
• Zahrnúť znalosti o probléme
(napr. bezdomovectvo)
• Pochopiteľnosť používateľmi
(vysvetliteľnosť)
• Singapur

24. Rešpektovanie legislatívy,
spoločenských hodnôt a
dôvery
• Google Glass
• Face recognition
• Drony...

25. Manažment dát
• Využívam dáta, čo
mám, alebo aké
potrebujem?
• Sú kvalitné?
Neobsahujú bias?
• Nie z minulosti a
bez spätnej väzby
• Nemonetizovať dáta,
predávať produkt
• Nie bezhraničný
Sillicon Valey model

26. Manažment dát: Definovať
zraniteľné skupiny
Rasizmus, šovinizmus, starší ľudia...
= dáta, čo pomáhajú reprodukovať
staré vzorce a chyby alebo je ich málo
(väčšinou všetci okrem mužov v
strednom veku a zo strednej vrstvy)

27. Pozor na
generalizáciu
Modelovanie, vzory –
problematické, vždy budú ľudia
mimo normy
• Kto to bude? Aké by to
bolo, keby ste to boli vy?
Ak nie sú modely férové, treba
vyhodiť problematické dáta (ak
keď veľmi korelujú)
• Férovosť nie je
vypočítateľná a
zahrnuteľná
(=neférovosť)

28. Potrebné pýtať sa aj prečo sa niečo deje
(nielen, že sa to štatisticky deje)
• Benefit pre spoločnosť aj pre jednotlivca

29. V tomto prípade nerecyklovať
Aplikujú sa algoritmy plošne?
Urobiť čo najviac a najlepšie
ako sa dá z toho, čo existuje

30. Určiť zodpovednosť

31. Na záver
• Dobré algoritmy môžu robiť
lepšie rozhodnutia, ale tam
ešte nie sme
• Často je chybou nedostatok
vedomostí, nie zlé zámery
• Sú potrebné hranice (ako pri
autách)
• Auditovateľnosť
(transparentnosť)
• Vysvetliteľnosť
• Pochopiteľnosť a prijateľnosť
• Férovosť
• Kvalita dát...

32. Základné zdroje