Online kurs: Analiza podataka u poslovnoj i inženjerskoj praksi. Mašinski fakultet Univerziteta u Nišu. Nedelja 3, resurs 5: Skupovi podataka. Realizacija: Milan Zdravković http://160.99.22.125:9000/courses/course-v1:MEF+OKAP+2018-19_S2/about

1. Skupovi podataka - datasetovi

2. Šta znamo o datasetovima?
• Svrha i vrsta problema za čije se rešavanje koristi
– Regresija, klasifikacija, klasterovanje
• Vrste podataka
– Univarijatni i multivarijatni
– Sekvencijalni
– Vremenske serije
– Tekstualni korpus
– Skup slika sa poznatim, definisanim značenjem
• Tipovi podataka u datasetu
– Realni brojevi, celi brojevi, tipovi kategorije, tekstualni, vreme, nepoznato (?)..
• Dimenzije
– Broj atributa, broj instanci/podataka/vrsta
• Formati
– Comma Separated Values (CSV) datoteka
– Hijerarhijski format - JSON, XML datoteka
– Relacione baze podataka – SQL skript

3. Tipovi kategorije
• Vrednosti
mogu biti
numeričke
(ocena) i
tekstualne
• Nominalni
– Ne postoji red
• Ordinalni
– Postoji red

4. Repozitorijum otvorenih datasetova
Irvine univerziteta u Kaliforniji
https://archive.ics.uci.edu/ml/datasets.html

5. Kaggle datasetovi
https://www.kaggle.com/datasets

6. Ostali izvori
• Open Data Network
– https://www.opendatanetwork.com/
• Data is Plural
– https://docs.google.com/spreadsheets/d/1wZhPLMCHKJv
wOkP4juclhjFgqIY8fQFMemwKL2c64vk/edit#gid=0
• Datasetovi za deep learning:
– http://deeplearning.net/datasets/
– Muzički, fotografije, lica, tekst, govor, recommender
sistemi
• Datasetovi za računarsku viziju
– https://www.visualdata.io/
• ...

7. PRIMER: Analiza preživljavanja nesreće
broda Titanik
• https://www.kaggle.com/c/titanic
• Veličine
– Passenger class (nominal)
• 1,2,3
– Sex (nominal)
• male, female
– Age (int)
– Number of siblings + spouses on board (int)
– Number of parents + childs on board (int)
– Fare (real)
– Label of the port of embarkation (nominal)
• S,C,Q
– Survived (nominal)
• NO, YES

8. PRIMER: Klase ličnih primanja, na osnovu
različitih parametara stanovnika
• https://archive.ics.uci.edu/ml/datasets/Adult
• Veličine
– Starost (int)
– Klasa radnika (nominal)
• Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked.
– Fnlwgt (int)
– Obrazovanje (nominal)
• Bachelors, Some-college, 11th, HS-grad, Prof-school, Assoc-acdm, Assoc-voc, 9th, 7th-8th, 12th, Masters, 1st-4th, 10th, Doctorate,
5th-6th, Preschool.
– Ocena obrazovanja (int)
– Bračni status (nominal)
• Married-civ-spouse, Divorced, Never-married, Separated, Widowed, Married-spouse-absent, Married-AF-spouse.
– Zanimanje (nominal)
• Tech-support, Craft-repair, Other-service, Sales, Exec-managerial, Prof-specialty, Handlers-cleaners, Machine-op-inspct, Adm-clerical,
Farming-fishing, Transport-moving, Priv-house-serv, Protective-serv, Armed-Forces.
– Porodična veza (nominal)
• Wife, Own-child, Husband, Not-in-family, Other-relative, Unmarried.
– Rasa (nominal)
• White, Asian-Pac-Islander, Amer-Indian-Eskimo, Other, Black.
– Pol (nominal)
• Female, Male
– Prijavljeni prihod (int)
– Prijavljeni rashod (int)
– Broj radnih sati u nedelji (int)
– Nacionalnost (nominal)
• Zemlje
– Klasa ličnih primanja (nominal)
• >50K, <=50K

9. PRIMER: Klasifikacija cenovnog ranga
mobilnog telefona
• https://www.kaggle.com/iabhishekofficial/mobile-price-classification
• Veličine
– Energija skladištenja baterije u mAh
– Ima bluetooth ili ne
– Brzina procesora
– Dual sim
– Broj megapiksela prednje kamere
– Podržava 4G ili ne
– Količina interne memorije u GB
– Dubina u cm
– Težina
– Broj jezgara
– Broj megapiksela glavne kamere
– Rezolucija u pikselima po visini
– Rezolucija u pikselima po širini
– Količina RAM memorije u GB
– Visina ekrana u cm
– Širina ekrana u cm
– Maksimalna dužina razgovora
– Podržava 3G ili ne
– Ima touch screen ili ne
– Ima wifi ili ne
– Cenovni rang (0 – low cost,1 – medium cost,2 – high cost,3 – very high cost)

10. PRIMER: Politički stavovi glasača u
Turskoj
• https://www.kaggle.com/yemregundogmus/turkey-political-opinions
• Veličine
– Pol
– Starost
– Oblast stanovanja
– Nivo obrazovanja
– Mišljenje o ekonomskoj snazi
– Mišljenje o potrebi reforme obrazovanja
– Mišljenje o privatizaciji
– Mišljenje o smrtnoj kazni
– Mišljenje o slobodi štampe
– Mišljenje o zabrani točenja alkohola posle 22:00
– Mišljenje o sekularnoj državi
– Mišljenje o zabrani abortusa
– Mišljenje o slobodi
– Mišljenje o potrebi za novom političkom partijom
– Partija za koju glasač glasa

11. PRIMER: Utvrđivanje verovatnoće
bankrota korisnika kreditnih kartica
• https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clie
nts
• Veličine
– Limit kreditne kartice
– Pol
– Nivo obrazovanja
– Bračni status
– Godine starosti
– Uplate na račun kreditne kartice u proteklih šest meseci (po svakom
mesecu)
• Na vreme, kašnjenje 1 mesec, 2 meseca, 3 meseca, itd.
– Iznos duga na kraju svakog od proteklih šest meseci
– Iznos uplata za svaki od proteklih šest meseci
– Bankrot utvrđen narednog meseca (da/ne)