Lecture notes of Data Analysis - Industrial Engineering - week 7 - Data Processing: Exploratory Data Analysis

1. PROSES DATA:
Analisis Data Eksploratori
ARIF RAHMAN
1

2. 2

3. Godsey, B, Think Like a Data
Scientist: Tackle the Data
Science Process Step-by-Step
3

4. 4

5. Cielen, D, Meysman, ADB, & Ali, M,
Introducing Data Science: Big Data,
Machine Learning, and More, Using
Python Tools
5

6. 6

7. Analisa Data Eksploratori
(Exploratory Data Analysis)
7

8. Analisis Data Eksploratori
Selama exploratory data analysis, maka perlu menyelami
lebih dalam pada ilustrasi dari data.
Informasi lebih mudah ditangkap saat data dipetakan dalam
ilustrasi gambar, sehingga biasanya menggunakan teknik
grafis untuk meningkatkan pengetahuan terhadap data dan
interaksi antar variabel.
Tujuan dari exploratory data analysis adalah untuk
mengetahui pola dari data dan menemukan anomali yang
terlewatkan sebelumnya, sehingga mampu menentukan dan
mengadaptasi model data yang sesuai dengan tujuan
analisis data.
8

9. Analisis Data Eksploratori
Teknik Visualisasi Data berbasis grafis dalam statistika
deskriptif dapat digunakan dalam exploratory data analysis
mulai dari grafik yang sederhana hingga grafik yang
kompleks.
Terkadang juga perlu memadukan beberapa model grafik
untuk mendapat ilustrasi data yang lebih banyak.
Bahkan grafik yang didukung animasi dan interaktif dapat
mempermudah mengenali data.
9

10. Tujuan Analisa Data Eksploratori
1. memaksimalkan pengetahuan (insight atau
knowledge) terhadap kumpulan data
2. mengungkap struktur dasar dari pola data;
3. mengekstrak variabel penting
4. mendeteksi outlier dan anomali
5. menguji asumsi yang mendasarinya
6. mengembangkan model parsimoni
7. menentukan setting faktor optimal
10

11. Data Warehouse
11

12. 12

13. 13

14. 14

15. 15

16. 16

17. 17

18. 18

19. DATA WAREHOUSE
Data warehouse adalah koleksi dari
data yang subject-oriented, terintegrasi, time-
varian, dan nonvolatile, dalam mendukung
proses pembuatan keputusan.
Sering diintegrasikan dengan
berbagai sistem aplikasi untuk mendukung
pemrosesan dan analisis data dengan
menyediakan platform untuk historical data.
http://www.visualmetrics.co.uk/wp-
content/uploads/data-warehouse.png
19

20. KRITERIA DATA WAREHOUSE
SUBJECT ORIENTED
Diorganisasikan seputar subjek
utama seperti customer, produk,
sales. Fokus pada pemodelan data
dan analisis data untuk pembuatan
keputusan
TERINTIGRASI
Mengintegrasikan banyak
sumber data yang heterogen
seperti: relational database,
flatfile, olap. Teknik yang
digunakan adalah data cleaning
dan integrasi data
NON-VOLATILE
Penyimpanan data yang terpisah
secara fisik yang ditransformasikan
dari lingkungan operasional. Data
warehouse tidak memerlukan
oemrisesan transaksi
TIME-VARIANT
Data disimpan untuk
menyediakan informasi 5-10
tahun yang lalu. Data
mengandung elemen waktu baik
eksplisit maupun implisit
20

21. OLAP (on-line analitical
processing)
• OLAP adalah operasi basis data untuk mendapatkan
data dalam bentuk kesimpulan dengan menggunakan
agregasi sebagian mekanisme utama.
• OLAP berbeda dengan OLTP. OLTP ( on-line
transaction processing) merupakan operasi harian
yang dilakukan dalam sistem seperti: pembayaran,
registrasi, inventori, dsb
21

22. OLTP vs. OLAP
22

23. KUBUS DATA
❑ Data warehouse didasarkan pada model data multidimensional,
dimana data dipandnag dalam ebntuk kubus data.
❑ Kubus data, seperti sales, memungkinkan data dipandang dan
dimodelkan dalam banyak dimensi
o Tabel dimensi, seperti item (item_name, brand, type), or
time(day, week,month, quarter, year).
o Tabel fakta mengandung measures (seperti dollars_sold) dan
merupakan kunci untuk setiap tabel-tabel dimensi terkait.
❑ n-D base cube dinamakan base cuboid. 0-D cuboid merupakan
cuboid pada level paling tinggi, yang menampung ringkasan data
dalan level paling tinggi, dinamakan apex cuboid. Lattice dari
cuboidcuboid membentuk sebuah data cube.
23

24. 24

25. Pemodelan Konseptual Data Warehouse
➢ Star schema: Sebuah tabel fakta di tengah-tengah
dihubungkan dengan sekumpulan tabel-tabel dimensi
➢ Snowflake schema: perbaikan dari skema star ketika
hirarki dimensional dinormalisasi ke dalam sekumpulan
tabel-tabel dimensi yang lebih kecil
➢ Fact constellations: Beberapa tabel fakta
dihubungkan ke tabel-tabel dimensi yang sama,
dipandang sebagai kumpulan dari skema star,
sehingga dinamakan skema galaksi atau fact
constellation.
25

26. CONTOH SKEMA STAR
26

27. CONTOH SKEMA SNOWFLAKE
27

28. CONTOH SKEMA GALAKSI
28

29. CONTOH KUBUS DATA
29

30. Cuboid yang terkait dengan
kubus
30

31. OPERASI- OPERASI OLAP
❖ Slicing adalah seleksi
sekumpulan sel dari seluruh array
multidimensi dengan menetapkan
nilai spesifik untuk satu
atau lebih dimensi
31

32. OPERASI- OPERASI OLAP
❖ Dicing melibatkan proses seleksi dari
subset sel dengan
menetapkan interval nilai atribut
32

33. OPERASI- OPERASI OLAP
❖ Role up adalah
mengumpulkan data-
data yang cakupannya
kecil hingga menjadi
besar. Contoh: Untuk
data penjualan, kita
dapat mengumpulkan
data penjualan dari
seluruh tanggal (harian)
dalam satu bulan.
33

34. OPERASI- OPERASI OLAP
❖ Drill down adalah
membagi data yang
cakupannya besar
menjadi lebih kecil.
Contoh: Untuk data
penjualan, kita dapat
membagi total data
penjualan bulanan (drill-
down) ke dalam total
penjualan harian.
34

35. Terima kasih ...
... Ada pertanyaan ???
35