Dokumen tersebut membahas pengertian dan konsep dasar datawarehouse, termasuk skema model data, metodologi pembangunan, dan operasi OLAP."

1. Manajemen
DATA
Adam Mukharil Bachtiar, M.T.
Pengenalan Datawarehouse

2. Pemahaman Awal Datawarehouse

3. apa itu Datawarehouse?

4. Sebuah pendekatan penyimpanan data yang cenderung
menyimpan data masa lalu yang mempunyai karakteristik
Subject Oriented, Integrated, Time Variant,
dan Nonvolatile

5. Konsep Subject Oriented
Datawarehouse menyajikan informasi sekitar subjek bisnis dibandingkan operasi yang terjadi
OPERATIONAL DATAWAREHOUSE
E-Commerce
Transaksi Penjualan Pelanggan
E-Library
Peminjaman - Pengembalian Buku

6. Konsep Integrated
Datawarehouse mengintegrasikan data dari sumber yang heterogenous (beda sumber atau beda format)
Basis Data PT. X Cabang 1
Basis Data PT. X Cabang 2
Flat File PT. X Cabang 3
Datawarehouse PT. X

7. Tantangan Integrasi

8. Konsep Time Variant
• Time horizon: 60-90 days
• Update of records
• Key structure may/may not contains
element of time
OPERATIONAL DATAWAREHOUSE
• Time horizon: 5-10 years
• Sophisticated snapshots of data
• Key structure contains element of
time

9. Konsep Time Variant

10. Konsep Nonvolatile
Data yang sudah ada pada datawarehouse tidak akan dihapus ketika data baru ditambahkan

11. Sebelum membahas lebih
lanjut tentang datawarehouse,
ada aturan dasar yang berlaku
pada datawarehouse

12. Aturan 1:
Datawarehouse dibuat
terpisah dengan basis data
operasional agar kinerjanya
lebih baik

13. Aturan 2:
Tidak ada frequent update
pada datawarehouse

14. Aturan 3:
Datawarehouse
menyimpan data historical
yang digunakan untuk
analisis bisnis

15. Aturan 4:
Setiap elemen kunci pada
datawarehouse wajib
memiliki elemen waktu

16. Kenapa Datawarehouse?

17. Legacy applications + databases = chaos
Production Control
MRP
Inventory
Control
Parts Management
Logistics
Shipping
Raw Goods
Order Control
Purchasing
Marketing
Finance
Sales
Accounting
Management
Reporting
Engineering
Actuarial
Human
Resources
Continuity
Consolidation
Control
Compliance
Collaboration
Enterprise data warehouse = order
Single version of the
truth
Enterprise Data
Warehouse
Every question = decision
Dua tujuan datawarehouse: 1) menghemat waktu pembuatan laporan; 2) mudah mengkotak-kotakan data

18. Apa perbedaan Datawarehouse
dengan basis data operasional?

19. DATABASE (OLTP) DATA WAREHOUSE (OLAP)
• Menangani data saat ini
• Data bisa saja disimpan pada beberapa
platform
• Data diorganisasikan berdasarkan fungsi
atau operasi seperti penjualan, produksi, dan
pemrosesan pesanan
• Pemrosesan bersifat berulang
• Untuk mendukung keputusan harian
(operasional)
• Melayani banyak pemakai operasional
• Berorientasi pada transaksi
• Lebih cenderung menangani data masa lalu
• Data disimpan dalam satu platform
• Data diorganisasikan menutut subjek seperti
pelanggan atau produk
• Pemrosesan sewaktu-waktu, tak terstruktur,
dan bersifat heuristik
• Untuk mendukung keputusan yang strategis
• Untuk mendukung pemakai manajerial yang
berjumlah relatif sedikit
• Berorientasi pada analisis

20. Bagaimana implementasi
Datawarehouse?

21. Data
Warehouse
Extract
Transform
Load
Refresh
OLAP Engine
Analysis
Query
Reports
Data mining
Monitor
&
Integrator
Metadata
Data Sources Front-End Tools
Serve
Data Marts
Operational
DBs
Other
sources
Data Storage
OLAP
Server
Arsitektur Datawarehouse

22. Arsitektur Datawarehouse (alternatif)

23. Model Data Pada Datawarehouse

24. Data dari OLTP
(Operasional) dipartisi
menjadi dua bentuk, yaitu
tabel dimensi dan tabel fakta

25. Tabel dimensi berisi detail
informasi dari kunci tamu
yang digunakan pada
pengaksesan tabel fakta

26. Tabel fakta berisi item numerik
hasil perhitungan agregat
berdasarkan kunci pada tabel
dimensi yang direlasikan

27. NIP NIM Kd. Matkul Nilai
Info Dosen
Info Mata Kuliah
. . .
Ukuran numerik
dari tabel fakta
Kolom-kolom kunci dari tabel fakta
juga kunci dari tabel-tabel dimensiInfo Mahasiswa
. . .. . .. . .. . .
Tabel-tabel
dimensi
Tabel fakta
Gambaran Tabel Dimensi dan Tabel Fakta

28. ER model berfokus terhadap
transaksional sementara
Dimensional Modelling berfokus
kepada dimensi dan fakta

29. Konsep ER Model

30. Konsep Dimensional Modelling
Item Numerik

31. Ada tiga jenis skema model
data pada datawarehouse,
yaitu star, fact constellation,
dan snowflake

32. STAR FACT CONSTELATION SNOWFLAKE
KONSEP DASAR
• Tabel dimensi berelasi
langsung dengan satu
tabel fakta
• Tabel dimensi tidak
bertingkat (denormalisasi)
• Tabel fakta berbagi tabel
dimensi dengan tabel
fakta lainnya
• Multiple facts
Tabel dimensi utama
berelasi dengan tabel fakta
dan dimensi lainnya berelasi
dengan dimensi utama
KELEBIHAN
Akses cepat dan mudah
dipahami oleh pengguna
Hemat ruang Mengurangi redundansi
karena ternormalisasi
KEKURANGAN
Boros ruang Tabel dimensi yang berelasi
dengan banyak fakta
kinerjanya menurun apabila
diakses bersamaan
Konsep normalisasi
menimbulkan query yang
kompleks

33. Store Key
Product Key
Period Key
Units
Price
Time Dimension
Product
Dimension
Store Key
Store Name
City
State
Region
Period Key
Year
Quarter
Month
Product Key
Product Desc
Store Dimension Sale Fact
Skema Star

34. Skema Fact Constellation
Store Key
Product Key
Period Key
Units
Price
Store Dimension
Product
Dimension
Sales Fact
Store Key
Store Name
City
State
Region
Product Key
Product Desc
Shipper Key
Store Key
Product Key
Period Key
Units
Price
Shipping Fact

35. Skema Snowflake
Store Key
Product Key
Period Key
Units
Price
Time Dimension
Product
Dimension
Sale Fact
Store Key
Store Name
City Key
Period Key
Year
Quarter
Month
Product Key
Product Desc
City Key
City
State
Region
City Dimension
Store Dimension

36. Metodologi Pembangunan Datawarehouse

37. Ada dua pendekatan yang
biasa digunakan untuk
membangun datawarehouse

38. Dua Methodologi Umum Datawarehouse (Common)
Pendekatan Relasional
Bill Inmon Ralph Kimball
Pendekatan Dimensional

39. Dua pendekatan ini memiliki
perbedaan dari penyusunan
datawarehouse maupun
pendekatan skema data

40. INMON (RELATIONAL APPROACH) KIMBALL (DIMENTIONAL APPROACH)
• Entity Relationship (ER) model
• Normalization rules
• Many tables using joins
• History Tables, natural keys
• Good for indirect end-user access of data
• Top-down approach
• Fact and dimensions, star schema
• Less tables but have duplicate data
(denormalized)
• Easier for user to understand (but strange for
IT people used to relational)
• Slowly changing dimensions, surrogate keys
• Good for direct end-user access of data
• Bottom-up approach

41. Relational Model Dimensional Model
If you are a business user, which model is easier to use?
Relational VS. Dimension Approach

42. Konsep Kimball
Why staging: Limit source contention (ELT), Recoverability, Backup, Auditing

43. Konsep Inmon

44. Dari dua pendekatan
tersebut, timbul sebuah
pendekatan baru yang
disebut sebagai Hybrid

45. Konsep Hybrid

46. Perancangan Datawarehouse

47. Datawarehouse dibuat untuk
mendukung pengambilan
keputusan pihak manajerial

48. Tahap pertama dalam
merancang datawarehouse
adalah mendefinisikan
informasi-informasi apa saja
yang dibutuhkan

49. Ada enam pertanyaan dasar
yang ditanyakan sebelum
merancang datawarehouse

50. Pertanyaan 1:
Siapa yang membutuhkan
informasi dari datawarehouse?

51. Pertanyaan 2:
Informasi apa saja yang
dibutuhkan?

52. Pertanyaan 3:
Seperti apa layout dan isi
informasi-informasi tersebut?

53. Pertanyaan 4:
Kapan informasi tersebut
digunakan?

54. Pertanyaan 5:
Untuk keperluan apa informasi
tersebut?

55. Pertanyaan 6:
Basis data apa yang menjadi
sumber informasi tersebut?

56. Bagaimana
implementasinya?

57. Pertanyaan 1:
Siapa yang membutuhkan informasi dari
datawarehouse?
Jawaban:
Manajer pemasaran

58. Pertanyaan 2:
Informasi apa saja yang dibutuhkan?
Jawaban:
• Barang apa saja yang paling banyak dijual
di lokasi tertentu sepanjang tahun
• Barang apa yang paling banyak
memberikan pendapatan sepanjang tahun

59. Pertanyaan 3:
Seperti apa layout dan isi informasi-informasi
tersebut?

60. Jawaban:
TAHUN KECAMATAN KATEGORI SUM(TOTAL_PENJUALAN)
2007 ANDIR KONSUMSI 26
2007 SUMUR BANDUNG ATK 17
2007 ASTANA ANYAR ATK 16
2007 BANDUNG WETAN KONSUMSI 15
2007 SUMUR BANDUNG KONSUMSI 13
2007 ANDIR ATK 13
2007 BANDUNG WETAN ATK 7
Barang apa saja yang paling banyak dijual di lokasi tertentu sepanjang tahun?
TAHUN KECAMATAN SUBKATEGORI SUM(TOTAL_PENDAPATAN)
2007 ATK ALAT TULIS 4.270.000
2007 ATK ELEKTRONIK 511.000
2007 KONSUMSI SEMBAKO 116.000
2007 KONSUMSI SNACK 87.100
Barang apa yang paling banyak memberikan pendapatan sepanjang tahun?

61. Pertanyaan 4:
Untuk keperluan apa informasi tersebut?
Jawaban:
Dasar untuk menentukan strategi
penjualan barang

62. Pertanyaan 5:
Kapan informasi tersebut digunakan?
Jawaban:
Awal periode penjualan

63. Pertanyaan 6:
Basis data apa saja yang menjadi sumber informasi tersebut?
Jawaban:
• Barang (#kode_barang, nama_barang, kelompok, satuan, harga)
• Kategori (#kelompok, sub_kategori, kategori)
• Pelanggan (#kode_cust, nama_cust, alamat, kota, kode_pos, telepon)
• Lokasi (#kode_pos, kelurahan, kecamatan)
• Penjualan (#no_faktur, #kode_barang, qty)
• Pembayaran (#no_faktur, tanggal, total, discount, #kode_cust)

64. Tahap kedua dalam merancang
datawarehouse adalah
menentukan measure dan
dimension per informasi

65. Informasi:
Barang apa saja yang paling banyak dijual di lokasi
tertentu sepanjang tahun?
Jawaban:
Measure: total penjualan
Dimension: barang, tahun (waktu/periode), lokasi

66. Informasi:
Barang apa saja yang memberikan pendapatan
paling banyak sepanjang tahun?
Jawaban:
Measure: total pendapatan
Dimension: barang, tahun (waktu/periode)

67. Dimensi mempunyai hirarki dan
hirarki ditentukan sesuai dengan
proses drill down dan roll up
pada OLAP

68. Hirarki Barang:
Nama barang > sub kategori > kategori
Hirarki Periode:
Minggu > bulan > tahun
Hirarki Lokasi:
Kelurahan > kecamatan > kota

69. BARANG PERIODE LOKASI TOTAL
PENJUALAN
TOTAL
PENDAPATAN
KODE NAMA
SUB
KATEGORI
KATEGORI MINGGU BULAN TAHUN KELURAHAN KECAMATAN KOTA
B-001 SUKRO SNACK KONSUMSI 44 11 2007 ARJUNA ANDIR BANDUNG 5 12.500
45 11 2007 ARJUNA ANDIR BANDUNG 1 2.500
45 11 2007 SUKALUYU
BANDUNG
WETAN
BANDUNG 1 2.500
45 11 2007 BRAGA
SUMUR
BANDUNG
BANDUNG 2 5.000
9 22.500
..
..
TOTAL 54.500
Layout Informasi

70. Tahap ketiga adalah
perancangan konseptual
menggunakan tiga skema yang
sudah dijelaskan

71. Kode_barang
Kode_periode
Kode_lokasi
Total_penjualan
Total_pendapatan
Tabel Dimensi
Lokasi
Tabel Dimensi
Waktu
kode_barang
nama_barang
sub_kategori
kategori
Kode_lokasi
kelurahan
kecamatan
kota
Kode_periode
minggu
bulan
tahun
Tabel Dimensi
Barang
Tabel Fakta
Penjualan
Model Konseptual

72. Tahap terakhir adalah
mengimplementasikan
rancangan skema
datawarehouse ke DBMS

73. Masing-masing metodologi
pengembangan
datawarehouse punya
proses yang berbeda

74. OLAP (Online Analytical Processing)

75. Kategori dari teknologi perangkat lunak yang memungkinkan
analist, manajer, dan eksekutif mendapatkan insight pada
data secara cepat, konsisten, interaktif, aneka
ragam tampilan dari datawarehouse

76. OLAP merepresentasikan
data dan relasi dalam
bentuk multidimensional

77. Representasi data pada
multidimensional
biasanya disajikan dalam
bentuk cube

78. Setiap sisi pada suatu
cube adalah dimensi
yang ada pada
datawarehouse

79. Gambaran Umum Multidimensional Data

80. Gambaran Umum Multidimensional Data
Kubus 3-dimensi:
Tabel fakta:
sale prod-Id store-Id tgl jumlah
p1 s1 1 12
p2 s1 1 11
p1 s3 1 50
p2 s2 1 8
p1 s1 2 44
p1 s2 2 4
tgl 2 s1 s2 s3
p1 44 4
p2 s1 s2 s3
p1 12 50
p2 11 8
tgl 1

81. Ada empat operasi dasar
OLAP pada multidimensional
data

82. 1. Aggregation (Roll Up)
2. Navigation to detailed data (Drill Down)
3. Selection (Slice and Dice)
4. Visualization Operation (Pivot)

83. Operation 1:
Roll Up

84. Roll up mengaggregasikan
data pada suatu cube

85. Aggregasi dibentuk
dengan dua cara: climbing
up sesuai hirarki dimensi
dan reduksi dimensi

86. Gambaran Umum Roll Up
Hirarki Locations:
street < city < province < country

87. Gambaran Umum Roll Up

88. Gambaran Umum Roll Up
tgl 2 s1 s2 s3
p1 44 4
p2 s1 s2 s3
p1 12 50
p2 11 8
tgl 1
s1 s2 s3
p1 56 4 50
p2 11 8
s1 s2 s3
sum 67 12 50
sum
p1 110
p2 19
129
. . .
Contoh: penghitungan total

89. Operation 2:
Drill Down

90. Drill down mendetailkan
informasi pada suatu cube
dan merupakan kebalikan
dari Roll up

91. Drill down dibentuk
dengan dua cara: stepping
down hirarki dimensi dan
pengenalan dimensi baru

92. Gambaran Umum Drill Down
Hirarki time:
day < month < quarter < year

93. Gambaran Umum Drill Down

94. Operation 3:
Slice

95. Slice digunakan untuk
memilih satu dimensi yang
dibutuhkan untuk dibentuk
sub-cube baru

96. Gambaran Umum Slice
Time = “Q1”

97. Gambaran Umum Slice
tgl 2 s1 s2 s3
p1 44 4
p2 s1 s2 s3
p1 12 50
p2 11 8
tgl 1
s1 s2 s3
p1 12 50
p2 11 8
WAKTU = tanggal 1

98. Operation 4:
Dice

99. Dice digunakan untuk memilih
dua atau lebih dimensi yang
dibutuhkan untuk dibentuk
sub-cube baru

100. Gambaran Umum Dice
Location = “Toronto” or “Vancouver”
Time = “Q1” or “Q2”
Item = “Mobile” or “Modem”

101. Operation 5:
Pivot

102. Pivot memungkinkan rotasi
(perubahan baris dan kolom)
pada informasi yang dimunculkan
pada datawarehouse

103. Gambaran Umum Pivot
Item dan Location dirotasi

104. Gambaran Umum Pivot