Dokumen tersebut membahas konsep penting tentang data warehouse, meliputi pengertian, tipe, struktur, dan fitur-fiturnya. Data warehouse dibangun dengan mengintegrasikan data dari berbagai sumber dan memisahkannya dari basisdata operasional. Data warehouse bersifat terorientasi subjek, terintegrasi, tidak berubah, dan bervariasi secara waktu.
VULKANISME.pdf vulkanisme dan pengaruh nya terhadap kehidupan
Lingkungan Data Warehouse
1. Lingkungan
Data Warehouse
“When you are willing to make sacrifices for a
great cause, you will never be alone.”
TIF32604 Data Warehouse
Nova Eka Diana (nova.diana@yarsi.ac.id)
Fakultas Teknologi Informasi
Universitas YARSI
2. Konten
• Pengertian Data Warehouse
• Tipe Data Warehouse
• OLAP vs OLTP
• Struktur Data Warehouse
• Fitur Data Warehouse
• Granularity
• Partitioning
3. Data Warehousing
• “Data Warehouse” pertama kali diperkenalkan
oleh Bill Inmon pada tahun 1990
“Data warehouse is subject-oriented, integrated,
time-variant, and non-volatile collection of data”
• Data Warehousing: adalah proses untuk
membangun dan menggunakan data warehouse
• Data Warehouse dibangun dengan cara
mengintegrasikan data dari berbagai sumber
yang bersifat heterogen
4. Konsep Penting
• Data Warehouse (DW) adalah basisdata yang disimpan
secara terpisah dari basisdata untuk aktivitas operasional
perusahaan
• Tidak ada proses modifikasi (update) yang sering dilakukan
pada DW
• DW mengkonsolidasikan data histori yang dapat digunakan
untuk menganalisa proses bisnis perusahaan
• DW membantu level eksekutif untuk mengorganisasi,
memahami dan menggunakan data untuk mengambil
keputusan strategis
• Keberadaan DW membantu proses integrasi dari aplikasi
sistem yang bervariasi
5. Alasan Pemisahan
• Basisdata operasional (OLTP) dipisahkan dari Data
Warehouse karena:
• Dibangun untuk mendukung proses atau aktivitas yang
bersifat umum, misal: pencarian record data tertentu;
sedangkan DW memproses kueri yang kompleks dan
menampilkan data dalam bentuk umum
• OLTP Mendukung proses dari banyak transaksi yang
bersifat konkuren/paralel sehingga perlu mekanisme
kontrol dan recovery
• OLTP mendukung operasi baca dan ubah data; OLAP
hanya mendukung operasi baca data
• OLTP menyimpan data terkini; DW menyimpan data
histori
6. Tipe Aplikasi DW
• Pemrosesan Informasi
data yang tersimpan dapat diproses untuk
melayani operasi kueri, analisis statistik dasar atau
pelaporan
• Pemrosesan Analitik
mendukung operasi slice-and-dice, drill down, dan
pivoting
• Data Mining
mendukung proses penemuan pola dan asosiasi,
menyusun model analitik, klasifikasi dan prediksi
7. OLTP vs. OLAP
No Data Warehouse (OLAP) Operational Database (OLTP)
1 Memproses Data Historikal Memproses data Day to Day
2 Digunakan oleh pengguna
pengetahuan, seperti: eksekutif,
manajer dan analis
Digunakan oleh Klerk, DBA,
atau Database Profesional
3 Digunakan untuk menganalisis
bisnis
Digunakan untuk menjalankan
bisnis
4 Fokus untuk memperoleh
informasi
Fokus untuk memasukkan data
5 Berdasar Star, Snowflake, dan
Fact Constellation Scheme
Berdasar ERD model
6 Menyediakan rangkuman dan
konsolidasi data
Menyediakan data primitif dan
sangat detail
7 Jumlah pengguna adalah
ratusan
Jumlah pengguna adalah
ribuan
8. OLTP vs. OLAP (2)
No Data Warehouse (OLAP) Operational Database (OLTP)
8 Menyediakan view data yang
terangkum dan multidimensi
Menyediakan view data yang
detail dan flat
9 Jumlah record yang diakses
adalah jutaan
Jumlah record yang diakses
adalah puluhan
10 Ukuran basisdata adalah 100GB
sampe TB
Ukuran basisdata adalah
100MB sampai GB
11 Bersifat fleksibel Mempunyai performa tinggi
12. DW: Subject Oriented
• Menyediakan informasi tentang subjek-subjek
daripada operasi yang berlangsung pada
organisasi
• Tipikal subjek yang terlibat meliputi:
• Customer
• Product
• Transaction or Activity
• Policy
• Claim
• Account
14. Implementasi
• Tiap subjek biasanya diimplementasikan sebagai
serangkaian tabel yang saling terhubung dalam
data warehouse
• Subjek mungkin terdiri atas 10, 100, atau lebih
tabel fisik yang semuanya saling terhubung
17. Media Penyimpanan
• Data bisa tersimpan pada media yang berbeda,
misal DASD dan Magnetic Tape
• Bisa terdapat lebih dari satu DBMS yang
meyimpan data dalam Data Warehouse
• Data dengan probabilitas akses tinggi dan volume
data kecil medium yang cepat dan mahal
• Dua media lain:
• Fiche record bersifat detail dan legal
• optical disk murah, cepat, kapasitas besar
20. DW: Integrated
• DW dibangun dengan mengintegrasikan data dari
berbagai sumber yang heterogen, misal: RDBMS,
flat files, dan lain-lain
• Perlu dilakukan proses:
• Konversi
• Reformat
• Resequence
• Summari
24. DW: Non-Volatile
• Data lama tidak akan dihapus ketika data baru
dimasukkan ke dalam Data Warehouse
• Perubahan pada operational database (OLTP)
tidak terlihat langsung pada Data Warehouse
• Data dalam DW diload dan diakses, tapi tidak
diubah (dalam konteks secara umum)
• Data diload dalam bentuk snapshot dengan
format statis
• Perubahan DW penulisan snapshot baru
28. DW: Time-Variant
• Data dalam Data Warehouse diidentifikasi
dengan periode waktu tertentu
• Menyediakan informasi dari sisi histori
• Time variancy mengimplikasikan bahwa setiap unit
data bersifat akurat pada periode waktu tertentu
• Record memiliki timestamp, waktu transaksi, atau
penanda waktu (time horizon)
31. DW: Time-Variant (4)
• Keuntungan:
• Memungkinkan analisis data pada periode sebelumnya
• Mampu menghubungkan informasi-informasi yang ada
ke situasi sekarang
• Mampu memprediksi kondisi pada masa depan
33. Granularity
• Mendefinisikan level detail atau pembuatan
summary dari unit-unit data dalam Data
Warehouse
Level Detail Volume Data Granularity
34. Granularity: Critical Issue
• Merupakan isu desain yang paling penting dalam
membangun data warehouse
• Level granularity menentukan:
• Volume data yang disimpan serta
• Tipe kueri yang mampu diproses
Granularity Tipe Kueri
36. Granularity: Keuntungan
• Level granularity menentukan tingkat reusability
dari data warehouse oleh aplikasi-aplikasi lain
• Data yang sama dalam DW dapat digunakan
untuk:
• Marketing melihat penjualan bulanan
berdasarkan wilayah geografis
• Sales melihat penjualan oleh pegawai sales pada
wilayah tertentu untuk tiap minggunya
• Accounting melihat pendapatan yang berarti
pada perempat tahun berdasarkan jenis produk
37. Granularity: Keuntungan (2)
• Kemampuan untuk rekonsiliasi data antar
departemen lebih mudah
• Granularity rendah meningkatkan fleksibilitas untuk
merubah data
• Terdiri atas histori dari semua aktivitas dan kejadian
dalam perusahaan
• Data warehouse dapat digunakan untuk
mengakomodasi kebutuhan akan datang yang
belum diketahui
40. Granularity: Dual Level
• Keperluan untuk efisiensi penyimpanan dan
pengaksesan data
• Kemampuan untuk menganalisa data secara
lebih detail
• Diperlukan lebih dari satu level granularity
47. Living Sample Database
• Adalah subset dari true archival data atau lightly
summarized data yang diambil dari Data
Warehouse
• Aspek penting:
• Bagaimana data di-load menentukan volume
dan kerandoman data dalam basisdata
50. Partitioning
• Membagi data kedalam unit fisik yang berbeda
sehingga dapat ditangani secara independen
• “Bagaimanakah partitioning harus dilakukan?”
• Granularity dan partitioning menentukan aspek
lain dalam data warehouse
51. Partitioning: Manfaat
• Memudahkan proses dalam data warehouse:
• Loading data
• Akses data
• Archiving data
• Delete data
• Monitor data
• Menyimpan data
53. Partitioning: Kriteria
• Data dapat dibagi berdasarkan kriteria:
• Tanggal/waktu
• Segi bisnis
• Wilayah geografis
• Unit organisasi
• Semua kriteria di atas
54. Partitioning: Contoh
• Perusahaan life insurance berdasarkan Date:
• 2000 health claims
• 2001 health claims
• 2002 health claims
• 1999 life claims
• 2000 life claims
• 2001 life claims
• 2002 life claims
• 2000 casualty claims
• 2001 casualty claims
• 2002 casualty claims