Data warehouse
Arsitektur data warehouse
review
• jelaskan pengertian data driven decision making
• jelaskan pengertian data warehouse
• jelaskan perbedaan data warehouse dengan database dari segi tujuan
• jelaskan perbedaan data warehouse dengan database dari segi
sumber data
Centralized data warehouse
Data
warehouse
Database
aplikasi 2
Database
aplikasi 3
Database
aplikasi 4
Database
aplikasi 1
Centralized data warehouse
• Terdiri atas 1 data warehouse
• data dari berbagai database dicopy ke data warehouse
• Kesulitan : membutuhkan good will berbagai bagian di organisasi
untuk bekerja sama. Di lapangan, hal ini sulit tercapai
Datamart
Data
warehouse
Database
aplikasi 2
Data mart 2
Database
aplikasi 1
Database
aplikasi 3
Data mart 1
Data mart 3
ETL
Datamart
• Data warehouse bisa jadi bukan merupakan akhir aliran data dari
database aplikasi
• Data dari data warehouse bisa dikirim ke datamart
• Analogi
❖Data warehouse : Gudang
❖Datamart : pengecer
• Beberapa tipe data mart
❖Dependent
❖Independent
Datamart
• Dependent datamart mendapatkan supplai data dari data warehouse
• Independent datamat mendapatkan data langsung dari database
aplikasi
Datamart
Datamart
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
• Centralized
❖Menggunakan 1 data warehouse
❖menjadi hypermarket data untuk pengambilan keputusan seluruh organisasi
❖Harus ada kemauan antara bagian2 organisasi untuk bekerja sama
❖Perubahan pada satu database aplikasi akan menyebabkan efek berantai
pada keseluruhan data warehouse
• Component based
❖Terdiri atas beberapa bagian
❖Perubahan pada satu database aplikasi hanya berpengaruh pada 1
komponen
❖Membutuhkan usaha untuk menyatukan berbagai komponen, sulit
diintegrasikan
❖Kadang data di satu komponen tidak sinkron dengan komponen lain
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Pilihan arsitektur data warehouse
Cube (multidimensional database)
• data warehouse dibangun di atas RDBMS dan data cube
• Data cube merupakan tipe database yang cocok untuk pengolahan
data dimensional seperti data warehouse
• eksekusi query lebih cepat
• data cube lebih sesuai digunakan di data mart yang ukuran datanya
lebih kecil (100 giga)
• kurang fleksibel dibandingkan RDBMS
• Jadi sebuah data warehouse bisa dibangun di atas RDBMS, data cube
atau gabungan keduanya
Cube (multidimensional database)
Staging layer
Komponen internal data warehouse
• Staging layer :
❖Menampung data yang dicopy dari berbagai database aplikasi
❖Bisa terjadi transforasi data sebelum dikirim ke user access layer. Diusahakan
seminimal mungkin transformasi
❖Bagian e dari etl (extract, transform dan load)
• User access layer
❖Merupakan data warehouse dari perspektif user
❖Tempat star skema, snowflake, dimensional table, dll
❖Tempat user mengambil data untuk membuat keputusan
Staging layer
• Staging layer
• Menerima copy image data dari database
Jenis staging layer
• Persistent staging layer
❖data yang sudah diload ke user access layer tetap tersimpan di staging layer
❖Jika ada penambahan data baru ke staging layer, dilakukan append
• Non persisten staging layer
❖data yang sudah diload ke user access layer tidak tersimpan di staging layer
Staging layer
staging layer
Salah satu bentuk arsitektur dengan staging
layer
Thx

arsitektur data warehouse.pptx

  • 1.
  • 2.
    review • jelaskan pengertiandata driven decision making • jelaskan pengertian data warehouse • jelaskan perbedaan data warehouse dengan database dari segi tujuan • jelaskan perbedaan data warehouse dengan database dari segi sumber data
  • 3.
    Centralized data warehouse Data warehouse Database aplikasi2 Database aplikasi 3 Database aplikasi 4 Database aplikasi 1
  • 4.
    Centralized data warehouse •Terdiri atas 1 data warehouse • data dari berbagai database dicopy ke data warehouse • Kesulitan : membutuhkan good will berbagai bagian di organisasi untuk bekerja sama. Di lapangan, hal ini sulit tercapai
  • 5.
    Datamart Data warehouse Database aplikasi 2 Data mart2 Database aplikasi 1 Database aplikasi 3 Data mart 1 Data mart 3 ETL
  • 6.
    Datamart • Data warehousebisa jadi bukan merupakan akhir aliran data dari database aplikasi • Data dari data warehouse bisa dikirim ke datamart • Analogi ❖Data warehouse : Gudang ❖Datamart : pengecer • Beberapa tipe data mart ❖Dependent ❖Independent
  • 7.
    Datamart • Dependent datamartmendapatkan supplai data dari data warehouse • Independent datamat mendapatkan data langsung dari database aplikasi
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
    Pilihan arsitektur datawarehouse • Centralized ❖Menggunakan 1 data warehouse ❖menjadi hypermarket data untuk pengambilan keputusan seluruh organisasi ❖Harus ada kemauan antara bagian2 organisasi untuk bekerja sama ❖Perubahan pada satu database aplikasi akan menyebabkan efek berantai pada keseluruhan data warehouse • Component based ❖Terdiri atas beberapa bagian ❖Perubahan pada satu database aplikasi hanya berpengaruh pada 1 komponen ❖Membutuhkan usaha untuk menyatukan berbagai komponen, sulit diintegrasikan ❖Kadang data di satu komponen tidak sinkron dengan komponen lain
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
    Cube (multidimensional database) •data warehouse dibangun di atas RDBMS dan data cube • Data cube merupakan tipe database yang cocok untuk pengolahan data dimensional seperti data warehouse • eksekusi query lebih cepat • data cube lebih sesuai digunakan di data mart yang ukuran datanya lebih kecil (100 giga) • kurang fleksibel dibandingkan RDBMS • Jadi sebuah data warehouse bisa dibangun di atas RDBMS, data cube atau gabungan keduanya
  • 20.
  • 21.
  • 22.
    Komponen internal datawarehouse • Staging layer : ❖Menampung data yang dicopy dari berbagai database aplikasi ❖Bisa terjadi transforasi data sebelum dikirim ke user access layer. Diusahakan seminimal mungkin transformasi ❖Bagian e dari etl (extract, transform dan load) • User access layer ❖Merupakan data warehouse dari perspektif user ❖Tempat star skema, snowflake, dimensional table, dll ❖Tempat user mengambil data untuk membuat keputusan
  • 23.
  • 24.
    • Staging layer •Menerima copy image data dari database
  • 25.
    Jenis staging layer •Persistent staging layer ❖data yang sudah diload ke user access layer tetap tersimpan di staging layer ❖Jika ada penambahan data baru ke staging layer, dilakukan append • Non persisten staging layer ❖data yang sudah diload ke user access layer tidak tersimpan di staging layer
  • 30.
  • 31.
  • 32.
    Salah satu bentukarsitektur dengan staging layer
  • 33.