Metadata digunakan untuk mendeskripsikan data dan proses data warehouse kepada pengguna, mencakup tujuh jenis metadata yaitu definisi data, struktur data, sistem sumber, proses ETL, kualitas data, audit, dan penggunaan. Metadata dipertahankan melalui proses perubahan skrip untuk menjaga keakuratannya.

1. METADATA PADA
DATA WAREHOUSE
SISTEM INFORMASI
UNIVERSITAS TEKNOKRAT INDONESIA
Dedi Darwis, M.Kom.

2. DAFTAR ISI
01
01
Meta Data Manager
02
Metadata di Datawarehouse
03
Maintaning Metadata
04
Alasan Metadata Dibutuhkan
05
Metadata in Data Warehousing
06
Data Mapping Metdata
07
Data Structure Metadata
08
Source System Metadata
09
ETL Process Metadata
10
Data Quality Metadata
11
Audit Metadata
12
Usage Metadata

3. Pert. 11
METADATA MANAGER
Dedi DarwIS
Metadata

4. Pert. 11
MENGENAL METADATA
 Di dalam proses menganalisis dan
menyelidiki sebuah file digital pada
digital forensic, diperlukan adanya
metadata untuk melakukan proses
forensik.
 Pada kegiatan komputer sehari-hari
yang berkaitan dengan penciptaan
file digital, terdapat metadata di
dalamnya
 Metadata memiliki peran yang
penting di dalam dunia komputer,
khususnya pada data-data digital.
Dedi DarwIS
Metadata
DEFINISI METADATA

5. Metadata berarti data yang
mendeskripsikan data. Pada
data warehousing, metadata
terdiri atas :
Lorem ipsum dolor sit amet,
consectetur adipiscing elit. Cras non
tristique magna. Sed sodales
lobortis est sit amet placerat.
KESIMPULAN
o Definisi data : Arti dan
sumber dari tiap kolom.
o Definisi dari data
warehouse itu sendiri :
Dengan kata lain, struktur
data store, proses ETL dan
kualitas data.
o Definisi dari system yang
berelasi : contoh. Source
system.
o Informasi audit (proses apa
yang berjalan dan kapan ia
berjalan) dan usage (report
dan cubes mana yang
digunakan oleh siapa dan
kapan.
Dedi DarwIS
Pert. 11 Metadata

6. Terdapat 7 jenis metadata :
Lorem ipsum dolor sit amet,
consectetur adipiscing elit. Cras non
tristique magna. Sed sodales
lobortis est sit amet placerat.
KESIMPULAN
o Data definition dan mapping metadata
berisi maksud dari tiap kolom fata dan
dimension dan dari mana data tersebut
dating.
o Data structure metadata
mendeskripsikan struktur table dalam
setiap data store.
o Source system metadata
mendesripsikan struktur data dari
database source system.
o ETL process metadata
mendeskripsikan tiap – tiap data flow di
proses ETL.
o Data quality metadata mendeskripsikan
aturan data quality, tingkatan risikonya,
dan aksinya.
o Audit metadata berisi rekaman proses
dan aktivitas di data warehouse.
o Usage metadata berisi event log dari
kegunaan aplikasi.
Dedi DarwIS
Pert. 11 Metadata

7. Data definition dan mapping metadata biasanya didefinisi dan dibuat
pada fase awal dari projek data warehousing. Setelah dibuat, mereka
dipelihara melalui prosedur permintaan perubahan. Dibandingkan
mengubahnya secara langsung pada table – table metadata,
perubahan tersebut harus diimplementasikan menggunakan script
pengubahan data. Administrator DW harus mempersiapkan script
untuk mengubah metadata kemudian menyerahkan script tersebut
untuk di eksekusi saat proses permintaan perubahan dilakukan.
Script ini berisi 3 bagian :
Log section merekam detail permintaan perubahan
ke dalam table event log. Alasan melakukannya
adalah untuk bisa di trace dan troubleshooting jika
terjadi sesuatu yang salah.
Maintaining Metadata
Rollback section mencoba untuk
membatalkan perubahan. Ini diperlukan untuk
memastikan bahwa kita dapat
mengembalikan perubahan.
Implementation section menerapkan
perubahan ke database metadata.
Hal penting yang harus dilakukan adalah menjaga agar
metadata tetap up-to-date. Struktur data yang out-of-
date atau data mapping metadata yang kadaluarsa, dapat
mengarahkan user ke pemahaman yang salah mengenai
data warehouse.
Dedi DarwIS
Pert. 11 Metadata

8. Untuk mendeskripsikan dan
menjelaskan data dan data
warehouse (struktur dan
prosesnya) ke user. Penjelasan ini
memungkinkan user untuk
menggunakan data warehouse
dengan lebih baik. Ini juga
mempermudah dalam
meningkatkan dan memelihara
data warehouse.
Digunakan untuk
tujuan audit guna
memahami apa yang
terjadi, dimana
terjadinya dan kapan
audit tersebut terjadi.
Ini digunakan oleh system untuk
menjalankan tugas operasional,
seperti menentukan aksi yang
dibutuhkan ketika “bad data”
dideteksi oleh aturan data
quality dan perintah tugas ETL
butuh dieksekusi.
Alasan Metadata Dibutuhkan:
Dedi DarwIS
Pert. 11 Metadata

9. Metadata berarti data yang menggambarkan data. Dalam data
warehouse metadata mengandung beberapa definisi diantaranya
definisi data (arti dan sumber masing-masing kolom), definisi dari
data warehouse itu sendiri dengan kata lain struktur menyimpan
data, proses ETL dan kualitas data, definisi sistem terkait misalnya
sistem sumber, informasi audit dan penggunaannya.
Metadata dapat di bagi menjadi 7 jenis, yaitu :
Metadata in Data Warehousing
Definisi data dan pemetaan metadata mengandung arti dari
setiap fakta dan dimensi kolom dimana data tersebut berasal
Struktur metadata menggambarkan struktur dari setiap tabel
pada setiap data store
Sistem sumber metadata menggambarkan struktur data
database sistem sumber
Proses ETL metadata menjelaskan setiap data flow pada proses
ETL
Metadata kualitas data menjelaskan aturan kualitas data, tingkat
resiko, dan tindakannya
Metadata audit berisi catatan proses data dan aktifitas pada data
warehouse
Penggunaan metadata berisi event log dari penggunaan aplikasi
Dedi DarwIS
Pert. 11 Metadata

10. Jika mapping metadata hanya berisi nama kolom sistem
sumber, dapat diletakkan pada tabel yang sama sebagai
metadata definisi data.
Jika mapping metadata berisi data lengkap silsilah antara
DDS, NDS/BPO, stage dan sistem sumber, maka biasanya
ditempatkan di tabel terpisah.
Data keturunan metadata membuatnya lebih mudah untuk
melakukan analisa tentang dampak. Analisa tentang
dampak adalah kegiatan untuk memahami efek perubahan
tertentu dengan unsur-unsur yang berbeda dari data
warehouse.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Cras non
tristique magna. Sed sodales lobortis est sit amet placerat. Aliquam ac
pharetra lacus, in pretium tortor. Morbi tincidunt porta eros,
KESIMPULAN
Metadata in Data Warehousing
Data Structure Metadata
Ini menggambarkan struktur DDS, NDS, ODS, dan database stage. Ini berisi definisi
tabel, indeks, referensial integritas (primary dan foreign key), constraint (null, unique),
detail identitas, detail partisi, dan views. Ini berisi jenis data untuk setiap kolom dalam
setiap tabel termasuk collation, apakah kolom adalah primary atau foreign key, dan
apakah kolom adalah kolom identitas atau dapat berisi null. Untuk DDS, juga berisi
dimensi hierarki dan detail SCD dan indeks, view, dan informasi partisi.
Struktur data metadata bila dikombinasikan dengan metadata definisi data juga dikenal
sebagai kamus data. Tujuan utama untuk menciptakan metadata ini adalah untuk
mengekspos dan menjelaskan struktur data warehouse ke user, dan dengan demikian
tidak perlu masuk ke rincian seperti indeks teks lengkap, prosedur penyimpanan, tipe
data custom, dan definisi trigger. Tujuan kedua menciptakan struktur data metadata
adalah untuk referensi ke metadata lainnya. Data struktur metadata berisi nama, tipe
data, dan deskripsi semua tabel dan kolom dalam semua data store. Metadata yang lain
perlu mengacu pada metadata struktur data untuk mendapatkan informasi tersebut.
Dedi DarwIS
Pert. 11 Metadata

11. Ini menggambarkan struktur data semua feeding sistem
sumber ke dalam data warehouse. Ini berisi jenis data,
collation, primary dan foreign key, view, index, dan partisi.
Dan juga berisi data volumetric dan data informasi profil.
Tujuan utama menciptakan sistem sumber metadata
adalah untuk mengekspos dan menjelaskan struktur
sistem sumber ke user data warehouse. Tujuan kedua
menciptakan sistem sumber metadata adalah untuk
melayani sebagai referensi untuk metadata yang lainnya.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Cras non
tristique magna. Sed sodales lobortis est sit amet placerat. Aliquam ac
pharetra lacus, in pretium tortor. Morbi tincidunt porta eros,
KESIMPULAN
Source System Metadata
ETL Process Metadata
Ini berisi deskripsi dari setiap data flow, dimana itu extract dari, apa tujuannya, apa
transformasi yang diterapkan, proses parent, dan jadwal ketika itu seharusnya dijalankan.
Seriring dengan data mapping metadata, metadata ETL berguna untuk memahami data
flow dan transformasi. Metadata ETL juga digunakan untuk menentukan urutan setiap
task yang dijalankan dalam batch ETL. Tujuan utama memiliki metadata ETL adalah
untuk mengontrol paket ETL di SSIS. Tujuan kedua memiliki metadata ETL adalah untuk
menggambarkan proses ETL.
Data Quality Metadata
Ini menggambarkan setiap aturan kualitas data, bersama dengan jenis aturan, yang tabel
dan kolom diterapkan untuk, tingkat risiko, dan tindakannya. Metadata kualitas data
digunakan untuk menentukan tindakan apa yang diambil ketika “data yang buruk”
terdeteksi.
Dedi DarwIS
Pert. 11 Metadata

12. Ini berisi hasil dari semua proses dan kegiatan dalam data
warehouse, seperti proses ETL, modifikasi data, validasi
aturan DQ, log keamanan, sistem patch, membersihkan,
pengindeksan, dan kegiatan partisi. Metadata Audit
digunakan untuk mengelola data warehouse, termasuk
pemantauan proses ETL, pemantauan kualitas data,
perangkat tambahan permintaan, patch instalasi, dan
akses keamanan pemantauan. Penggunaan sekunder
metadata audit untuk pemecahan masalah.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Cras non
tristique magna. Sed sodales lobortis est sit amet placerat. Aliquam ac
pharetra lacus, in pretium tortor. Morbi tincidunt porta eros,
KESIMPULAN
Audit Metadata
Usage Metadata
Ini berisi log yang mencatat laporan dan cubes yang digunakan oleh siapa dan kapan.
Penggunaan metadata digunakan untuk memahami akses dan pola penggunaan aplikasi
data warehouse. Misalnya, berapa kali laporan tertentu diakses dan siapa pengguna atau
departemen?
Maintaining Metadata
Definisi data dan mapping metadata biasanya didefinisikan dan dibuat pada tahap awal
project data warehouse. Setelah dibuat, kemudian dipertahankan melalui mengubah
prosedur permintaan. Daripada mengubah langsung pada metadata tabel, perubahan
perlu dilaksanakan dengan menggunakan script perubahan data. Administrator data
warehouse perlu menyiapkan skrip untuk mengubah metadata dan mengirimkan skrip
untuk dijalankan dibawah proses permintaan perubahan.
Dedi DarwIS
Pert. 11 Metadata

13. Bagian log mencatat detail
permintaan perubahan dalam tabel
event log. Alasan untuk
melakukannya adalah untuk
penelusuran dan memecahkan
masalah jika terjadi kesalahan
Bagian rollback
mencoba untuk “undo”
perubahan. Ini
diperlukan untuk
membuktikan bahwa
kita dapat
mengembalikan
perubahan
Bagian implementasi
menerapkan perubahan
ke database metadata
Skrip yang berisi 3 bagian
pada Maintaining Metadata,
yaitu :
Hal ini penting untuk menjaga
metadata up-to-date. Data
struktur out-of-date atau
metadata data mapping
outdated, dapat
menyebabkan user
mempunyai pemahaman yang
salah untuk data warehouse.
Dedi DarwIS
Pert. 11 Metadata

14. Metadata digunakan untuk
mendeskripsikan dan
menjelaskan data dan data
warehouse(struktur dan
proses) ke user. Penjelasan
ini memungkinkan user untuk
menggunakan data
warehouse yang lebih baik.
Hal ini juga membuat lebih
mudah untuk meningkatkan
dan memelihara data
warehouse.
Hal ini untuk tujuan audit
dalam memahami apa yang
terjadi, dimana hal itu terjadi,
dan kapan itu terjadi. Dan
juga digunakan oleh sistem
untuk menjalankan task
operasional, seperti
menentukan tindakan yang
diperlukan ketika “data yang
buruk” terdeteksi oleh aturan
kualitas data dan perintah
task ETL yang dijalankan.
Mengapa kita membutuhkan
metadata ?
Dedi DarwIS
Pert. 11 Metadata