Pentingnya Data Warehouse dalam Dunia Bisnis

7,078 views

Published on

Slide Presentasi PHI-Integration dalam event PHI BI Day November 2011.

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
7,078
On SlideShare
0
From Embeds
0
Number of Embeds
36
Actions
Shares
0
Downloads
365
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Pentingnya Data Warehouse dalam Dunia Bisnis

  1. 1. Pentingnya Data Warehouse dalam Dunia Bisnis By : Feris Thia PT. Putera Handal Indotama
  2. 2. Agenda Apa itu Data Warehouse ? Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan / Business Entity. Apa saja proses di dalam Data Warehouse ? Aplikasi ETL (Extract, Transform and Load). Kaitan Data Warehouse dengan Multi Dimensional Modelling dan Business Intelligence. Titik-titik krusial dalam Implementasi Data Warehouse.
  3. 3. INTRODUCTIONDATA WAREHOUSE
  4. 4. Apa itu Data Warehouse ? : Notes Data warehouse adalah “replikasi” ____________________ data yang berisi : ____________________  data mentah (= sumber).  konsolidasi data dari berbagai ____________________ sumber. ____________________  summary / aggregate data.  data yang sudah ditransformasikan. ____________________  metadata. ____________________  data bersih dan berkualitas tinggi. ____________________ Tujuan : ____________________  Reporting  Sumber data subsistem (Data Mart ) ____________________
  5. 5. Kenapa Data Warehouse ? ADAPTASI PERKEMBANGAN BISNIS ! : Notes ____________________ Proses bisnis yang selalu berubah CEPAT. ____________________ Kecepatan proses bisnis tidak diikuti ____________________ oleh kemampuan adaptasi sistem IT. ____________________ Untuk itu dibutuhkan satu sistem ad ____________________ hoc / temporary untuk adaptasi bisnis. Perlu data hasil konsolidasi output ____________________ dari sistem ad hoc dan sistem ____________________ berjalan. ____________________ Data Warehouse adalah solusinya. ____________________
  6. 6. Kenapa Data Warehouse ? INTEGRASI DATA ! : Notes ____________________ Data / aset informasi bisnis tersebar dimana-mana : ____________________  Data customer ada di dua sistem ____________________  Data target penjualan ada di spreadsheet masing-masing komputer staff ____________________  Transaksi PO kepada supplier ada di sistem ____________________ aplikasi desktop Access masing-masing staff ____________________  dll ____________________ Diperlukan sentralisasi & sinkronisasi terhadap data-data tersebut. ____________________ Data Warehouse adalah solusinya. ____________________
  7. 7. Kenapa Data Warehouse ? PERFORMA SISTEM REPORTING ! : Notes ____________________ Kecepatan pembacaan analisis seringkali dari data historis yang ____________________ sudah sangat besar ____________________ Diperlukan agregasi dan summary ____________________ data Data Warehouse adalah solusinya. ____________________ ____________________ ____________________ ____________________ ____________________
  8. 8. DATA WAREHOUSE =INFORMATION ASSET LIBERATION !
  9. 9. DATA WAREHOUSEPEMANFAATAN DALAM BISNIS
  10. 10. Data Warehouse sebagai Aset Data yang lebih reliable : Notes ____________________ dengan kualitas tinggi ____________________ Akses informasi yang lebih ____________________ cepat ____________________ Memiliki view terhadap bisnis secara keseluruhan ____________________ ____________________ ____________________ ____________________ ____________________
  11. 11. Manfaat dalam Bisnis Dapat mengerti pelanggan dengan : Notes ____________________ lebih baik ____________________ Memperbaiki kampanye iklan / marketing ____________________ Meningkatkan pelayanan pelanggan ____________________ Memperkecil Resiko ____________________ Membuat perencanaan bisnis yang ____________________ lebih baik ____________________ Membuat keputusan dengan lebih ____________________ cepat ____________________ dll
  12. 12. Stakeholder Data Warehouse Manajemen dan Direksi  Memiliki pandangan terhadap keseluruhan bisnis. Divisi / Unit Bisnis  Memiliki data yang lebih lengkap dan cepat dalam menganalisa perilaku operasional subjek dari masing-masing unit  Contoh subjek : pelanggan (marketing), karyawan (hrd), produk (riset), dll. Divisi IT / IS  Memiliki produktivitas yang lebih baik dalam mengejar perkembangan bisnis dengan sistem terkomputerisasi.  Meningkatkan pemanfaatan teknologi secara lebih baik terutama database.  Memecah proses yang kompleks dari suatu view database relasional.
  13. 13. ETLETL (EXTRACT, TRANSFORMATION& LOAD)
  14. 14. Proses di Data Warehouse Data Integration & Extraction : Notes ____________________ Optimization and Staging (I/O Balance) Cleansing Data ____________________  Normal Distribution ____________________  Pyramid View ____________________  Rules Aggregating Data ____________________ Validation / Test Case ____________________ Audit Trail ____________________ Retain Historical References (Slowly Changing Dimension) ____________________ etc ____________________
  15. 15. ETL (Extract, Transform & Load) Tools Aplikasi yang dirancang khusus untuk : Notes mengintegrasikan, mengolah dan ____________________ menyimpan data dengan berbagai ____________________ keperluan dan media. Ciri-ciri : ____________________  Batch Processing ____________________  I/O Optimization Capabilities ____________________  Kaya akan modul pengolahan data  Error handling ____________________  dll ____________________ ____________________ ____________________
  16. 16. ETL (Extract, Transform & Load) Tools Contoh Produk : : Notes ____________________  Pentaho Data Integration (Kettle) ____________________  Microsoft SQL Server Integration Service (SSIS) ____________________  Informatica ____________________  IBM Data Stage ____________________  Talend ____________________  dll ____________________ ____________________ ____________________
  17. 17. Microsoft SQL Server Integration Serviceshttp://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html
  18. 18. Pentaho Data Integration
  19. 19. Pentaho Data Integration : Sources
  20. 20. Kenapa ETL ? Produktivitas yang tinggi ! : Notes ____________________ Meningkatkan efektivitas dan efisiensi divisi IT : ____________________  Fokus akan integrasi dan pengolahan ____________________ data !  Dibandingkan ke kompleksitas algoritma ____________________ menggunakan scripting / programming ____________________ language umum. Dirancang untuk mampu menangani I/O ____________________ balancing sehingga meningkatkan kinerja ____________________ pengolahan data. ____________________ ____________________
  21. 21. Extract What information do you need ? : Notes ____________________ What data sources to extract ? ____________________ What is the extraction strategy ? ____________________ How do we detect CHANGE ? ____________________ How to link everything ? ____________________ ____________________ etc ____________________ ____________________ ____________________
  22. 22. Transform Change the portion of data : Notes ____________________ structure and value ____________________ Do we need to discretize data ? ____________________ Do we need to split them ? Join ____________________ them ? Union them ? ____________________ Data Cleansing ? ____________________ etc ____________________ ____________________ ____________________
  23. 23. Load What portions of data need to be : Notes ____________________ loaded ? ____________________ Do we need a staging ? ____________________ What destinations are supported ? ____________________ How is the performance ? ____________________ etc ____________________ ____________________ ____________________ ____________________
  24. 24. Simple Demo : Notes Scenario ____________________  Email Registration List ____________________ Extracting information ____________________ Further treatment need ____________________ ____________________ ____________________ ____________________ ____________________ ____________________
  25. 25. DATA WAREHOUSEDATA WAREHOUSE AND BUSINESSINTELLIGENCE (BI)
  26. 26. Data Warehouse & BI ! : Notes Data hasil dari proses : ____________________  pengambilan (extract) ____________________  pembersihan (clean) ____________________  penyesuaian data (conform) ____________________  dari struktur OLTP -> OLAP ____________________ Multi Dimensional Modelling ! ____________________ Ralph Kimball ____________________ ____________________ ____________________
  27. 27. Apa itu OLTP ? OLTP = OnLine Transaction Processing : Notes ____________________ Aplikasi yang dirancang khusus untuk menangani operasional sehari-hari ____________________ Bersifat mission critical ____________________ Biasanya meliputi aplikasi seperti :  ERP : Enterprise Resource Planning ____________________  CRM : Customer Relationship Management ____________________  SCM : Supply Chain Management  dll ____________________ Contoh : ____________________  SAP ____________________  Microsoft Axapta / Dynamics  G.O.L.D. ____________________  dll
  28. 28. Apa itu OLAP ? OnLine Analytical Processing : Notes ____________________ Aplikasi yang dirancang khusus untuk laporan analisis dan merupakan ____________________ komponen penting Business ____________________ Intelligence (BI) Skema database berbeda dengan ____________________ skema database OLTP ____________________ Objek dari OLAP adalah Cube dimana kita bisa memandang data dari ____________________ berbagai dimension cube ! ____________________ ____________________ ____________________
  29. 29. Apa itu OLAP ? Database OLAP biasanya adalah : Notes ____________________ suatu data warehouse ____________________ Tipe : ROLAP, MOLAP dan HOLAP ____________________ Contoh Produk OLAP :  Microsoft SQL Server Analysis ____________________ Service (MSAS) ____________________  Pentaho Analysis (Mondrian) ____________________  PALO ____________________  Dan lain-lain ____________________ ____________________
  30. 30. Kenapa OLAP dan Bukan SQL ? Aplikasi analisa yang baik : Notes ____________________ membutuhkan kemampuan query data ke sistem koordinat posisi row ____________________ / column secara dinamis. ____________________ Contoh : Excel ____________________ SQL hanya mengenal ____________________ pengembalian row set dari data dan tidak mengenal sistem ____________________ koordinat axis. ____________________ Oleh sebab itu SQL sangat ____________________ bergantung pada subquery atau ____________________ temporary table..
  31. 31. Kenapa OLAP dan Bukan SQL ? OLAP menjawab kebutuhan tersebut : Notes ____________________ dengan query khusus : MDX (Multi Dimensional Expression) ! ____________________ Contoh perhitungan kompleks yang ____________________ akan sulit dilakukan SQL : ____________________  Perhitungan year to date penjualan bulan ini dengan perhitungan pada ____________________ bulan yang sama tahun ____________________ sebelumnya ____________________  Menghitung rasio kontribusi dari penjualan bulan ini terhadap ____________________ kuartal terkait dan rasio terhadap ____________________ keseluruhan tahun  dll
  32. 32. Contoh OLAP : Mondrian + JPivot
  33. 33. DATA WAREHOUSEMULTI DIMENSIONAL MODELLING
  34. 34. Multi Dimensional Modelling Fact Table and Dimension Table Star Schema Snowflake Schema
  35. 35. OLTP / Database Transaksional
  36. 36. Star Schema
  37. 37. Snowflake Schema
  38. 38. Related Terms Fact and Dimension Table : Notes ____________________ Star and Snowflake Schema ____________________ Aggregates ____________________ Slowly Changing Dimension ____________________ (SCD) ____________________ Change Data Capture (CDC) ____________________ Late Arrival Data ____________________ Junk Dimensions ____________________ etc ____________________
  39. 39. DATA WAREHOUSETANTANGAN DI DATA WAREHOUSE
  40. 40. Titik-titik Krusial Data Warehouse Change Data Capture  What and when source had changed ? Near Real Time Extraction  Scalability of the data  Change extraction Data Validation  How to validate ? What scenario ?  Comparing to what system ?  Which is correct ?
  41. 41. Titik-titik Krusial Data Warehouse Technologies  Scalability  Integrity  Performance  High Productivity Human Resources  Knowledge Competency on Business Process and nature of data  Operational Skill
  42. 42. KOMUNITAS / USER GROUP
  43. 43. Komunitas User Group  Pentaho User Group Indonesia  http://groups.google.com/group/pentaho-id  Indo-BI User Group  http://groups.google.com/group/indo-bi  SQL Server BI  http://groups.google.com/group/sqlserver-bi Project  http://www.sampledata.org  http://contoh-database.googlecode.com  http://sampledata.googlecode.com
  44. 44. TERIMA KASIH

×