Dari Proses Bisnis menuju Struktur Data
Julyanto SUTANDANG
Equnix Business Solutions, PT
Seorang Technopreneur dan Full Stack IT Consultant yang selalu
bersemangat dalam memberikan solusi berbasis Open Source di Dunia IT.
Dengan lebih dari 30 tahun pengalaman dalam sistem IT secara teknis dan
Profesional dalam Bisnis, ia memiliki pengalaman yang luar biasa sebagai
dasar untuk memberikan solusi. Kebanyakan delivery-nya adalah solusi
yang out of the box.
Salah satu keahliannya adalah System Re-architect. Julyanto telah
membantu beberapa perusahaan besar untuk lepas dari Vendor Lock-In
dengan memberikan solusi IT yang memberikan kemandirian, kedaulatan,
dan kebebasan
Info lebih lanjut silahkan kunjungi linkedin.com/in/julyantosutandang/
Profil Pembicara
Julyanto
Sutandang
1. Strategi
2. Pemetaan
3. Analisa Proses Bisnis
4. Data Model
5. Data Domain
6. OLTP vs OLAP
7. Simpulan
DAFTAR ISI
1. Tipikal Industri (Finance, Telecom, Retail,
Manufacture, etc)
2. Management Goal (Traditional, Modern/Public,
Government, Military, etc)
3. Umum atau Internal?
4. Ekspektasi pertumbuhan
Rangkum kesemuanya dalam Pemetaan Aspek.
Strategi
Pemetaan
1. Tipikal proses bisnis: OLTP, OLAP, or Both?
2. Concurrency
3. Output atau Laporan
4. Security Data dan Akses
5. Potensi dukungan untuk Audit.
6. Perencanaan Kapasitas
7. Data Life Cycle (from Originating to Archives)
8. Pertimbangan Data Retensi untuk laporan dan
audit
9. Lainnya…
Analisa Proses Bisnis
Financial
Industry
TPS: Hundreds
Realtimeness: Very High
Latency: Very Low
Data Retention: Very Long
Security Level: Very High
Telecommunication
Industry
TPS: Thousands
Realtimeness: High
Latency: Medium
Data Retention: Low
Security Level: Middle
ECommerce/Retail
Industry
TPS: Thousands
Realtimeness: Low
Latency: High
Data Retention: Long
Security Level: Very High
Data Modelling
Laksanakan untuk setiap Fitur atau satuan Proses
bisnis dengan siklus yang lengkap:
1. Pemetaan Data dan Proses, dengan diagram
ER (Entity Relationship)
2. Rumuskan State Machine diagram untuk
transaksi.
3. Kelompokkan proses dalam konteks MVC
secara berlapis: Aplikasi FrontEnd, BackEnd,
Stored Proc, Scheduler, Routine, dll.
4. Tentukan laporan sebagai output dari sistem,
dan kategorisasikan laporan tersebut
berdasarkan jenisnya.
Jenis-jenis Laporan
1. Status Report
2. Snapshot Report
3. Consolidated Report
4. Transpose Report
5. Aggregated Report (Data Mart)
6. Analytic Report (Business Intelligence)
Contoh ER Diagram
Contoh ER Diagram
Contoh State Machine
Contoh MVC Breakdown
Secara umum ada 4 domain data dalam setiap aplikasi atau
sistem: Input, Proses, Storage, dan Output.
Tugas System Architect adalah memetakan hubungan antar
domain data tersebut, membangun hubungan diantaranya,
memastikan perjalanan status datanya (State-Machine) dan
menentukan dimana dan apa data tersebut di manipulasi.
Beberapa teknologi dapat diaplikasikan:
1. JSON
Input ke Proses
2. ODM (Object Data Model)
Proses ke Storage/Database Server
3. Database Side: Stored Proc, Mat View, Trigger, dll
Storage ke Proses
4. dll..
Data Domain
Proses
Storage
Output
Input
Best Practice Design Data Structure
1. Kategorisasikan TABEL dalam:
a. Master atau Referensi
b. Transaksi
c. Logging
d. Auxiliary
2. Gunakan Bigint sebagai kolom id atau
primary key atau cukup hanya key saja.
3. Hindarkan penggunaan Unique Index,
termasuk primary key untuk tabel transaksi
4. Hindarkan penggunaan Trigger untuk tabel
transaksi
5. Pilih tipe data yang sesuai, dan
pertimbangkan skalabilitas serta proyeksi
kapasitas sistem kedepan.
6. Normalisasi Data pada tingkat yang sesuai.
7. Laksanakan Normalisasi data sesuai
dengan kebutuhan:
a. Laksanakan Vertical Partitioning pada
tabel Master
b. Laksanakan Horizontal Partitioning
untuk Tabel Transaksi
8. Pertimbangan utama dalam normalisasi
data adalah skalabilitas.
9. Pertimbangan utama dalam denormalisasi
adalah availabilitas
10. Gunakan View atau Materialize View
sebagai bagian dari mekanisme
Denormalisasi
OLTP vs OLAP
OLTP: Online Transaction Processing
Dalam setiap proses bisnis, pengolahan data merujuk pada pemrosesan
Transaksi. Transaksi adalah alasan utama ditemukannya RDBMS.
Sifat OLTP: Banyak INSERT, Beberapa UPDATE per baris, SELECT sederhana.
OLAP: Online Analytical Processing
Akumulasi data, terutama hasil dari proses bisnis yang bersifat transaksi,
adalah kumpulan data yang memiliki potensi informasi yang berharga. Data
tersebut diproses dengan mekanisme tertentu menghasilkan insight.
Secara umum, OLAP dilaksanakan secara terpisah dari Sistem Utama yang
bertugas memproses data OLTP.
General Production Level Database Topology
General Production Level Database Topology
1. Struktur data adalah refleksi dari proses
bisnis, bagian dari proses bisnis dan menjadi
pusat pivot data dalam setiap kegiatan
proses bisnis.
2. Struktur data yang sistematis, memberikan
jaminan efisiensi operasional dan mudah di
maintain.
3. Normalisasi Data dilaksanakan sebagai hasil
dari:
a. Pemetaan proses bisnis dan ER
b. Kategorisasi Domain Data
c. Analisa siklus data dan State Machine
d. Proyeksi dan Perencanaan Kapasitas
e. Keterbatasan Teknologi
f. ACID Compliance
Simpulan
4. Desain Database tidak dapat terlepas dari
desain sistem secara keseluruhan, Struktur
data adalah refleksi sistem.
5. Enterprise Delivery: R.A.S (Reliability,
Availability, dan Scalability) adalah
pertimbangan utama dalam merancang
struktur data.
6. Skalabilitas Data ditentukan sejak saat
desain.
Tanya Jawab
Thankyou
Contact us
THANKYOU
For more information, please visit https:/
/equnix.asia

Kuliah Tamu - Dari Proses Bisnis Menuju Struktur Data.pdf

  • 1.
    Dari Proses Bisnismenuju Struktur Data Julyanto SUTANDANG Equnix Business Solutions, PT
  • 2.
    Seorang Technopreneur danFull Stack IT Consultant yang selalu bersemangat dalam memberikan solusi berbasis Open Source di Dunia IT. Dengan lebih dari 30 tahun pengalaman dalam sistem IT secara teknis dan Profesional dalam Bisnis, ia memiliki pengalaman yang luar biasa sebagai dasar untuk memberikan solusi. Kebanyakan delivery-nya adalah solusi yang out of the box. Salah satu keahliannya adalah System Re-architect. Julyanto telah membantu beberapa perusahaan besar untuk lepas dari Vendor Lock-In dengan memberikan solusi IT yang memberikan kemandirian, kedaulatan, dan kebebasan Info lebih lanjut silahkan kunjungi linkedin.com/in/julyantosutandang/ Profil Pembicara Julyanto Sutandang
  • 3.
    1. Strategi 2. Pemetaan 3.Analisa Proses Bisnis 4. Data Model 5. Data Domain 6. OLTP vs OLAP 7. Simpulan DAFTAR ISI
  • 4.
    1. Tipikal Industri(Finance, Telecom, Retail, Manufacture, etc) 2. Management Goal (Traditional, Modern/Public, Government, Military, etc) 3. Umum atau Internal? 4. Ekspektasi pertumbuhan Rangkum kesemuanya dalam Pemetaan Aspek. Strategi
  • 5.
    Pemetaan 1. Tipikal prosesbisnis: OLTP, OLAP, or Both? 2. Concurrency 3. Output atau Laporan 4. Security Data dan Akses 5. Potensi dukungan untuk Audit. 6. Perencanaan Kapasitas 7. Data Life Cycle (from Originating to Archives) 8. Pertimbangan Data Retensi untuk laporan dan audit 9. Lainnya…
  • 6.
    Analisa Proses Bisnis Financial Industry TPS:Hundreds Realtimeness: Very High Latency: Very Low Data Retention: Very Long Security Level: Very High Telecommunication Industry TPS: Thousands Realtimeness: High Latency: Medium Data Retention: Low Security Level: Middle ECommerce/Retail Industry TPS: Thousands Realtimeness: Low Latency: High Data Retention: Long Security Level: Very High
  • 7.
    Data Modelling Laksanakan untuksetiap Fitur atau satuan Proses bisnis dengan siklus yang lengkap: 1. Pemetaan Data dan Proses, dengan diagram ER (Entity Relationship) 2. Rumuskan State Machine diagram untuk transaksi. 3. Kelompokkan proses dalam konteks MVC secara berlapis: Aplikasi FrontEnd, BackEnd, Stored Proc, Scheduler, Routine, dll. 4. Tentukan laporan sebagai output dari sistem, dan kategorisasikan laporan tersebut berdasarkan jenisnya. Jenis-jenis Laporan 1. Status Report 2. Snapshot Report 3. Consolidated Report 4. Transpose Report 5. Aggregated Report (Data Mart) 6. Analytic Report (Business Intelligence)
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
    Secara umum ada4 domain data dalam setiap aplikasi atau sistem: Input, Proses, Storage, dan Output. Tugas System Architect adalah memetakan hubungan antar domain data tersebut, membangun hubungan diantaranya, memastikan perjalanan status datanya (State-Machine) dan menentukan dimana dan apa data tersebut di manipulasi. Beberapa teknologi dapat diaplikasikan: 1. JSON Input ke Proses 2. ODM (Object Data Model) Proses ke Storage/Database Server 3. Database Side: Stored Proc, Mat View, Trigger, dll Storage ke Proses 4. dll.. Data Domain Proses Storage Output Input
  • 13.
    Best Practice DesignData Structure 1. Kategorisasikan TABEL dalam: a. Master atau Referensi b. Transaksi c. Logging d. Auxiliary 2. Gunakan Bigint sebagai kolom id atau primary key atau cukup hanya key saja. 3. Hindarkan penggunaan Unique Index, termasuk primary key untuk tabel transaksi 4. Hindarkan penggunaan Trigger untuk tabel transaksi 5. Pilih tipe data yang sesuai, dan pertimbangkan skalabilitas serta proyeksi kapasitas sistem kedepan. 6. Normalisasi Data pada tingkat yang sesuai. 7. Laksanakan Normalisasi data sesuai dengan kebutuhan: a. Laksanakan Vertical Partitioning pada tabel Master b. Laksanakan Horizontal Partitioning untuk Tabel Transaksi 8. Pertimbangan utama dalam normalisasi data adalah skalabilitas. 9. Pertimbangan utama dalam denormalisasi adalah availabilitas 10. Gunakan View atau Materialize View sebagai bagian dari mekanisme Denormalisasi
  • 14.
    OLTP vs OLAP OLTP:Online Transaction Processing Dalam setiap proses bisnis, pengolahan data merujuk pada pemrosesan Transaksi. Transaksi adalah alasan utama ditemukannya RDBMS. Sifat OLTP: Banyak INSERT, Beberapa UPDATE per baris, SELECT sederhana. OLAP: Online Analytical Processing Akumulasi data, terutama hasil dari proses bisnis yang bersifat transaksi, adalah kumpulan data yang memiliki potensi informasi yang berharga. Data tersebut diproses dengan mekanisme tertentu menghasilkan insight. Secara umum, OLAP dilaksanakan secara terpisah dari Sistem Utama yang bertugas memproses data OLTP.
  • 15.
    General Production LevelDatabase Topology
  • 16.
    General Production LevelDatabase Topology
  • 17.
    1. Struktur dataadalah refleksi dari proses bisnis, bagian dari proses bisnis dan menjadi pusat pivot data dalam setiap kegiatan proses bisnis. 2. Struktur data yang sistematis, memberikan jaminan efisiensi operasional dan mudah di maintain. 3. Normalisasi Data dilaksanakan sebagai hasil dari: a. Pemetaan proses bisnis dan ER b. Kategorisasi Domain Data c. Analisa siklus data dan State Machine d. Proyeksi dan Perencanaan Kapasitas e. Keterbatasan Teknologi f. ACID Compliance Simpulan 4. Desain Database tidak dapat terlepas dari desain sistem secara keseluruhan, Struktur data adalah refleksi sistem. 5. Enterprise Delivery: R.A.S (Reliability, Availability, dan Scalability) adalah pertimbangan utama dalam merancang struktur data. 6. Skalabilitas Data ditentukan sejak saat desain.
  • 18.
  • 19.
    Thankyou Contact us THANKYOU For moreinformation, please visit https:/ /equnix.asia