Equnix Business Solutions (Equnix) is an IT Solution provider in Indonesia, providing comprehensive solution services especially on the infrastructure side for corporate business needs based on research and Open Source. Equnix has 3 (three) main services known as the Trilogy of Services: Support (Maintenance/Managed), World class level of Software Development, and Expert Consulting and Assessment for High Performance Transactions System. Equnix is customer oriented, not product or principal. Equal opportunity based on merit is our credo in managing HR development.
PGConf.ASIA 2019 Bali - Keynote Speech 1 - Bruce Momjian
Kuliah Tamu - Dari Proses Bisnis Menuju Struktur Data.pdf
1. Dari Proses Bisnis menuju Struktur Data
Julyanto SUTANDANG
Equnix Business Solutions, PT
2. Seorang Technopreneur dan Full Stack IT Consultant yang selalu
bersemangat dalam memberikan solusi berbasis Open Source di Dunia IT.
Dengan lebih dari 30 tahun pengalaman dalam sistem IT secara teknis dan
Profesional dalam Bisnis, ia memiliki pengalaman yang luar biasa sebagai
dasar untuk memberikan solusi. Kebanyakan delivery-nya adalah solusi
yang out of the box.
Salah satu keahliannya adalah System Re-architect. Julyanto telah
membantu beberapa perusahaan besar untuk lepas dari Vendor Lock-In
dengan memberikan solusi IT yang memberikan kemandirian, kedaulatan,
dan kebebasan
Info lebih lanjut silahkan kunjungi linkedin.com/in/julyantosutandang/
Profil Pembicara
Julyanto
Sutandang
3. 1. Strategi
2. Pemetaan
3. Analisa Proses Bisnis
4. Data Model
5. Data Domain
6. OLTP vs OLAP
7. Simpulan
DAFTAR ISI
4. 1. Tipikal Industri (Finance, Telecom, Retail,
Manufacture, etc)
2. Management Goal (Traditional, Modern/Public,
Government, Military, etc)
3. Umum atau Internal?
4. Ekspektasi pertumbuhan
Rangkum kesemuanya dalam Pemetaan Aspek.
Strategi
5. Pemetaan
1. Tipikal proses bisnis: OLTP, OLAP, or Both?
2. Concurrency
3. Output atau Laporan
4. Security Data dan Akses
5. Potensi dukungan untuk Audit.
6. Perencanaan Kapasitas
7. Data Life Cycle (from Originating to Archives)
8. Pertimbangan Data Retensi untuk laporan dan
audit
9. Lainnya…
6. Analisa Proses Bisnis
Financial
Industry
TPS: Hundreds
Realtimeness: Very High
Latency: Very Low
Data Retention: Very Long
Security Level: Very High
Telecommunication
Industry
TPS: Thousands
Realtimeness: High
Latency: Medium
Data Retention: Low
Security Level: Middle
ECommerce/Retail
Industry
TPS: Thousands
Realtimeness: Low
Latency: High
Data Retention: Long
Security Level: Very High
7. Data Modelling
Laksanakan untuk setiap Fitur atau satuan Proses
bisnis dengan siklus yang lengkap:
1. Pemetaan Data dan Proses, dengan diagram
ER (Entity Relationship)
2. Rumuskan State Machine diagram untuk
transaksi.
3. Kelompokkan proses dalam konteks MVC
secara berlapis: Aplikasi FrontEnd, BackEnd,
Stored Proc, Scheduler, Routine, dll.
4. Tentukan laporan sebagai output dari sistem,
dan kategorisasikan laporan tersebut
berdasarkan jenisnya.
Jenis-jenis Laporan
1. Status Report
2. Snapshot Report
3. Consolidated Report
4. Transpose Report
5. Aggregated Report (Data Mart)
6. Analytic Report (Business Intelligence)
12. Secara umum ada 4 domain data dalam setiap aplikasi atau
sistem: Input, Proses, Storage, dan Output.
Tugas System Architect adalah memetakan hubungan antar
domain data tersebut, membangun hubungan diantaranya,
memastikan perjalanan status datanya (State-Machine) dan
menentukan dimana dan apa data tersebut di manipulasi.
Beberapa teknologi dapat diaplikasikan:
1. JSON
Input ke Proses
2. ODM (Object Data Model)
Proses ke Storage/Database Server
3. Database Side: Stored Proc, Mat View, Trigger, dll
Storage ke Proses
4. dll..
Data Domain
Proses
Storage
Output
Input
13. Best Practice Design Data Structure
1. Kategorisasikan TABEL dalam:
a. Master atau Referensi
b. Transaksi
c. Logging
d. Auxiliary
2. Gunakan Bigint sebagai kolom id atau
primary key atau cukup hanya key saja.
3. Hindarkan penggunaan Unique Index,
termasuk primary key untuk tabel transaksi
4. Hindarkan penggunaan Trigger untuk tabel
transaksi
5. Pilih tipe data yang sesuai, dan
pertimbangkan skalabilitas serta proyeksi
kapasitas sistem kedepan.
6. Normalisasi Data pada tingkat yang sesuai.
7. Laksanakan Normalisasi data sesuai
dengan kebutuhan:
a. Laksanakan Vertical Partitioning pada
tabel Master
b. Laksanakan Horizontal Partitioning
untuk Tabel Transaksi
8. Pertimbangan utama dalam normalisasi
data adalah skalabilitas.
9. Pertimbangan utama dalam denormalisasi
adalah availabilitas
10. Gunakan View atau Materialize View
sebagai bagian dari mekanisme
Denormalisasi
14. OLTP vs OLAP
OLTP: Online Transaction Processing
Dalam setiap proses bisnis, pengolahan data merujuk pada pemrosesan
Transaksi. Transaksi adalah alasan utama ditemukannya RDBMS.
Sifat OLTP: Banyak INSERT, Beberapa UPDATE per baris, SELECT sederhana.
OLAP: Online Analytical Processing
Akumulasi data, terutama hasil dari proses bisnis yang bersifat transaksi,
adalah kumpulan data yang memiliki potensi informasi yang berharga. Data
tersebut diproses dengan mekanisme tertentu menghasilkan insight.
Secara umum, OLAP dilaksanakan secara terpisah dari Sistem Utama yang
bertugas memproses data OLTP.
17. 1. Struktur data adalah refleksi dari proses
bisnis, bagian dari proses bisnis dan menjadi
pusat pivot data dalam setiap kegiatan
proses bisnis.
2. Struktur data yang sistematis, memberikan
jaminan efisiensi operasional dan mudah di
maintain.
3. Normalisasi Data dilaksanakan sebagai hasil
dari:
a. Pemetaan proses bisnis dan ER
b. Kategorisasi Domain Data
c. Analisa siklus data dan State Machine
d. Proyeksi dan Perencanaan Kapasitas
e. Keterbatasan Teknologi
f. ACID Compliance
Simpulan
4. Desain Database tidak dapat terlepas dari
desain sistem secara keseluruhan, Struktur
data adalah refleksi sistem.
5. Enterprise Delivery: R.A.S (Reliability,
Availability, dan Scalability) adalah
pertimbangan utama dalam merancang
struktur data.
6. Skalabilitas Data ditentukan sejak saat
desain.