ETL

1. Transformasi dan Load Data
Contoh Kasus ETL pada
database penjualan (classicmodels)

2. SUMBER DATA
• Database OLTP: classicmodels
• DBMS : MySql

3. Database classicmodels

4. DATAWAREHOUSE
• Tujuan:
– Menghitung jumlah pendapatan dari pembelian
tiap pelanggan, tiap produk, tanggal pembelian,
(tabel orderdetails  quantityOrdered*priceEach)
– Menghitung kuantitas pembelian tiap produk, per
pelanggan, tanggal pembelian. (tabel orderdetails
 quantityOrdered).
– Menghitung jumlah pelanggan (count) per bulan,
quarter dan tahun.

5. Skema DW

6. CREATE DDL DW
• TABEL DIMENSI PRODUK
CREATE TABLE dim_products (
`productCode` varchar(15) NOT NULL ,
`productName` varchar(70) NOT NULL ,
`productDescription` text NOT NULL ,
`buyPrice` double NOT NULL ,
CONSTRAINT pk_products PRIMARY KEY ( `productCode` )
);

7. CREATE DDL DW
• TABEL DIMENSI PELANGGAN
CREATE TABLE dim_customers (
customerNumber int NOT NULL ,
customerName varchar(50) NOT NULL ,
city varchar(50) NOT NULL ,
state varchar(50) ,
postalCode varchar(15) ,
country varchar(50) NOT NULL ,
CONSTRAINT pk_customers PRIMARY KEY ( `customerNumber` )
);

8. CREATE DDL DW
• TABEL DIMENSI WAKTU
CREATE TABLE `dim_date` (
`sk` INT NOT NULL, -- yyyyMMdd
`date` DATE, -- tanggal dd-MM-YYYY
`year` INT, -- tahun YYYY
`quarter` CHAR(2), -- Q1, Q2, Q3
`month` INT, -- 1-12
`month_name` VARCHAR(50), -- January - December
`day` INT, -- 1-30
PRIMARY KEY (`sk`)
);

9. CREATE DDL DW
• TABEL FAKTA PENJUALAN
CREATE TABLE fact_sales (
productCode varchar(15) NOT NULL ,
customerNumber INT NOT NULL ,
sk INT NOT NULL ,
quantity_ordered INT ,
price_each DOUBLE,
price_total DOUBLE ,
PRIMARY KEY ( productCode, customerNumber,sk),
FOREIGN KEY (productCode) REFERENCES
dim_products(productCode),
FOREIGN KEY (customerNumber) REFERENCES
dim_customers(customerNumber),
FOREIGN KEY (sk) REFERENCES
dim_date(sk)
);

10. TRANSFORMATION
ETL

11. Komponen Transformasi Pada Talend
• tMap
tMap allows the following types of operations:
data multiplexing and demultiplexing,
data transformation on any type of fields,
fields concatenation and interchange,
field filtering using constraints,
data rejecting.

12. Komponen Transformasi Pada Talend
• tMap

13. Contoh Penggunaan tMap
Ref: Pdf halaman 143

14. Referensi Tutorial Setting tMap
• https://www.youtube.com/watch?v=bOxUdict
bgc
• https://www.youtube.com/watch?v=-
UUmUD-wxe4

15. ETL dari tabel product ke dimensi
products

16. Task 1. ETL dimensi customers
• Buatlan job ETL untuk memindahkan data dari
db classicmodels tabel customers ke db dw
tabel dim_customers.

17. Komponen Transformasi Pada Talend
• tRowGenerator
tRowGenerator generates as many rows and
fields as needed and feeds each field with a
random value.
tRowGenerator menghasilkan banyak baris dan
kolom sesuai kebutuhan dan mengisinya
dengan nilai yang diinginkan.

18. Komponen Transformasi Pada Talend
• tRowGenerator

19. Mengisi Dimensi Waktu dengan
tRowGenerator
• Tutorial melakukan Transformasi dan Load
untuk Dimensi Waktu secara otomatis dengan
tRowGenerator
http://diethardsteiner.blogspot.co.id/2012/02/t
alend-open-studio-populating-date.html

20. Task 2. ETL dari tutorial
• Lakukan proses ETL seperti pada tutorial slide
sebelumnya. Sehingga menghasilkan job yang
dapat auto generate date mulai tanggal 22-11-
2017 hingga 100 rows dan tampilkan pada
tlogrow.

21. Task 3. ETL dimensi waktu
• Buatlan job ETL untuk auto generate date dan
mengisikannya pada database dim_date.
Gunakan tRowGenerator dan tMap seperti
pada gambar berikut.

22. Hasil ETL dimensi waktu

23. Task 4. Komponen Talend
• Pilihlah salah satu
komponen talend pada
gambar disamping.
• Jelaskan penggunaan
komponen tersebut.
• Buatlah contoh job
menggunakan komponen
yang telah dipilih.