pertemuan minggu 2 big data

1. HANDOUT
Deny Adhar, M.Kom
BIG DATA DAN BUSINESS
INTELEGENCE

2. Minggu II
Framework Big Data berdasarkan
kondisi State of The Art
Siklus manajemen data dan data
warehouse

5. Frame work Big Data

6.  Big Data adalah sebuah istilah umum yang
mengacu pada teknologi dan teknik untuk
memproses dan menganalisa sekumpulan data
yang memiliki jumlah yang sangat besar, baik
yang terstruktur, semi terstruktur dan tidak
terstruktur. Ada banyak tantangan yang akan
dihadapi ketika berhubungan dengan big data,
mulai dari bagaimana data diambil, disimpan,
hingga masalah keamanan data.
 Walaupun Istilah big data sudah sering didengar
dan diucapkan, masih banyak diantara kita yang
bertanya-tanya: Apa yang dimaksud dengan big
data? Apa kegunaan big data? Apa saja
teknologi big data? Mengapa big data diperlukan
dalam berbagai bidang?

7. Apa Yang Dimaksud Dengan Big Data?
 Tidak ada definisi yang baku mengenai big data.
Secara garis besar big data adalah sekumpulan
data yang memiliki jumlah yang sangat besar
atau struktur yang kompleks sehingga teknologi
pemrosesan data tradisional tidak lagi dapat
menanganinya dengan baik. Saat ini istilah big
data juga sering digunakan untuk menyebut
bidang ilmu atau teknologi yang berkaitan
dengan pengolahan dan pemanfaatan data
tersebut.

8.  Aspek yang paling penting dari big data
sebenarnya bukan sekedar pada berapa
besarnya data yang bisa disimpan dan diolah,
akan tetapi kegunaan atau nilai tambah apa
yang dapat diperoleh dari data tersebut. Jika kita
tidak dapat mengekstrak nilai tambah tersebut,
maka data hanya akan menjadi sampah yang
tidak berguna. Nilai tambah ini dapat digunakan
untuk berbagai hal, seperti meningkatkan
kelancaran operasional, ketepatan penjualan,
peningkatan kualitas layanan, prediksi atau
proyeksi pasar, dan lain sebagainya.

9.  Dalam bidang informatika dikenal sebuah istilah
“Garbage in Garbage out” atau masukan
sampah akan menghasilkan keluaran sampah
juga. Maksudnya adalah jika masukan yang kita
berikan ke sistem adalah input berkualitas
rendah, maka kualitas outputnya tentu akan
rendah juga. Input yang dimaksud di sini adalah
data.
 Untuk itu, memastikan kualitas input maupun
output dalam setiap tahap pengolahan data
untuk mendapatkan keluaran akhir yang
berkualitas adalah sebuah keharusan dalam
implementasi big data.

10. Apa Saja Teknologi Big Data?
 Perkembangan teknologi big data tidak bisa
dilepaskan dari teknologi atau konsep open
source. Istilah Big Data terus bergaung seiring
dengan pesatnya perkembangan teknologi open
source yang mendukungnya. Banyak
perusahaan besar mengkontribusikan teknologi
big data yang mereka buat dan mereka gunakan
ke komunitas open source. Hal inilah yang
kemudian menjadi salah satu pendorong utama
berkembangnya big data.

11. Ada banyak sekali teknologi open source yang populer dalam
ekosistem big data, berikut ini beberapa di antaranya:
 1. Apache Hadoop
 Apache Hadoop adalah sebuah framework yang
memungkinkan untuk melakukan penyimpanan
dan pemrosesan data yang besar secara
terdistribusi dalam klaster komputer
menggunakan model pemrograman
sederhana. Hadoop terinspirasi dari teknologi
yang dimiliki oleh Google seperti Google File
System dan Google Map Reduce.
Hadoop menawarkan 3 hal utama yaitu:

12.  Sistem penyimpanan terdistribusi
Hadoop memiliki sebuah file sistem yang
dinamakan Hadoop Distributed File System atau
lebih dikenal dengan HDFS. HDFS merupakan
sistem penyimpanan file atau data terdistribusi
dalam klaster Hadoop. HDFS terinspirasi dari
Google File System.
 Framework pemrosesan data secara paralel dan
terdistribusi
 MapReduce adalah model pemrograman untuk
melakukan pemrosesan data besar secara
terdistribusi dalam klaster Hadoop. MapReduce
bekerja dan mengolah data-data yang berada
dalam HDFS.

13.  Resource management terdistribusi
YARN merupakan tools yang menangani resource
manajemen dan penjadwalan proses dalam
klaster Hadoop. YARN mulai diperkenalkan
pada Hadoop 2.0. YARN memisahkan antara layer
penyimpanan (HDFS) dan layer pemrosesan
(MapReduce). Pada awalnya Hadoop hanya mensupport
MapReduce sebagai satu-satunya framework komputasi
paralel yang dapat bekerja diatas
klaster Hadoop. YARN memungkinkan banyak
framework komputasi paralel lain,
seperti Spark, Tez, Storm, dsb, untuk bekerja diatas
klaster Hadoop dan mengakses data-data dalam HDFS.

15. Siklus manajemen data dan data
warehouse
Pokok Bahasan
 Methodology
 Menggunakan tools dan teknik secara bersamaan
 Data Warehouse lifecycle
 Metode yang akan ditinjau
 Inmon
 Ives
 Kimball
 McFadden
 Microsoft
 SAS dan NCR
 Method yang diajukan oleh Shanks & O’Donell

16. Definisi Umum
Methodology
“A recommended collection of philosophies, phases,
procedures, rules,techniques, tools,
documentation,management and training”
British Computer Society, 1983
(“ Kumpulan dari tahapan, prosedur, aturan, teknik, tools,
dokumentasi, manajemen dan training untuk
pengembangan sistem informasi/Sistem DW. “)

17. Tujuan :
 Untuk menentukan
 Bagaimana sebuah proyek dibagi ke dalam tahapan tahapan?
 Kegiatan dan aktivitas apa yang harus dilakukan?
 Tool dan Teknik apa yang harus digunakan?
 Apa output dari setiap pekerjaan?
 Kapan setiap pekerjaan harus diselesaikan?
 Siapa yang harus mengerjakan?
 Bagaimana proyek harus diatur?
Avision D.E. and Fitzgerald (1995) Information Systems Development: Methodologies,
Techniques and Tools 2nd Edition, McGraw-Hill, London

18. Kegunaan :
 Umumnya kita menggunakan methodology untuk:
 Mendapatkan produk yang lebih baik
 Mendapatkan proses pengembangan yang lebih baik
 Mendapatkan proses pengembangan yang terstandarisasi
 Apakah data warehousing berbeda
 Tool dan teknik yang berbeda
 Data warehousing adalah sebuah proses bukan suatu benda

19. Ingat: Data Warehousing Adalah
Sebuah Proses/siklus
 Dinamika fundamental pada inti dari data warehouse
Pendukung keputusan adalah sebuah proses
pembelajaran
1. Data pada warehouse mengubah pengertian pengguna
terhadap pekerjaan mereka
2. Dengan berubahnya pengertian mereka, keperluan
informasi mereka juga berubah
3. Dengan berubahnya keperluan informasi mereka, data
warehouse juga berubah
4. Kembali ke 1.

20. Pendekatan metodologi oleh
beberapa ahli
Bill Inmon (1994)
Ives (1995)
Kimball (1996)
McFadden (1996)

21. Pendekatan Inmon (1994)

22. Pendekatan Inmon (1994)
 Kelebihan
Integrasi
Perulangan
 Arsitektur pengembangan berimbang yang terkonsentrasi
 Kelemahan
Kesulitan dan biaya mendisain model data
perusahaan
Pengertian model ER (dalam 3NF)
Feedback dari penggunaan?

23. Pendekatan Ives (1995)

24. Pendekatan Ives (1995)
 Kelebihan
Teknik untuk perumusan keperluan Integrasi
Teknik representasi berganda
 Kelemahan
Kekompleksan dan potensi berbiaya tinggi
Waktu penyelesaian
Kemampuan beradaptasi
Bagaimana bila strategi bisnis berubah?
Feedback pengguna?

25. Pendekatan Kimball (1996)

26. Pendekatan Kimball (1996)
Kelebihan
Pemodelan berdimensi
Mudah dimengerti
Kelemahan
Integrasi
Mapping dari pemodelan berdimensi ke sistem
yang sudah ada

27. Pendekatan McFadden (1996)

28. Pendekatan McFadden (1996)
Kelebihan
Partisipasi Pengguna
Fokus pada pencarian sumber data
Kelemahan
Membagi data warehouse yang besar
Tidak ada guidelines untuk disain secara fisik

29. Metodology DW pada perusahaan :
NCR
SIS Institute
Microsoft
Perbandingan oleh O’Donell, Arnott &
Gibson

30. Pendekatan NCR

31. Pendekatan NCR
Hampir sama dengan Inmon
3NF dan model perusahaan
Penekanan pada normalisasi dan DBMS
standar
Penekanan pada arsitektur
Digunakan dalam beberapa sistem yang
sangat besar

32. SAS Institute

33. SAS Institute
 Memakai teknik time-box
Data warehousing cepat
 Keterkaitan selama 3 bulan (90 hari)
Prototyping 2 bulan + 1 bulan untuk pengembangan
‘solid’
 Banyak menggunakan prototyping dan
workshop dengan pengguna
 Bergantung pada kemampuan analis sistem
yang bagus

34. Pendekatan Microsoft (1999)

35. Pendekatan Microsoft (1999)
 Kelebihan
 Memberikan perhatian pada pengguna secara eksplisit
 Tapi apa sebenarnya kelemahan ini?
 Berputar
 Terkait dengan beberapa tool yang specific yang
mengintegrasikan RDBMS dan OLAP (misalnya SQL server &
Layanan Analisa/Pelaporan
 Kekurangan
 Terkait dengan beberapa tool yang specific, tetapi banyak yang
tidak mempercayai (walaupun ini berubah)
 Mapping sistem sumber

36. Perbandingan Empat Metode
 Dari O’Donell, Arnott & Gibson (2002)

37. HANDOUT
Deny Adhar, M.Kom
BIG DATA DAN BUSINESS
INTELEGENCE