Dokumen ini membahas konsep big data yang mencakup tantangan utama seperti volume, velocity, variety, veracity, dan value. Big data adalah inisiatif untuk mengumpulkan, menyimpan, dan menganalisis data dalam skala besar, dan memerlukan pendekatan inovatif untuk pemrosesan informasi. Tools dan teknik yang digunakan dalam bidang ini bervariasi, termasuk perangkat lunak untuk visualisasi dan analisis data.

1. MAHADATA
JAKARTA, 25 OKTOBER 2019
Weekly Open Sharing Session (WOSS) - 003

2. “Everyone Learn from Learners”
Weekly Open Sharing Session (WOSS) - 003

3. Mahadata ~ Big Data
• Big data is a broad term for data sets so large or complex that
traditional data processing applications are inadequate. Challenges
include analysis, capture, data curation, search, sharing, storage,
transfer, visualization, and information privacy (Wikipedia);
• Big data is high-volume, high-velocity and high-variety information
assets that demand cost-effective, innovative forms of information
processing for enhanced insight and decision making (Gartner);
• Big Data adalah gerakan atau inisiatif organisasi-organisasi untuk
mengambil, menyimpan, memroses, dan menganalisa data-data yang
sebelumnya tidak memungkinkan atau tidak ekonomis untuk diambil,
disimpan, diproses, dan dianalisa (Teradata dan Hortonworks).
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6

4. Permasalahan Utama
Dari berbagai literatur, terdapat 3 dimensi atau masalah utama yang big
data coba selesaikan:
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6
3V
Volume
Velocity
Variety

5. Permasalahan Utama
Dari berbagai literatur, terdapat 3 dimensi atau masalah utama yang big
data coba selesaikan:
• (1) Meledaknya volume data yang suatu organisasi ingin simpan atau
proses - teknologi big data tidak hanya menyediakan solusi untuk
menyimpan data, namun juga untuk mengolah dan menganalisa data
bervolume besar. Sebesar apakah volume data agar bisa disebut big
data? jika volume data membuat data tersebut tidak ekonomis /
mungkin lagi untuk disimpan di solusi penyimpanan data tradisional
(network storage / database / data warehouse), maka “Houston,
we’ve got the volume problem!”
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6

6. Permasalahan Utama
Dari berbagai literatur, terdapat 3 dimensi atau masalah utama yang big
data coba selesaikan:
• (2) Permasalahan yang kedua: data velocity atau kecepatan data
dibuat. Data tidak hanya datang dalam jumlah besar, tetapi juga
dalam tempo yang lebih singkat dan bahkan ada yang real-time.
pemilihan big data untuk memecahkan masalah volume data,
menyimpan dan mengolah data akan lebih ekonomis di platform big
data.
Beban penyimpanan dan pemrosesan data di data warehouse akan
lebih berguna apabila diutilisasi untuk data-data yang berhubungan
langsung dengan bisnis -- data transaksi, keuangan, dan pelanggan.
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6

7. Permasalahan Utama
Dari berbagai literatur, terdapat 3 dimensi atau masalah utama yang big data
coba selesaikan:
• (3) Permasalahan yang ketiga: Variety adalah permasalahan yang terjadi
karena keberagaman data, baik itu dari format file data yang masuk,
maupun format / struktur dari isi data tersebut. Untuk 1 data yang sama
saja, bisa berbagai macam variasi format atau struktur data. Ada yang
berupa file XML, CSV, TSV, dan bahkan ada yang dikompresi dalam format
GZip, Zip, dan Tar.
Platform big data memungkinkan kita untuk “store first, define structure
later”. Pada Hadoop, contohnya, kita bisa menaruh file-file tadi dalam
format mentahnya, lalu kita kelompokkan saja file-file yang sejenis. Lalu
ketika kita butuh membaca data, baru kita gunakan tools yang tersedia
untuk mengekstrak sisi data. Hal ini dengan implementasi database atau
data warehouse di mana kita harus menerapkan dan meng-enforce
skema/struktur ketika kita memulai akuisisi data.
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6

8. Tools Big Data
Big data dapat diterapkan di semua aspek yang ada misalnya pada bidang bisnis,
kesehatan, pariwisata, pemerintahan, kejahatan, dan lainnya. Dengan
menggunakan tools untuk pengambilan ataupun pengolahan datanya misalnya
dengan menggunakan software:
• Gephi - perangkat lunak open-source yang dapat digunakan untuk visualisasi dan
analisis jaringan;
• Python - bahasa pemrograman multiguna yang bersifat interpreter, berorientasi
pada obyek dan dapat dioperasikan pada semua sistem operasi;
• Netlytics - aplikasi berbasis web penganalisis teks berbasis cloud dan visualisasi
jaringan sosial;
• NiFi - NiagaraFiles adalah sebuah proyek perangkat lunak dari Apache Software
Foundation. Program ini di rancang untuk mengotomatisasi aliran data antara
sistem perangkat lunak;
• Tableau - alat yang mendukung Business Intelligent yang dapat digunakan untuk
membantu mengumpulkan, menyimpan, mengatur dan menganalisis data
mentah sehingga menjadi sebuah informasi yang bernilai.
https://id.wikipedia.org/wiki/Mahadata

9. Permasalahan Utama - Bertambah
Veracity (kepercayaan sumber data), dan Value (kegunaan, tetapi juga
untuk model bisnis saya) yang membahas kualitas, bukan aspek teknis,
dari data yang dikumpulkan.
https://datascience.or.id/article/Konsep-Big-Data-5a8fa6e6
5V
Volume
Velocity
Variety
Veracity
Value

10. Nah itulah Big Data, lalu SIKEP itu Big Data kah?
( - diskusi - )