Mengenal tentang ekosistem big data, python, python for data scientist

1. BIG DATA & INDUSTRI 4.0
Oleh : Arian Derida Hamami

2. Revolusi Industri
• Industri 1.0
– Abad ke 18 (Mesin Uap)
– Inggris -> Produk Tekstil
• Industri 2.0
– Tahun 1900 (Tenaga Listrik)
– Indonesia -> Pertambangan
• Industri 3.0
– Tahun 1970 (Otomatisasi)
– Negara Berkembang

3. Industri 4.0
- Otomatisasi mulai digantikan dengan sistem
komputasi
- Pertumbuhan data digital
- Trend pada industri 4.0
- Cyber Security
- Cloud Computing
- Internet of Things
- Artifical Intelegence
- Robotics
- Bio Technologies

4. Big Data
• Secara arti adalah Data yang Besar
• Secara harfiah
Big Data adalah sekumpulan data dan informasi dari banyak
sumber (tradisional & digital) untuk peningkatan wawasan,
pengambilan keputusan, dan otomatisasi proses
• Contoh hasil analisis
– Kebiasaan konsumen
– Minat terhadap produk
– Pola iklim atau cuaca

5. Why do we learn Big Data

6. 4V Big Data
• Velocity (kecepatan data)
• Volume (peningkatan jumlah)
• Variety (keragaman data)
• Veracity (akurasi data)

7. Velocity
(kecepatan data)
• Setiap 60 detik:
– Video dengan total durasi sekitar 400 jam
diupload ke Youtube
– 2,430,555 likes di Instagram
– 972,222 swipe di Tinder
• Seluruh data tersebut dihasilkan setiap menit.

8. Volume
(peningkatan jumlah)
• Sebagian besar populasi manusia memiliki perangkat
digital yang menghasilkan, menerima, dan
menyimpan data.
• Sebagian memiliki lebih dari 1 perangkat (misal: HP,
PC, Laptop, Tablet, dll)
• Setiap harinya kita menghasilkan sekitar 2.5
Quintilion (1018) Bytes data.

9. Variety
(keragaman data)
• Tipe-tipe data
– Teks
– Gambar
– Video
– Suara
– Wearables devices data
– Data-data lainnya dari IoT device

10. Veracity
(akurasi data)
• 80% data yang beredar merupakan unstructured
data.
• Data tersebut harus dikategorikan, dianalisis, dan
divisualisasikan untuk menentukan apakah data
tersebut akurat dan dapat dipercaya.

11. Big Data Industri 4.0

12. • Pada 2011, McKinsey & Company mengatakan
bahwa Big Data akan menjadi kunci utama dari
kompetisi yang mendukung pertumbuhkan
produktivitas dan inovasi.
• Pada 2013, UPS (United Parcel Service)
mengumumkan bahwa mereka menggunakan data
dari customer, driver, dan juga kendaraan untuk
menentukan rute baru yang menghemat waktu,
uang, dan bahan bakar.

13. Pertanyaan
Jelaskan bagaimana perusahaan facebook
memanfaatkan penggunaan Big Data? Dan
digunakan untuk apa?

14. Facebook
• Memanfaatkan seluruh sumber dari user
(foto, video, status, kebiasaan, tag location,
komentar, history, data pribadi, like, dsb)
• Untuk keperluan
– Sentiment analysis
– Perkembangan user
– Ads Marketing
– dll

15. Kesimpulan
Big Data adalah sekumpulan data dan informasi
yang besar dengan peningkatan jumlah yang
banyak dan cepat, serta memiliki variasi data,
keakurasian dalam jumlah yang sangat besar
untuk dijadikan sebuah analisa untuk
menghasilkan insight

18. Data Science
Data science is the process of cleaning, mining,
and analyzing data to drive insights of value from it

19. Data Science

20. Data Scienctist
Data Scientist adalah seseorang yang bisa
memberikan story yang bisa menceritakan
sesuatu dari kumpulan data yang banyak dan
nilai nilai apa yang dapat diambil untuk
dijadikan sebuah keputusan lebih baik

21. Skill Data Science
• Sense of Analytics yang kuat
• Statistika
• Matematika
• Programming (Python, R, Scala, dll)

22. Proses Data Science
1. Penentuan Masalah
• Apa masalah bisnis yang ada?
• Apa tujuan dari proyeknya?
• Apa yang akan dilakukan jika semua data sudah didapatkan?
2. Pengumpulan Data
• Data mana yang relevan?
• Apakah ada masalah privasi?
3. Eksplorasi Data
• Plot data
• Apakah ada pola tertentu dari data tersebut?

23. 4. Analisis Data
• Membuat model
• Mencocokkan dan memvalidasi model
5. Visualisasi
• Apakah hasilnya masuk akal?
• Ceritakan hasil yang diperoleh
6. Pengambilan Aksi & Keputusan
• Pengambilan keputusan berdasarkan hasil yang diperoleh

24. Mengurangi Kemacetan Lalu Lintas
• Real-time smarter traffic system dapat memprediksi dan memperbaiki
flow lalu lintas
• Menganalisis data secara stream real-time yang dikumpulkan dari kamera-
kamera pada titik masuk dan keluar kota, data GPS dari taksi dan truk,
serta informasi cuaca

25. Python for Data Scientist
• Python Basic (syntax dan struktur)
– Tipe Data
– Struktur Data
– Operator
– OOP
– Library
• SQL/NoSQL
• Statistika dan Matematika
– Regresi
– Clustering
– Classification
– Modeling Lainya

26. Python for Data Scientist Tools
• Library
– Pandas
– Numpy
– Matplotlib
– Plotly
– Seaborn
– Sklearn
– Scipy
– Sqlalchemy
– Dll *20 Top For Data Science
• Hadoop
• Apache Spark
• Amazon Web Service
• Dll.

27. Step 1 – Data Preparation
• Kenapa data preparation itu dibutuhkan?
– Untuk mengurangi kesalahan data atau mendeteksi anomali
data sedini mungkin.
– Kesalahan data dan anomali data yang minimal akan
meningkatkan correctness dan akurasi hasil pengolahan data.
– Data preparation juga berarti mempersiapkan alat pengolah
data sehingga dapat menghasilkan model dengan lebih baik dan
cepat.
– GIGO (Good Input Good Output) – data yang baik merupakan
prasyarat untuk menghasilkan model yang efektif.

28. Step 2 – Data Modeling
• Data Modeling adalah proses yang digunakan untuk
memilah-milah komplesitas sebuah data
• Memilih dan menganalisa feature yang saling
berkaitan untuk menjadi bahan pertimbangan dalam
proses analisa
• Statistik Deskriptif
• Regresi Linier dan Non Linier
• Asosiasi
• Clustering - Classification

29. Step 3 – Data Visualization
“ Sebuah proses mempresentasikan data dalam bentuk
grafik untuk menunjukan pola, trend, dan informasi
dari data tersebut”.
• Meningkatkan pemahaman tentang data yang
diberikan.
• Otak manusia lebih cepat untuk mengintepretasikan
data visual secara lebih cepat.
• Visualiasi data bukan hanya sekedar memperlihatkan
data , tetapi bercerita tentang Data.

30. Kesimpulan
Data Scientist mengolah data menggunakan bahasa
pemrograman dan aplikasi pihak ketiga dimulai dari
data preparation/preparing, data modeling, data
visualization dan hasil insight
Untuk dijadikan sebuah hasil analisa untuk tim bisnis
analys/intelegen

31. Digital Talent Scholarship
(Big Data Analytics)
5W + 1H
Apa | Siapa | Kapan | Dimana
Kenapa | Bagaimana

32. Terima Kasih
• Github :
https://github.com/Derida23
• Linkedin
https://www.linkedin.com/in/arianderida/
• Dribbble
https://dribbble.com/icemoonid
• Email
arianderida@gmail.com