• Layanan publik membutuhkan informasi statistik yang uptodate. • Sosial media menjadi salah satu sumber informasi keadaan masyarakat yang bisa dimanfaatkan. • Media online banyak menyampaikan informasi di lapangan, yang bisa diolah menjadi policy brief bagi pemerintah daerah. • Metodologi statistik untuk big data media sosial perlu dirumuskan oleh BPS agar berbagai strategi media analytics bisa memiliki standard dalam mengolahannya.

1. BIG DATA UNTUK
LAYANAN PUBLIK
Ismail Fahmi, Ph.D.
Director PT. Media Kernels Indonesia
(a.k.a Drone Emprit)
Ismail.fahmi@gmail.com
IKATAN AHLI PERENCANAAN
9 JULI 2020

2. 2
1992 – 1997 Undergraduate, Electrical Engineering, ITB, Indonesia
2003 – 2004 Master, Information Science, University of Groningen, NL
2004 – 2009 Doctor, Information Science, University of Groningen, NL
2009 – Now Engineer at Weborama (Paris/Amsterdam)
2014 – Now Founder PT. Media Kernels Indonesia, a Drone Emprit Company
2015 – Now Consultant at Perpustakaan Nasional, Inisiator Indonesia OneSearch
2017 – Now Lecturer at the IT Magister Program of the Universitas Islam Indonesia
Ismail Fahmi, Ph.D.
Ismail.fahmi@gmail.com

3. DATA GROWTH: UNSTRUCTURED DATA
3

4. BIG DATA – BIG GROWTH
4

5. PENGGUNA TWITTER DI INDONESIA
NAIK DARI 27% (2018) MENJADI 56% (2020)
5
27%
52%
56%
2018
2019
2020

6. CROSS PLATFORM RESONANCE
6

7. UN GLOBAL WORKING GROUP ON BIG DATA FOR
OFFICIAL STATISTICS
7
https://unstats.un.org/bigdata/bureau/documents/reports/GWG%20report%20-%202019-27-BigData-E.pdf

8. BIG DATA SOURCE: SOCIAL NETWORK
8

9. BIG DATA SOURCE: IOT / MOBILE DATA
9

10. CONTOH PEMANFAATAN BIG DATA

11. CONTOH PEMANFAATAN BIG DATA UNTUK
STATISTIK RESMI
11

12. CONTOH 1:
Twitter for Tourism Monitoring in Mexico
12
• GOAL: Menghitung
Jumlah Turis
• Menggunakan 1% sampel
twit (georeferenced)
• 60 juta twit (Januari-Juli)
• Ambil sampel 7.955 user
• Lihat lokasi twit mereka
• Lihat pergerakan turis
domestik

13. CONTOH 2:
Using Google Trends to Nowcast Economic Data in Colombia
13
• Statistik resmi
butuh 10
minggu
• Google Trend
digunakan
untuk now cast
(realtime)
• Certain
keywords to act
as proxies for
consumer
behavior

14. CONTOH 3:
Analysis of Social Media Messages by Statistics Netherlands
14
• Goal: consumer
confidence index
• Lewat survey hasilnya
bulanan
• Analisis Twitter, difilter
hanya yang relevan
• Mengukur sentimen
(positif – negatif)
• Hasilnya bisa
mingguan (atau
realtime)
• Tantangan: keywording

15. CONTOH MOBILE DATA UNTUK TRACKING
PERGERAKAN MASYARAKAT

16. GOOGLE
COVID-19 COMMUNITY MOBILITY REPORTS
16
https://www.google.com/covid19/mobility/

17. APPLE
COVID-19 MOBILITY TRENDS REPORTS
17
https://www.apple.com/covid19/mobility

18. DKI JAKARTA
18

19. CONTOH SOCIAL MEDIA ANALYTICS
UNTUK LAYANAN PUBLIK

20. PIKOBAR
PUSAT INFORMASI DAN KOORDINASI COVID-19 JAWA BARAT
20

21. SOCIAL MEDIA ANALYTICS DI PIKOBAR
21
Drone EmpritDrone Emprit Customized

22. SOCIAL MEDIA ANALYTICS DI PIKOBAR
22
Drone Emprit Customized

23. SOCIAL MEDIA ANALYTICS DI PIKOBAR
23
Drone EmpritDrone Emprit Customized

24. DRONE EMPRIT CUSTOMIZED
24

25. CONTOH PEMANFAATAN BIG DATA
SOCIAL MEDIA ANALYTICS UNTUK KOMUNIKASI PUBLIK JABAR
Sistem big data social media digunakan untuk melakukan analisis,
reporting, penyusunan strategi komunikasi, dan evaluasi, dalam bentuk:
1. Communication Brief: Goal, point penting, dan draft konten untuk
dimobilisasikan oleh Perangkat Daerah, Dinas, dan Relawan.
2. KPI: Evaluasi hasil mobilisasi.
25
1
2
Communication Brief
Evaluasi KPI
3
Konten, Diseminasi,
dan Engagement

26. SISTEM BIG DATA UNTUK
LAYANAN PUBLIK

27. MEDIA KERNELS BIG DATA ARCHITECTURE
27
News Crawler
Twitter Crawler
Twitter Streaming
FB Page Crawler
Data Pipeline
Data
SOLR Indexer 1 SOLR Indexer 2 SOLR Indexer 3 SOLR Indexer 4
Hadoop Framework
Physical Hardware
Insight
DataIngest
Management&Queue
RealtimeJob
Processing
IG, YouTube
Database Framework
ScheduledJob
Processing
Map Reduce
Sentiment
Analysis
Other
Processings
Data&Workflow
Management
Access
Visualization
Other sources
Analytics UI

28. 28
Social Media
Twitter
Facebook
Search+JSON
Detik (ID)
Reuters (EN)
Etc..
RSS+HTML
Gatra (ID)
Bloomberg (EN)
Etc..
HTML
Kaskus
Detik Forum
Etc..
HTML
Online News
Forums
Twitter StreamJSON
Kompas
TEXT
Warta Ekonomi
Etc..
Print
PUSHJSON
Subscriber
Projects
Storage
Search + Account
Crawler
RSS + HTML
Crawler
HTML Crawler
HTML Crawler
SOLR Nodes
Shard 1
SOLR Nodes
Shard N
Index Servers
Redis Queue
Cache Manager
Mentions
Storage
Keywords +
Accounts Filters
deletes
Sentiment
Analysis
Sentiment
Models
Backtrack
Filters
Sentiment
Analysis
Analyses
Control Room
Screens
Smart phones,
tablets
Desktops
Client(s)
Converter
System Architecture

29. SOCIAL MEDIA ANALYTICS FEATURES
29
Trends
DASHBOARD
Comparison
Topic Map
NEWS PORTAL
Latest News
Media
ANALYTICS
News Sites
Page Ranks
Sentiment Analysis
PF-Chart
Engagement
Exposure
Retweets
TOPICS
Replies
Most Shared URLs
Most Shared Videos
Topic Map
Word Cloud
Impact
INFLUENCERS
Engagement
Reach
Most Engaged
Followers
Influencer Network
SNA
Topic Network
PR-Values
Reach
Hashtags Posts
Bubble Map
Twitter User Map
DEMOGRAPHY
User Locations
Edit Sentiments
MENTIONS
Training & Learning
Backtracking
Compare SNA
COMPARE
Compare Projects
Popularity vs
Favorability
Background Jobs
Upload Report
REPORTING
Download Report
User Management
ADMIN
Project Management
Client Management
Source Management
Label and Training
OPINION ANALYSIS
Opinion Chart
Insight Explorer

30. Data Lake
Keywords
BASIC: KEYWORD + FILTER
30
Twits
twit
twit
news
Filters

31. WEB SCRAPING: ONLINE NEWS

32. ONLINE NEWS CRAWLING
32
Crawler Indeks Server

33. Anatomi: Metadata dan Fullteks
33
Ambil:
Tanggal, judul, isi berita, penulis, url gambar
Buang:
Iklan, daftar headline, komentar.

34. EXTRACTING MEANINGFUL INFORMATION
FROM ONLINE NEWS
34
ONLINE NEWS
National and local

35. KEYWORDS
35

36. KEYWORDS
36

37. TRENDS OF ESSENTIAL TOPICS
37

38. TOP 10 NEWS SITES - NATIONAL
38

39. VOLUME OF MENTIONS - NATIONAL
39

40. DKI JAKARTA
40

41. JAWA TIMUR
41

42. PAPUA
42

43. NAMED ENTITY RECOGNITION

44. NER: Named Entity Recognition
44
LOCATION PERSON ORGANIZATION

45. BERITA KETAKUTAN TERHADAP COVID19
45

46. BERITA KEKURANGAN APD
46

47. BERITA PENOLAKAN JENAZAH COVID19
47

48. INDEKS INTENSITAS KEKERASAN
48

49. PERISTIWA DALAM BERITA SEBAGAI DATA
(Habibie Center)
49

50. SENTIMENT ANALYSIS

51. Sentiment Analysis
51
Positif
Negatif
Netral
?
MENTIONS

52. Sentiment Analysis
52
Positif
?
MENTIONS
Untuk Setya Novanto

53. Sentiment Analysis
53
Negatif?
MENTIONS
Untuk KPK

54. Sentiment Analysis
54
Netral
?
MENTIONS
Untuk Hakim Cepi Iskandar

55. Evaluasi
55
http://www.sciencedirect.com/science/article/pii/S2090447914000550
”one model for all” tidak bisa
memberi label yang tepat untuk
setiap subyek.
Lexicon base tergantung dari
keberadaan kata dalam kamus sentimen,
tidak bisa memberi label yang tepat
untuk subyek yang berbeda.

56. Sentiment Analysis: Drone Emprit
56
Adaptive Multiple Models

57. CONTOH: PEMETAAN ISU NEGATIF DI JABAR
57

58. FAVORABILITAS
Anies Baswedan Ridwan Kamil Ganjar Pranowo
Favorability 31% Favorability 54% Favorability 53%
Favorabilitas = Sentimen Positif – Sentimen Negatif

59. POPULARITY VS FAVORABILITY
Anies BaswedanRidwan Kamil Ganjar Pranowo
Ridwan Kamil ”paling
favorable” (54%) tapi
”paling rendah
popularitasnya” (17%)
Ganjar Pranowo ”kedua
favorabilitasnya” (53%)
tapi ”lebih populer”
(19%) dari RK
Anies ”paling rendah
favorabilitasnya”
(31%) tapi ”paling
populer” (64%).
(17%, 54%)
(19%, 53%)
(64%, 31%)

60. EMOTION ANALYSIS

61. Plutchik’s Wheel of Emotions
61
https://www.6seconds.org/2017/04/27/plu
tchiks-model-of-emotions/

62. LEXICON BASED ANALYSIS
• JOY
• senang, bahagia, suka, seneng, hepi, menyenangkan, happy,
menggembirakan, gembira, fun, sukacita, riang, ceria, …
• TRUST
• FEAR
• SURPRISE
• SADNESS
• DISGUST
• ANGER
• ANTICIPATION
62

63. PERSEPSI PENANGANAN COVID-19:
PERMERINTAH VS PUBLIK
63

64. NEW NORMAL: ANALISIS EMOSI PUBLIK
64
Tidak yakin, karena:
• Kasus korona masih tinggi
(misal Surabaya).
• Negara lain mulai saat kurva
melandai, Indonesia masih naik.
• Potensi gelombang ke-2 corona.
• Jumlah test masih kecil.
• Seperti perang tanpa senjata.
Kasus korona masih
tinggi
Kurva masih naik
Potensi gelombang
kedua
Test masih kecil
Perang tanpa
senjata

65. DR. REISA: OPINI PUBLIK ATAS PENGANGKATAN SEBAGAI
JUBIR GUGUS TUGAS
65

66. DEMOGRAPHY ANALYSIS

67. 67

68. 68

69. CONTOH DEMOGRAPHY ANALYSIS
DRONE EMPRIT
69

70. GENDER: PENDUKUNG RUU PKS VS RUU HIP
70
RUU PKS RUU HIP

71. BOT ANALYSIS

72. METODE
72
Botometer
Profile + 200 twits
Bot scores
https://rapidapi.com/OSoMe/api/botometer
API

73. HOW IT WORKS
• Botometer is a machine learning algorithm trained to classify an
account as bot or human based on tens of thousands of labeled
examples.
• When you check an account, you fetches its public profile and
hundreds of its public tweets and mentions using the Twitter API.
• This data is passed to the Botometer API, which extracts about
1,200 features to characterize the account's profile, friends,
social network structure, temporal activity patterns, language,
and sentiment.
• Finally, the features are used by various machine learning
models to compute the bot scores.
73

74. BOT SCORE “GAK SENGAJA”
• Score 1.65 (natural) dari 69K users yang dianalisis
74
HUMAN
CYBORG
BOT

75. PENUTUP

76. BIG DATA SOCIAL MEDIA DAN MEDIA ONLINE
• Layanan publik membutuhkan informasi statistik yang uptodate.
• Sosial media menjadi salah satu sumber informasi keadaan
masyarakat yang bisa dimanfaatkan.
• Media online banyak menyampaikan informasi di lapangan, yang
bisa diolah menjadi policy brief bagi pemerintah daerah.
• Metodologi statistik untuk big data media sosial perlu dirumuskan
oleh BPS agar berbagai strategi media analytics bisa memiliki
standard dalam mengolahannya.
76

77. TAKE HOME MESSAGE
• Big data dari Media Sosial tidak bisa menggantikan statistik
resmi.
• Namun, bisa menjadi pelengkap, untuk mendapatkan informasi
yang lebih uptodate ketika statistik resmi butuh delay lebih lama.
• Dalam presentasi ini sudah diperlihatkan bagaimana
pengumpulan data melalui media sosial dan web scraper
dilakukan, dan berbagai analisis yang bisa digunakan untuk
mendapatkan variable statistik tertentu.
• Perencana layanan publik bisa membuat standard dan
metodologi statistik untuk media sosial yang bermanfaat bagi
pemerintah dan perusahaan.
77

78. 78
PUBLIC LITERACY
THROUGH DATA AND STORIES

79. THANK YOU
Ismail Fahmi, Ph.D.