Dokumen tersebut membahas tentang penerapan message queue dalam arsitektur aplikasi web. Message queue digunakan untuk menghindari beban tinggi pada database dan backend server dengan mengantrikan permintaan asynchronous seperti konversi gambar, pengiriman email dan notifikasi. Demo menggunakan Redis sebagai message broker dan Kue untuk memproses tugas secara berurutan seperti melacak clickstream pengguna.

1. Message Queue dengan Node.js
Sharing Session Ilmu Komputer UPI
Bagian 2, Sabtu 24 Februari 2018
Laboratorium Basis Data, Ilmu Komputer, FPMIPA, Universitas
Pendidikan Indonesia

2. Arsitektur Aplikasi Web Pada
Umumnya

3. Web
Applicaton
+
Database
Deployment 1 Server

4. Web
Applicaton
Database
Deployment 2 Server

5. Backend Web
Applicaton
Database
Deployment 3 Server
Frontend Web
Applicaton

6. Ex: Laravel,
Yii2, Express.js,
Django, Flask,
etc.
Ex: MySQL,
PostgreSQL,
MongoDB, etc.
Deployment 3 Server
Ex: Angular.js,
React.js,
Vue.js, etc.

7. Backend Web
Applicaton
Database
Masalah?
Frontend Web
Applicaton
- Request tnggi
- 503 service unavailable
- Data hilang dan tak tersimpan

8. Backend Web
Applicaton
Database
Masalah?
Frontend Web
Applicaton
- Query terlalu lama
- Request tmeout dari Database
- Data yang diinginkan tdak dapat
diproses untuk client

9. Arsitektur Aplikasi Web Dengan
Message Queue

10. Message
Broker
Consumer
Skema Umum
Producer

11. Open Source Message Queue
1. RabbitMQ
2. ActveMQ
3. DynomiteQueue
4. Celery (Python)
5. Gearman
6. Kue (Node.js)
7. Machinery (Go)
8. Apache Kafa
9. ZeroMQ
10. Etc.

12. Cloud Message Queue
1. Amazon Web Service Simple Queue Service
2. Amazon Web Service Kinesis Firehose
3. Amazon Web Service Kinesis Stream
4. Azure Service Bus
5. Google Message Queue Service
6. Etc.

13. Contoh Implementasi

14. Sistem Tracking Device di AWS

15. Sistem Tracking Device di AWS
1. Mengirim data log dari smartphone berupa keberadaan
device tersebut yang terdiri dari data lattude dan
longitude secara intensive
2. Langsung terintegrasi ke AWS S3 karena menyimpan data
log di database bukan ide yang baik dan sangat mahal
3. Autoparttoning dimana data akan disimpan berdasarkan
folder yyyy/mm/dd/hh. Kita tdak perlu membuat sistem
tersebut secara mandiri
4. High througput karena request tdak akan memakan
waktu lama dan data langsung diantrikan ke AWS Kinesis
Firehose.

16. Implementasi Message Queue di Azure

17. Implementasi Message Queue di Azure
1. Mencegah high load terhadap database ketka akan
menyimpan data clickstream
2. Mengirim notfkasi ke device tertentu tapi melewat
antrian
3. Mengirim email ke user tapi melewat antrian agar
proses request saat registrasi tdak harus terlalu lama
4. Update cached informaton di Redis bila ada
pembaharuan di primary database
5. Konversi foto ke beberapa ukuran (thumbnail)
6. Generate report berupa PDF tdak harus menunggu
sampai selesai, bila report selesai dibuat maka user
mendapatkan notfkasi

18. Aplikasi Music Streaming dan Celery

19. Aplikasi Music Streaming dan Celery
1. Konversi ukuran fle audio sepert OGG dan MP3 ke
beberapa ukuran yang ditentukan (64 kbps, 128 kbps,
256 kbps, dst)
2. Mengambil metadata fle audio
3. Mengirim indexing data lagu ke Elastcsearch untuk
pencarian
4. Mengirim data lagu ke Redis untuk caching
5. Mengirim informasi untuk hasil konversi sebagai
notfkasi ke Websocket Server
6. Mengirim email untuk user yang berhasil registrasi
7. Konversi foto ke beberapa ukuran (thumbnail)
8. Melath machine learning dengan dataset yang terus
diperbaharui setap ada informasi baru yang masuk ke
primary database.

20. Demo: Clickstream Tracker

21. Redis
(Message
Broker)
Kue
Worker
(Node.js)
Skema Clickstream Tracker
Kue
Producer
(Node.js)
Backend Web
Applicaton
(Express.js)
Database
(MongoDB)
Frontend Web
Applicaton
(HTML +
Javascript +
jQuery + AJAX)

22. Frontend Web Applicaton

24. Mongoose Model

26. Backend Web Applicaton

28. Kue Worker

30. Referensi
https://docs.mongodb.com/manual/
http://mongoosejs.com/docs/guide.html
https://github.com/ridwanbejo/ilkom-mongodb-meetup-feb-2018
https://github.com/Automattic/kue
https://redis.io/documentation

31. DEMO