Dokumen tersebut membahas tentang implementasi sistem sentralisasi log dan monitoring pada OpenStack menggunakan Elastic Stack. Sistem ini dapat memudahkan pencarian error dan monitoring sumber daya pada OpenStack cluster dengan hanya mengakses dashboard Kibana. Dokumen tersebut menjelaskan tentang persiapan, deploy OpenStack, instalasi dan konfigurasi Elastic Stack, serta konfigurasi input, filter dan output Logstash beserta dashboard di Kibana.

1. Robi Setia Permadi
XIII SIJA A
181113923
SMK Negeri 1 Cimahi

2. PT Boer Technology
PT Boer Technology (Btech) merupakan perusahaan
yang bergerak di bidang Cloud, DevOps, dan security.
Btech berkomitmen untuk memberikan solusi optimal
dengan layanan profesional yang diberikan oleh tim
btech yang berpengalaman dalam spesialisasi Cloud,
DevOps, dan Keamanan.

3. Sentralisasi Log dan
Monitoring Node Pada
OpenStack Menggunakan
Elastic Stack

4. Latar Belakang Masalah

5. Latar Belakang Masalah
PT Boer Technology merupakan perusahaan yang
menyediakan layanan jasa di bidang Cloud Computing.
Cloud Computing adalah sebuah model komputasi
yang memungkinkan untuk :
- Dapat diakses di mana saja
- Kemudahan untuk mengakses ke kumpulan
sumber daya komputasi (networks, servers,
storages, applications, dan services)
- Dapat dengan cepat disediakan dan dirilis tanpa
adanya banyak interaksi dengan penyedia layanan

6. Latar Belakang Masalah
Private cloud adalah salah satu model penyebaran komputasi awan
yang menawarkan lingkungan kepemilikan yang didedikasikan untuk
keperluan dan kebutuhan satu entitas bisnis secara terintegrasi.
- Memiliki Kontrol Penuh terhadap Data Perusahaan
- Dapat Dikustomisasi Sendiri
- Dapat diintegrasikan dengan Public Cloud

7. Latar Belakang Masalah
OpenStack merupakan salah satu platform open source terkemuka
untuk public maupun private cloud yang terdiri dari serangkaian
proyek yang digabungkan dan berkembang pesat sehingga
mendukung serangkaian teknologi dan opsi konfigurasi yang luas.

9. Latar Belakang Masalah
Semakin banyaknya penggunaan private cloud oleh
kalangan perusahaan membuat OpenStack menjadi
salah satu platform private cloud yang banyak
diminati.

10. Latar Belakang Masalah : masalah ke-1
Ada error di OpenStack cluster? gak masalah, cari aja di log :’(((
Service Controller Node Compute Node
Horizon 3
Keystone 2
Nova 5 2
Neutron 6 2
Glance 1
Placement 1
Cinder 5 2
Total 23 6
(3 controller x 23 File Log) + (3 compute x 6 File Log) = 87 File Log

11. Latar Belakang Masalah : masalah ke-2
Team leader said : “OpenStack cluster kita penggunaan sumber dayanya masih cukup
gak? Coba cek di setiap node-nya”
Cloud Engineer : . . . . . .

12. Rumusan Masalah
1. Susahnya mencari letak error di OpenStack cluster pada sekian
banyak file log yang dihasilkan oleh OpenStack Cluster
2. Susahnya mengetahui penggunaan sumber daya yang
digunakan oleh OpenStack Cluster secara real time

13. Solusi : Monitoring Node dan Log Tersentralisasi
Biasa dikenal dengan ELK Stack :
- Elasticsearch
- Logstash
- Kibana
Modul baru sehingga disebut Elastic Stack :
- Beats :
- Filebeat
- Metricbeat
- dan lain-lain

14. Mengimplementasikan sentralisasi log dan monitoring pada
OpenStack Cluster sehingga hanya perlu masuk ke dashboard
Kibana untuk mencari error maupun monitoring pada
OpenStack cluster.
Tujuan

15. - Hanya mengambil log dari OpenStack Services yang umum
digunakan (Nova, Cinder, Glance, Neutron, Heat, Horizon,
dan Keystone),
- Hanya mengambil metrics yang ada pada OpenStack cluster
nodes (controller node, compute node).
Batasan Masalah

16. Beats, Data Shipper
Beats adalah tool yang berfungsi untuk mengumpulkan data
dan mengirimkannya ke pengolah data.
- Filebeat
- Metricbeat
- Winlogbeat
- Packetbeat

17. Logstash, Data Collector & Log Parser
Logstash adalah sebuah tool
open source yang berfungsi
sebagai mesin pengumpulan
data. Logstash dapat secara
dinamis menyatukan data dari
sumber yang berbeda dan
mengolah data kemudian
dikirim ke tujuan pilihan.

18. Elasticsearch, search engine & analysis tool
Elasticsearch adalah sebuah tool open source yang berfungsi
sebagai mesin pencarian dan analisis yang dibangun
menggunakan bahasa pemrograman Java. Semua entri data
yang masuk ke Elasticsearch disimpan dalam dokumen JSON
dan semua field dapat diindeks menggunakan query.

19. Kibana Dashboard
Kibana adalah sebuah
dashboard yang berfungsi
untuk memvisualisasikan
data dan menavigasi Elastic
Stack. Kibana dapat juga
digunakan sebagai alat untuk
mencari, dan monitoring.
Dengan Kibana dapat
menemukan data hingga
menganalisis log sampai
menemukan kerentanan
keamanan.

20. Analisis Kebutuhan

21. Deskripsi Umum Sistem
Sistem Sentralisasi Log dan Monitoring Node Pada OpenStack
Menggunakan Elastic Stack adalah sebuah sistem yang
menyediakan pengelolaan log dan monitoring tersentralisasi pada
sebuah OpenStack cluster. Sistem ini dapat membantu untuk
pencarian error saat proses troubleshooting dan monitoring
resources(pemakaian CPU dan Memory) oleh engineer.

22. Analisis Kebutuhan Perangkat Lunak
- OpenStack
- Kolla-ansible
- Elastic Stack :
- Beats (Metricbeat dan Filebeat)
- Logstash
- Elasticsearch
- Kibana

23. Analisis Kebutuhan Perangkat Keras
- 3 VM untuk OpenStack Cluster dengan spesifikasi :
- Ubuntu 18.04 LTS
- 8GB RAM
- 4 Cores CPU
- Disk :
- /dev/vda 20 GB untuk root (/)
- /dev/vdb 15 GB untuk layanan Cinder
- 1 VM untuk Elasticsearch, Logstash, dan Kibana dengan spesifikasi
:
- Ubuntu 18.04 LTS
- 8GB RAM
- 4 Cores CPU
- Disk /dev/vda 25 GB untuk root

24. Analisis Kebutuhan Perangkat Keras
- Laptop untuk mengakses dan mengkonfigurasi virtual machines
dengan spesifikasi minimal :
- 4GB RAM
- 2 Cores CPU

25. Perencanaan

26. Topologi

27. Arsitektur Sistem

28. Implementasi

29. Persiapan Environment
1. Mengubah hostname pada semua node sehingga sesuai dengan
topologi
2. Pembuatan user yang memiliki akses sudo di semua node

30. Persiapan Environment
3. Memetakan host pada /etc/hosts di setiap node
3. Membuat SSH key-pair pada setiap node

31. Persiapan Environment
3. Memetakan host pada /etc/hosts di setiap node
3. Membuat SSH key-pair pada node controller

32. Persiapan Environment
5. Mendistribusikan SSH public key dari node controller ke semua
node

33. Deploy OpenStack
1. Memperbaharui repositori pada node controller
2. Install dependensi yang diperlukan di node controller

34. Deploy OpenStack
3. Membuat virtual environment python pada node controller
3. Menginstal pip pada node controller

35. Deploy OpenStack
5. Menginstal Ansible, kolla-ansible, dan openstackclient
menggunakan pip pada node controller

36. Deploy OpenStack
6. Membuat direktori /etc/kolla pada node controller dan
mengganti pemilik direktorinya
7. Konfigurasi file multinode pada node controller

37. Deploy OpenStack
8. Membuat kata sandi untuk OpenStack menggunakan perintah
kolla-genpwd pada node controller
9. Konfigurasi file /etc/kolla/globals.yml

38. Deploy OpenStack
10.Membuat volume group untuk Cinder
10.Deploy OpenStack mengunakan kolla-ansible

39. Instalasi dan konfigurasi Elasticsearch pada
node elastic
1. Memperbaharui repositori
2. Menginstal dependensi yang dibutuhkan
1. Mengunduh dan memasangkan GPG key repositori Elastic dan
menambahkan repositori Elastic

40. Instalasi dan konfigurasi Elasticsearch pada
node elastic
4. Instalasi Elasticsearch
4. Menjalankan service Elasticsearch
4. Konfigurasi Elasticsearch

41. Instalasi dan konfigurasi Elasticsearch pada
node elastic
7. Mengatur kata sandi untuk built-in user pada Elasticsearch

42. Instalasi dan konfigurasi Elasticsearch pada
node elastic
8. Restart layanan Elasticsearch
8. Verifikasi Elasticsearch sudah menggunakan kata sandi

43. Instalasi dan konfigurasi Kibana pada node
elastic
1. Instalasi Kibana
1. Menjalankan layanan Kibana
1. Konfigurasi Kibana

44. Instalasi dan konfigurasi Kibana pada node
elastic
4. Atur kibana-keystore agar menggunakan kata sandi
4. Restart Kibana

45. Instalasi Logstash pada node elastic
1. Penambahan repositori Elastic versi 8.x
1. Instalasi Logstash versi 8.0.0

46. Instalasi Logstash pada node elastic
3. Menjalankan layanan Logstash

47. Instalasi Beats (Filebeat dan Metricbeat) pada
node controller, compute1, dan compute2
1. Mengunduh dan memasangkan GPG key repositori Elastic
kemudian menambahkan repositori Elastic

48. Instalasi Beats (Filebeat dan Metricbeat) pada
node controller, compute1, dan compute2
2. Pembaharuan repositori dan instalasi Filebeat
2. Instalasi Metricbeat

49. Mengamankan komunikasi antara Beats dan
Logstash
1. Membuat CA certificate dan server certificate pada node elastic

50. Mengamankan komunikasi antara Beats dan
Logstash
2. Ekstrak file zip hasil dari tahapan sebelumnya
2. Konversi kunci privat ke format standar Elastic Beats PKCS#8

51. Mengamankan komunikasi antara Beats dan
Logstash
4. Konfigurasi Logstash pada node elastic agar input dari Beats menggunakan
koneksi SSL/TLS

52. Mengamankan komunikasi antara Beats dan
Logstash
5. Mentransfer file ca.crt dari node elastic ke node controller,
compute1, dan compute2 lalu pindahkan ke direktori
/etc/metricbeat dan /etc/filebeat
6. Konfigurasi output metricbeat dan filebeat pada node controller,
compute1, dan compute2

53. Pembuatan script dari Python untuk monitoring
stats layanan Nova pada OpenStack

54. Konfigurasi Input Filebeat di /etc/filebeat/filebeat.yml

55. Konfigurasi Metricbeat

56. Konfigurasi Logstash
1. Mengunduh precision timestamp Ruby filter plugin
2. Konfigurasi input Logstash

57. Konfigurasi Logstash
3. Konfigurasi filter Logstash pada file /etc/logstash/conf.d/30.filter-auth-logstash.conf

58. Konfigurasi Logstash
3. Konfigurasi output Logstash
3. Restart Logstash

59. Konfigurasi dashboard pada Kibana
1. Pembuatan role untuk user logstash_internal

60. Konfigurasi dashboard pada Kibana
1. Pembuatan role untuk user logstash_internal

61. Konfigurasi dashboard pada Kibana
2. Pembuatan user logstash_internal

62. Konfigurasi dashboard pada Kibana
2. Pembuatan user logstash_internal

63. Konfigurasi dashboard pada Kibana
3. Penambahan Index patterns

64. Konfigurasi dashboard pada Kibana
4. Pembuatan dashboard pada Kibana

65. Konfigurasi dashboard pada Kibana
5. Pembuatan visualisasi untuk Jumlah Nova instances yang telah dibuat

66. Konfigurasi dashboard pada Kibana
6. Pembuatan visualisasi untuk Jumlah vCPUs yang dipakai oleh Nova instances

67. Konfigurasi dashboard pada Kibana
7. Pembuatan visualisasi untuk Jumlah vCPUs yang belum dipakai oleh Nova instances

68. Konfigurasi dashboard pada Kibana
8. Pembuatan visualisasi untuk Jumlah penyimpanan yang dipakai oleh Nova instances

69. Konfigurasi dashboard pada Kibana
9. Pembuatan visualisasi untuk Jumlah penyimpanan yang belum dipakai oleh Nova
instances

70. Konfigurasi dashboard pada Kibana
10. Pembuatan visualisasi untuk Jumlah RAM yang dipakai oleh Nova instances

71. Konfigurasi dashboard pada Kibana
11. Pembuatan visualisasi untuk Jumlah RAM yang belum dipakai oleh Nova instances

72. Konfigurasi dashboard pada Kibana
12. Pembuatan visualisasi untuk Penggunaan CPU pada OpenStack cluster nodes

73. Konfigurasi dashboard pada Kibana
13. Pembuatan visualisasi untuk Penggunaan RAM pada OpenStack cluster nodes

74. Konfigurasi dashboard pada Kibana
14. Pembuatan visualisasi untuk Percobaan login pada layanan Horizon dashboard

75. Konfigurasi dashboard pada Kibana
15. Pembuatan visualisasi untuk Detail percobaan login pada layanan Horizon dashboard

76. Konfigurasi dashboard pada Kibana
16. Pembuatan visualisasi untuk Log dari status instances pada layanan Nova
openstack.nova.compute-*

77. Konfigurasi dashboard pada Kibana
17. Pembuatan visualisasi untuk Jumlah error pada setiap layanan di OpenStack

78. Pengujian

80. Menampilkan jumlah error pada setiap layanan OpenStack

81. Pencarian error pada OpenStack dengan Elastic Stack

82. Monitoring penggunaan CPU pada OpenStack Cluster Nodes

83. Monitoring penggunaan RAM pada OpenStack Cluster Nodes

84. Mengetahui sumber daya yang tersedia dan telah digunakan
oleh layanan nova

85. Melihat riwayat status pada Nova instance

86. Melihat riwayat proses autentikasi pada layanan Horizon di
OpenStack

87. Thank You