1. i
TUGAS AKHIR
PERANCANGAN SISTEM KEAMANAN JARINGAN KOMPUTER
BERBASIS SNORT INTRUSION DETECTION SYSTEM
DAN IPTABLES FIREWALL
Diajukan untuk memenuhi salah satu persyaratan dalam menyelesaikan
pendidikan sarjana ( S-1 ) pada Departemen Teknik Elektro
Oleh :
HANS VERDIAN KIMIN
NIM : 040402045
DEPARTEMEN TEKNIK ELEKTRO
FAKULTAS TEKNIK
UNIVERSITAS SUMATERA UTARA
MEDAN
2010
Universitas Sumatera Utara

2. i
ABSTRAK
Tugas Akhir ini merancang sistem keamanan jaringan komputer dengan menggunakan
Snort Intrusion Detection System dan IPTables Firewall. Penggabungan fungsi Snort
IDS dan IPTables firewall merupakan sistem pencegahan penyusup. Selain itu juga
menggunakan Webmin dan ACID (Analysis Console for Intrusion Databases) sebagai
front end. Sistem ini bertujuan untuk menciptakan sistem keamanan jaringan komputer
yang ringan, berbasiskan open source dan mudah dianalisa serta diatur oleh
administrator. Sistem ini dirancang akan memberikan blocking pada alamat IP yang
diketahui mengirimkan paket penyusup.
Keyword: Sistem Keamanan, Penyusup, IDS, IPS, Open Source, Firewall, Ubuntu
Universitas Sumatera Utara

3. ii
KATA PENGANTAR
Puji dan syukur kehadirat ALLAH SWT atas rahmat dan karunia sehingga penulis
dapat menyelesaikan Tugas Akhir ini. Adapun Tugas Akhir ini dibuat untuk
memenuhi syarat kesarjanaan di Departemen Teknik Elektro, Fakultas Teknik
Universitas Sumatera Utara, yang penulis beri judul “Perancangan Sistem
Keamanan Komputer Berbasis Snort Intrusion Detection System dan IPTables
Firewall”.
Selama masa perkuliahan sampai masa penyelesaian Tugas Akhir ini, penulis banyak
memperoleh bimbingan dan dukungan dari berbagai pihak. Untuk itu, dengan setulus
hati penulis menyampaikan ucapan terima kasih yang sebesar-besarnya kepada :
1. Kedua orangtua tercinta, Willy Kimin dan Rafida Idami, abang saya Truly
Nino Kimin, serta adik-adik saya Fierzi Theody Kimin dan Thea Gemala
Rahmina Kimin, yang merupakan bagian hidup penulis yang senantiasa
mendukung dan mendoakan dari sejak penulis lahir sampai sekarang.
2. Bapak Soeharwinto, ST, MT, selaku Dosen Pembimbing Tugas Akhir, atas
segala bimbingan, pengarahan dan motivasi dalam menyelesaikan Tugas Akhir
ini.
3. Bapak Ir. Djendanari Sembiring dan Bapak Ir. Syahrawardi selaku Dosen Wali
atas motivasi dan arahan serta bimbingan selama mata kuliah.
4. Bapak Prof.Dr.Ir Usman Baafai, selaku Ketua Departemen Teknik Elektro FT-
USU.
5. Bapak Rachmad Fauzi, ST, MT, selaku Sekretaris Departemen Teknik Elektro
FT-USU.
6. Seluruh Staf Pengajar di Departemen Teknik Elektro USU dan seluruh
karyawan di Departemen Teknik Elektro Fakultas Teknik USU.
7. Teman-teman seperjuangan angkatan 2004, Muhfi, Aris, Harry, Jhony, Juan,
Aulia, Nursyamsi, Luthfi, Bayu, Rozy, Fahmi dan teman-teman seangkatan
lainnya yang tidak penulis sertakan.
Universitas Sumatera Utara

4. iii
Adik-Adik di Departemen Teknik Elektro, Rozy, Salman, Bambang, dan
seluruh teman-teman di Departemen Elektro
8. Saudara-saudara spiritual, Bg Maman, Bg Husni, Bg Randy, Rajab dan lain-
lain yang terus mengingatkan penulis untuk selalu berada di jalan-Nya.
9. Teman-teman kecil, Marten, Ricky, Ratih, Deisy, Devi, Shabrina yang selalu
memotivasi penulis.
Akhir kata, Tugas Akhir ini masih jauh dari sempurna, masih banyak kesalahan
dan kekurangan, namun penulis tetap berharap semoga Tugas Akhir ini bisa
bermanfaat dan memberikan inspirasi bagi pengembangan selanjutnya.
Medan, Oktober 2010
Penulis
Hans Verdian Kimin
040402045
Universitas Sumatera Utara

5. iv
DAFTAR ISI
ABSTRAK ........................................................................................................ i
KATA PENGANTAR ............................................................................... ii
DAFTAR ISI .......................................................................................... iv
DAFTAR GAMBAR .............................................................................. vi
BAB I PENDAHULUAN
1.1 Latar Belakang ............................................................................... 1
1.2 Rumusan Masalah............................................................................... 2
1.3 Tujuan Penulisan ............................................................................... 2
1.4 Batasan Masalah ............................................................................... 2
1.5 Metode Penulisan ............................................................................... 2
1.6 Sistematika Penulisan ................................................................... 3
BAB II TEORI PENDUKUNG
2.1 Sistem Keamanan Jaringan Komputer ........................................... 5
2.1.1 Jenis Serangan ................................................................... 5
2.1.2 Tujuan Keamanan Jaringan ...................................................... 7
2.2 Sistem Deteksi Intrusi (Intrusion Detection System) ................... 7
2.2.1 Konsep IDS ............................................................................... 8
2.3 Snort IDS ......................................................................................... 10
2.3.1 Komponen Snort ................................................................. 11
2.3.2 Modus Kerja ................................................................. 15
2.4 IPTables Firewall ............................................................................. 20
Universitas Sumatera Utara

6. v
2.4.1 Konsep IPTables Firewall ..................................................... 20
2.5 ACID ......................................................................................... 22
2.6 WEBMIN ........................................................................................ 23
BAB III PERANCANGAN SISTEM DAN IMPLEMENTASI
3.1 Persiapan Server Snort IDS dan IPTables Firewall ................. 25
3.2 Instalasi Aplikasi Pendukung ..................................................... 25
3.2.1 Instalasi dan Konfigurasi Snort IDS ............................. 28
3.2.2 Konfigurasi Dekoder ..................................................... 31
3.2.3 Konfigurasi Preprocessor ..................................................... 31
3.2.4 Instalasi dan Konfigurasi Database MySQL ................. 32
3.3 Instalasi dan Konfigurasi Web Server dan ACIDBASE ................. 32
3.4 Instalasi Webmin ............................................................................. 35
3.5 Instalasi dan Konfigurasi Snortsam ......................................... 35
3.5.1 Instalasi Snortsam ................................................................. 35
3.5.2 Konfigurasi Snortsam ..................................................... 37
3.5.3 Konfigurasi Snortsam pada Firewall ............................. 38
BAB IV PENGUJIAN DAN ANALISA SISTEM KEAMANAN KOMPUTER
4.1 Tujuan Pengujian ............................................................................. 40
4.2 Prosedur Pengujian ................................................................. 40
Universitas Sumatera Utara

7. vi
4.3 Topologi Pengujian ................................................................. 41
4.4 Hasil Pengujian ........................................................................... 41
4.4.1 Blocking paket ping .............................................................. 41
4.4.1 Blocking paket evil payload ......................................... 43
4.4.2 Blocking paket SQL version overflow attempt ................. 45
4.5 Analisa Pengujian .......................................................................... 47
BAB V KESIMPULAN DAN SARAN
5.1 Kesimpulan ............................................................................ 49
5.2 Saran ........................................................................................ 49
DAFTAR PUSTAKA
LAMPIRAN
Universitas Sumatera Utara

8. vii
DAFTAR GAMBAR
Gambar 2.1 Komponen Snort ........................................................................... 15
Gambar 2.2 Tampilan ACID ........................................................................... 23
Gambar 2.3 Salah satu menu pada WEBMIN ......................................... 24
Gambar 3.1 Diagram Blok Sistem Keamanan Komputer ............................. 26
Gambar 3.2 Flowchart IPS Engine ................................................................. 27
Gambar 3.3 Skema Database yang digunakan ACID ........................................ 34
Gambar 3.4 ACID digunakan untuk menganalisis event berbasiskan web ..... 34
Gambar 3.5 WEBMIN dengan Plugin Snort untuk mengelola Rules ..... 35
Gambar 3.6 Snort setelah di-patch menggunakan SnortSam patch ................. 37
Gambar 4.1 Topologi jaringan ................................................................. 41
Gambar 4.2 Ping pada kondisi normal ..................................................... 41
Gambar 4.3 Blocking paket ping pada client ..................................................... 42
Gambar 4.4 Blocking paket ping pada server..................................................... 43
Gambar 4.5 Pengiriman paket evil payload ..................................................... 44
Gambar 4.6 Pengamatan paket evil payload pada BASE ............................. 44
Gambar 4.7 Pengamatan paket evil payload pada log snortsam ................. 45
Gambar 4.8 Pengiriman paket SQL version overflow attempt ................. 46
Gambar 4.9 Pengamatan gangguan pada BASE ......................................... 46
Gambar 4.10 Pengamatan gangguan pada log snortsam ............................. 47
Universitas Sumatera Utara