Dokumen tersebut membahas beberapa topik analisis seri waktu seperti model autoregresif, autokorelasi, dekomposisi seri waktu, jaringan saraf rekuren, dan memori jangka pendek dan panjang (LSTM). Topik-topik ini dielaborasi dengan contoh dan penjelasan tentang cara kerja, implementasi, dan perbedaan antara RNN dan LSTM.
4. Pendahuluan
Time Series Analysis
Time Series Analysis atau Analisis Runtun Waktu merupakan
salah satu prosedur statistika yang digunakan pada peramalan
kejadian di masa depan. Dimana analisis ini akan melibatkan
penggunaan data tersebut untuk membuat model yang akan
digunakan sebagai dasar peramalan. Dengan analisis ini, kita
dapat mengetahui apa yang menyebabkan terjadinya suatu
trend, apakah karena sentimen tertentu atau karena hal lain.
Hal-hal inilah yang bisa kita jadikan pertimbangan dalam
pembuatan keputusan.
5. Autoregressive
Model
Autoregressive (AR) adalah model regresi time series yang
menghubungkan nilai pengamatan aktual dengan nilai
pengamatan sebelumnya. Ini dapat dilakukan ketika sebuah
pengamatan tidak lepas dari pengamatan yang terjadi
sebelumnya. Konsep dasar model ini yaitu meregresikan
pengamatan aktual dengan nilai pengamatan sebelumnya
untuk melakukan peramalan nilai ke depan.
6. Dalam memodelkan suatu data deret waktu seringkali
dijumpai adanya ketidaklengkapan data yang disebut
data hilang. Data hilang disebabkan oleh beberapa
faktor, antara lain karena informasi untuk sesuatu
tentang objek tidak diberikan, sulit dicari, atau memang
informasi tersebut tidak ada. Untuk itu perlu dilakukan
penelitian lebih lanjut pada pendekatan model
Autoregressive jika terdapat data hilang.
7. Autocorrelation
(AutoKorelasi)
Regression Line
Autokorelasi dikenal sebagai korelasi serial, merupakan
suatu bentuk pelanggaran terhadap asumsi klasik yang lebih
sering/dominan terjadi ketika regresi linier sebagai sebagai
suatu teknik analisa menggunakan data deret waktu (time
series). Maksudnya adalah korelasi antara serial data atau
antara data sebelum dengan data sesudahnya dalam data
yang disusun berdasarkan urutan waktu (time series),
walaupun autokorelasi juga dapat terjadi dalam data cross
section.
8. Pada data yang disusun secara cross section, autokorelasi hanya
indikasi dari keterkatitan antara satu subjek penelitian dengan
penelitian lainnya. Atau dapat juga dikatakan sebagai kemiripian
antara satu observasi dengan observasi lainnya. Secara matematika,
autokorelasi dapat membaca pola yang berulang dari data. hal
tersebut menunjukkan adanya pengaruh waktu terhadap variabel
respon.
9. Dampak Auto Korelasi Pada
Model
Dalam analisis regresi yang menggunakan data time series atau data yang
disusun berdasarkan runtun waktu, autokorelasi merupakan syarat utama
model regresi agar tidak bias. Autokorelasi merupakan salah satu
masalah error. error ini biasanya disebut dengan error terms dalam
ekonometrik. Autokorelasi merupakan pelanggaran atas asumsi model
OLS (Ordinary Least Square) dimana mensyaratkan bahwa tidak ada
korelasi antara error/residual.
10. Bagaimana Mendeteksi
Autokorelasi?
Secara tradisional, cara untuk menguji ada tidaknya autokorelasi adalah melalui
ukuran statistik yang disebut Durbin Watson.
Uji Durbin watson adalah uji autokorelasi yang menilai adanya autokorelasi pada
residual. Uji ini dilakukan dengan asumsi atau syarat antara lain:
1. Model regresi harus menyertakan konstanta.
2. Autokorelasi harus diasumsikan sebagai autokorelasi first order.
3. Variabel dependen bukan merupakan variabel Lag.
11. Salah satu cara untuk mengatasi
autokorelasi adalah dengan membuat
model GLS (Generalized Linear Square).
Prinsip dari model GLS adalah
menghilangkan efek korelasi time series
dengan cara mentrasformasi model menjadi
model GLS. Model GLS adalah model
dengan selisih antara data pada periode t
dikurang periode t-1 yang dikalikan dengan
nilai Rho. Nilai Rho dianggap sebagai
representasi autokorelasi.
Bagaimana Mengatasi
Autokorelasi?
12. Time Series
Decomposition
Dekomposisi deret waktu melibatkan pemikiran deret sebagai kombinasi komponen
level, tren, musiman, dan kebisingan. Dekomposisi memberikan model abstrak yang
berguna untuk memikirkan deret waktu secara umum dan untuk memahami masalah
dengan lebih baik selama analisis dan peramalan deret waktu.
13. Komponen Deret Waktu
Rangkaian waktu tertentu diperkirakan terdiri dari tiga komponen
sistematis termasuk tingkat, tren, musiman, dan satu komponen non-
sistematis yang disebut kebisingan.
Komponen-komponen ini didefinisikan sebagai berikut:
•Level : Nilai rata-rata dalam rangkaian tersebut.
•Tren : Nilai yang meningkat atau menurun dalam suatu deret.
•Musiman : Siklus jangka pendek yang berulang dalam suatu rangkaian.
•Kebisingan : Variasi acak dalam rangkaian.
14. RNN adalah proses yang mengolah input dan memprosesnya
dengan berbagai informasi yang sudah pernah diperoleh
sebelumnya. Penentuan keputusan atau hasil yang diberikan
dari sebuah input tertentu akan dipengaruhi dengan sistem
informasi yang sudah pernah ada. Ini terjadi karena Recurrent
neural network memiliki memori internal yang dapat mengingat
kumpulan informasi.
Recurrent Neural Network
(RNN)
15. Recurrent neural network (RNN) adalah sistem algoritma
tertua yang telah dikembangkan sejak tahun 1980-an.
Sistem ini dinilai penting karena menjadi satu-satunya
sistem yang memiliki memori internal pada masa itu.
Kemudian, pada 1990-an, banyak modifikasi yang
menyempurnakan RNN, salah satunya adalah long short
term memory (LSTM).
16. Sebagai sebuah sistem algoritma, Recurrent neural network
dapat mengingat input dan selanjutnya memberikan output
sesuai dengan yang diinginkan. Memori internal menjadi
poin penting dalam Recurrent neural networkkarena dapat
memprediksi hal berikutnya. Sehingga, Recurrent neural
network sangat cocok untuk diaplikasikan pada deret waktu,
mesin pencarian, teks, audio, video, bahkan mesin
keuangan.
17. Tipe
RNN
·One to One: Tipe RNN ini biasa digunakan untuk memecahkan masalah dalam
machine learning. One to one juga dikenal sebagai vanilla neural network yang hanya
bisa menampung satu input dan menghasilkan satu output saja.
·One to Many: Tipe berikutnya dari RNN yang dapat menghasilkan beberapa output
atas satu input. Tipe ini banyak diaplikasikan pada caption gambar.
·Many to One: Ketiga adalah jenis many to one yang dapat menerima banyak input
untuk menghasilkan satu output saja. Jenis ini paling sering digunakan untuk
menentukan sentimen yang dapat mengklasifikasikan berdasarkan emosi negatif,
netral, atau positif.
·Many to Many: Tipe terakhir yang dapat menerima banyak input dengan beberapa
opsi output yang ditentukan berdasarkan urutan. Jenis ini banyak digunakan dalam
mesin penerjemahan.
18. Kapan RNN ini diperlukan? Jawaban
paling tepat adalah ketika terdapat
masalah dalam jaringan feed-forward.
Jika tidak demikian, Recurrent neural
network diperlukan kapan saja saat
urutan data menjadi poin penting dalam
sebuah sistem.
KAPAN RNN
DIPERLUKAN?
19. Perlu diketahui sebelumnya bahwa Recurrent neural network
berbeda dengan feed-forward neural networks yang
menghasilkan output berdasarkan urutan lurus dari lapisan input
maupun lapisan tersembunyi. Sehingga, proses ini dapat
dikatakan lebih sederhana.
RNN adalah proses yang mengolah input dan memprosesnya dengan
berbagai informasi yang sudah pernah diperoleh sebelumnya.
Penentuan keputusan atau hasil yang diberikan dari sebuah input
tertentu akan dipengaruhi dengan sistem informasi yang sudah
pernah ada. Ini terjadi karena Recurrent neural network memiliki
memori internal yang dapat mengingat kumpulan informasi.
CARA KERJA RECURRENT NEURAL NETWORK
(RNN)
20. IMPLEMENTASI RECURRENT NEURAL
NETWORK
1. MEMBERI CAPTION PADA GAMBAR
Pertama, RNN bisa digunakan untuk memberikan caption atau keterangan pada sebuah gambar.
Misalnya, sistem ini dapat memberi keterangan pada gambar anjing yang sedang menangkap bola
dengan menghasilkan kalimat berikut, “Anjing yang berlari dan menangkap bola.”
2. MEMPREDIKSI HARGA BERDASARKAN DATA
Kegunaan berikutnya dari RNN adalah untuk memprediksi harga berdasarkan data tertentu di
masa lampau. Prediksi ini bisa mempermudah perkiraan harga saham pada saat tertentu
berdasarkan sepak terjangnya selama ini.
3. MESIN PENERJEMAH
Implementasi RNN juga dapat digunakan dalam mesin penerjemah yang mampu menampilkan hasil
terjemahan kalimat atau paragraf dari sumber bahasa tertentu, misalnya pada kinerja Google
Translate.
21. Long Short Term Memory
(LSTM)
Long short term memory network (LSTM) adalah sistem
penyimpanan data yang dapat memproses, memprediksi, dan
mengklasifikasikan informasi yang telah disimpan dalam jangka
waktu lama sekali pun. LSTM hadir sebagai bentuk modifikasi
dari recurrent neural network atau RNN dan termasuk sebagai
salah satu yang populer.
22. Perbedaan Antara Long
Short Term Memory
(LSTM) Dan Recurrent
Neural Network (RNN)
Perbedaan mendasar dari LSTM dan RNN adalah
bahwa LSTM melengkapi kekurangan-kekurangan
yang dimiliki oleh pendahulunya, recurrent neural
network, yang tidak dapat memprediksi data
berdasarkan informasi yang telah disimpan dalam
waktu cukup lama.
23. Forget Gate
Input Gate
Output Gate
Gerbang pertama dalam LSTM disebut dengan forget gate.
Gerbang ini bertugas untuk melupakan beberapa informasi
yang tidak relevan dan sudah tidak diperlukan oleh sebuah
sistem. Alhasil, LSTM dapat menyajikan kumpulan informasi
yang lengkap, tetapi tetap aktual sesuai dengan kebutuhan
INPUT GATE
Gerbang kedua, yakni input gate yang bertugas untuk
memasukkan informasi yang berguna untuk mendukung
keakuratan data. Tugas input gate adalah untuk
menambahkan informasi yang sebelumnya telah diseleksi
terlebih dahulu melalui gerbang forget gate. Gerbang ini
tidak dimiliki oleh RNN yang hanya memungkinkan satu
input data untuk satu OUTPUT GATE
Gerbang Terakhir yaitu output gate, untuk menghasilkan
informasi data yang komplet dan aktual. Gerbang ini bisa
menjadi yang terakhir atas sebuah informasi atau hanya
menjadi bagian dari tahap pertama saja, sebelum akhirnya
informasi akan diproses lewat input gate di sel berikutnya.
Struktur
LSTM
