Multiple Regression v14 15 Mei 2019 AP (1).pdf

HARAPAN BANGSA
CENTER FOR DATA SCIENCE 2018
LINEAR
REGRESSION
ANALYSIS

TUJUAN PEMBELAJARAN
Setelah pelatihan ini, peserta diharapkan mampu untuk:
1. Menentukan kapan analisis regresi tepat digunakan.
2. Menjelaskan bagaimana regresi menghasilkan prediksi menggunakan
konsep least squares.
3. Menggunakan dummy variables dan menjelaskan interpretasinya.
4. Menjelaskan asumsi analisis regresi dan mampu melakukan pengujian.
5. Memilih teknik estimasi dan menjelaskan perbedaan teknik stepwise dan
regresi simultan.
6. Menjelaskan interpretasi hasil regresi.
7. Menggunakan prosedur diagnostik yang diperlukan untuk menilai
influential observations.
2

LINEAR REGRESSION ANALYSIS
Definisi dan Konsep Analisis Regresi Linear
Langkah-langkah Analisis Regresi Linear
Ilustrasi Pengolahan Data Analisis Regresi Linear
3

DEPENDENCE METHOD
HOW
MANY
VARIABLES
ARE BEING
PREDICTED
What is the
measurement
scale of the
dependent
variable
Canonical
Correlation
Analysis
with dummy
variables
Multiple
Regression
Multiple
Discriminant
Analysis
Canonical Correlation
Analysis
Multivariate Analysis of
Variance (MANOVA)
Structural
Equation
Modeling
(SEM)
What is the
measurement
scale of the
predictor
variable
What is the
measurement
scale of the
dependent
variable
Multiple relationships of
DV and IV
Several DV in a
single relationship
One DV in a single
relationship
Metric Non Metric Metric Non Metric
Metric Non Metric
4

AKURASI ADALAH KINERJA UTAMA DARI
SEBUAH MODEL PREDIKSI
• Seandainya Anda mengetahui rata-rata berat badan mahasiswa di
sebuah kelas dan Anda diminta memprediksi berat badan dari
salah satu mahasiswa dalam kelas tersebut yang belum pernah
Anda temui dan hanya Anda ketahui namanya, maka bagaimana
cara Anda memberikan dugaan yang paling tepat?
• Anda dapat saja menduga-duga dan ketepatan dugaan tersebut
hanya tergantung pada keberuntungan Anda.
• Namun, dugaan yang lebih baik dan cukup mudah dihitung adalah
menggunakan rata-rata berat badan mahasiswa.
5

ILUSTRASI PREDIKSI MENGGUNAKAN
RATA-RATA
6
Selisih antara nilai dugaan dengan
nilai asli disebut error.
Y Berat badan (kg)
ത
𝑦 = rata-rata berat badan
ya = 70kg
error
Berat badan mahasiswa
Berapakah Yd?
Kita dapat menduga nilai Yd menggunakan
rata-rata berat badan mahasiswa.
yb = 60kg
yc = 50kg
yd = ?
0
ത
𝑦 =
𝑦1 + 𝑦2 + 𝑦3
3
ത
𝑦 =
70+60+50
3
= 60
ො
𝑦𝑑 = ത
𝑦 = 60

AKURASI PREDIKSI ADALAH KINERJA UTAMA
DARI SEBUAH MODEL PREDIKSI
• Namun, bagaimana jika Anda sudah pernah bertemu dengan
mahasiswa tersebut dan melihat bahwa tinggi badannya sekitar
170 cm. Menggunakan informasi tambahan tersebut apakah Anda
dapat memberikan dugaan yang lebih tepat?
• Secara fisik, tentu semakin tinggi badan maka semakin berat juga
badannya. Atau dengan kata lain tinggi badan berkorelasi dengan
berat badan. Dengan menggunakan data tinggi badan seseorang
kita dapat membuat prediksi yang lebih akurat tentang berat
badan.
• Konsep prediksi inilah yang disebut dengan regresi linear.
• Secara sederhana, regresi adalah cara memprediksi sebuah
variabel yang belum diketahui nilainya menggunakan satu atau
lebih variabel lain yang sudah diketahui nilainya.
7

ILUSTRASI PREDIKSI MENGGUNAKAN REGRESI
8
Prediksi menggunakan regresi linear (error y2) menghasilkan total error
lebih kecil dibandingkan total error dari dugaan rata-rata.
X tinggi badan (cm)
Y berat badan (kg)
190 cm
y2 = 80 kg
y1 = 60 kg
ത
𝑦 = rata-rata berat badan
ො
𝑦1 = ത
𝑦
ො
𝑦2 = 𝑎 + 𝑏𝑥
a b
c
d
error y2
error y1

DEFINISI ANALISIS REGRESI
Analisis regresi adalah teknik statistik untuk menganalisis keterkaitan
antara variable dependen (criterion) dan variable independen
(predictor).
Dalam analisis regresi sederhana, analisis dilakukan untuk satu
variable dependen terhadap satu variable independen.
Sedangkan dalam analisis multiple regresi, analisis dilakukan untuk
satu variable dependen terhadap beberapa variable independen.

JENIS ANALISIS REGRESI
• Berapa jumlah variabel independen?
▪ 1 : Simple regression
▪ >1 : Multiple regression
• Bagaimana bentuk garis regresi?
▪ Linear : Linear regression
▪ Nonlinear : Nonlinear regression
• Apa jenis data variable dependen?
▪ Kontinyu : Simple & Multiple regression
▪ Binomial : Logistic regression

MODEL REGRESI LINEAR SEDERHANA
Y = Berat badan actual (kg)
Y hat = berat badan yang diprediksi (kg)
X1 = Tinggi badan (cm)
b0 = konstanta
e = error
11
෡
𝒀 = 𝒃𝟎 + 𝒃𝑿𝟏
𝒀 = 𝒃𝟎 + 𝒃𝑿𝟏 + 𝒆

MODEL MULTIPLE REGRESI LINEAR
Y = Konsumsi rumah tangga (rupiah per bulan)
Y hat = Konsumsi rumah tangga yang diprediksi (rupiah per bulan)
X1 = Pendapatan rumah tangga (rupiah per bulan)
X2 = Jumlah anggota keluarga (orang)
X3 = Lokasi tempat tinggal (kota atau desa)
bn = konstanta
Y = b0 + b1X1 + b2X2 + . . . + bnXn + e
12
෡
𝒀 = b0 + b1X1 + b2X2 + . . . + bnXn

MODEL MULTIPLE REGRESI LINEAR
13
Variate (Y hat) = X1b1 + X2b2 + . . . + Xnbn
• Nilai variat (Y hat) akan dihitung untuk setiap respon.
• Nilai Y hat adalah kombinasi linear dari seluruh gabungan
variable yang menghasilkan prediksi paling baik.

14

6 LANGKAH ANALISIS REGRESI
Stage 1: Tujuan Analisis Regresi
Stage 2: Rancangan Analisis Regresi
Stage 3: Asumsi Analisis Regresi
Stage 4: Mengestimasi Model Regresi dan Menilai Overall Fit
Stage 5: Menginterpretasi Variat Regresi
Stage 6: Validasi Hasil Regresi

16
LANGKAH 1 – 3 ANALISIS REGRESI

STAGE 1: TUJUAN ANALISIS REGRESI
Tiga pertimbangan utama dalam penggunaan analisis regresi:
1. Kecocokan dengan masalah yang diteliti (prediction atau
explanation)
2. Penentuan statistical relationship (functional relationship vs statistical
relationship)
3. Pemilihan variable dependen dan independen
– Pastikan ada teori yang mendukung pemilihan variable.
– Adanya measurement error pada variable, terutama pada
variable dependen. Bisa diatasi dengan summated scales atau
SEM
– Specification error : inclusion of irrelevant variables or exclusion
of relevant variables.

Analisis regresi dapat digunakan untuk:
• Prediksi (prediction): memperkirakan nilai sebuah variabel
dependen dari beberapa variabel independen.
• Penjelasan (explanation): menjelaskan keterkaitan sebuah variabel
dependen dengan beberapa variabel independen melalui
koefisien regresi (besarnya, tandanya, signifikansinya) dan
berusaha untuk mengembangkan teori mengenai efek dari variable
independen terhadap variable dependen
• Regresi dapat digunakan untuk salah satu atau kedua tujuan di
atas.

Dalam penggunaannya untuk prediction, analisis regresi berusaha
mencapai satu dari dua tujuan, yaitu:
1. Maksimasi overall predictive power dari variable independen
yang masuk dalam regression variate. Dalam penerapan ini,
peneliti focus pada teknik-teknik yang dapat meningkatkan
kemampuan prediksi, bahkan dengan mengorbankan aspek
interpretasi.
2. Membandingkan dua atau lebih kelompok variable independen
untuk memastikan kemampuan prediksi dari setiap regression
variate. Penerapan ini juga disebut confirmatory approach.
Biasanya digunakan untuk membandingkan dua atau lebih model.
ADVANCED
CONCEPTS

Dalam penggunaannya untuk explanation, analisis regresi difokuskan
pada interpretasi yang dapat disimpulkan dari model regresi yang
dihasilkan.
Tiga perspektif penting dalam interpretasi adalah:
1. Importance of independent variable.
2. Types of relationship (linear or curvilinear).
3. Interrelationships among independent variables.
ADVANCED
CONCEPTS

Functional Relationship vs Statistical Relationship
▪ Functional relationship menghasilkan perhitungan yang tepat, tanpa error
dalam hasil perhitungan.
▪ Statistical relationship menghasilkan perkiraan (prediksi), dengan error
tertentu.
▪ Analisis regresi tepat digunakan hanya untuk menganalisis hubungan
statistical.
ADVANCED
CONCEPTS

▪ Dengan analisis regresi, error yang dihasilkan tidak dapat
dipisahkan antara error karena kesalahan prediksi atau error
karena pengukuran (measurement). Gunakan Structural Equation
Modeling (SEM) jika ingin memperhitungkan measurement error
secara langsung dalam analisis
▪ Lebih baik menggunakan variable independen yang banyak
walaupun tampak tidak relevan (karena dampaknya hanya
kesulitan interpretasi), daripada mengambil resiko mengabaikan
sebuah variable yang relevan (yang dapat menghasilkan bias
terhadap hasil regresi).
RULE OF THUMB 1

STAGE 2: RANCANGAN ANALISIS REGRESI
▪ Terkait dengan tujuan utama yang akan dicapai dari analisis regresi,
terdapat beberapa hal yang harus dipertimbangkan:
• Ukuran sampel.
Jumlah sampel yang tersedia mempengaruhi statistical power,
practical significance, dan statistical significance yang dapat
dihasilkan model.
• Karakteristik hubungan variable dependen dan independen.
Regresi linear hanya memodelkan hubungan linear. Efek non linear
dapat dimodelkan dengan komponen tambahan.
• Sifat dari variable independen.
Analisis regresi dapat mengakomodasi variable independen yang
sifatnya fixed maupun yang memiliki sifat random.

▪ Analisis regresi menganalisis korelasi antara variable independen
dengan variable dependen.
▪ Korelasi adalah seberapa besar variasi sebuah variable dapat
menjelaskan variasi variable yang lain.
▪ Korelasi yang tinggi tidak selalu berarti kausalitas
▪ Contoh: Berat Badan berkorelasi tinggi dengan Tinggi Badan, namun
tidak berarti berat menyebabkan tinggi.
▪ Untuk menganalisis kausalitas, gunakan Structural Equation Modeling
(SEM)..

▪ Jumlah sampel sangat mempengaruhi power dan generalizability
dari hasil regresi.

▪ Semakin besar degrees of freedom, semakin besar generalizability.
▪ Dengan demikian tujuan analisis regresi adalah mencapai akurasi
prediksi yang tinggi dengan degrees of freedom paling besar.
▪ Degrees of freedom yang terlalu kecil mengakibatkan overfitting.
Degrees of freedom (df) = N – (Number of independent variables+1)
N = jumlah sampel

▪ Data yang digunakan untuk analisis regresi terbatas pada data
metric, baik untuk variable dependen maupun variable independen.
▪ Sifat hubungan yang dapat dideteksi analisis regresi adalah
hubungan linear.
▪ Pelanggaran pada dua asumsi di atas dapat diatasi dengan
melakukan transformasi data.
▪ Untuk mengakomodasi data nonmetric dapat digunakan dummy
variables (indicator coding dan effects coding).
▪ Untuk mengakomodasi hubungan non linear dapat digunakan
polynomials atau moderator variable.

Bentuk dummy variable:
▪ Indicator coding (paling banyak digunakan)
▪ Setiap kategori diwakili oleh 1 atau 0.
▪ Koefisien regresi dummy variable menunjukkan perbedaan
pengaruh terhadap kategori acuan (yang diwakili oleh semua 0).
▪ Effects coding
▪ Sama dengan indicator coding, namun kategori acuan diberikan
nilai semuanya -1 (bukan 0).
▪ Koefisien regresi dummy variable menunjukkan perbedaan
pengaruh terhadap rata-rata seluruh group.
Menggunakan dummy variables untuk data nonmetrik
ADVANCED
CONCEPTS

▪ Sebuah analisis ingin memprediksi IPK mahasiswa (Y) dari jumlah jam
belajar (X1), jam menggunakan medsos (X2), jam bermain game (X3),
dan gender (X4).
▪ Gender adalah variable non metric dengan dua kategori yaitu pria
dan wanita, yang tidak dapat digunakan langsung dalam regresi.
▪ Dengan demikian, untuk menggunakan variable gender dalam
analisis regresi, diperlukan dummy variable, yaitu dengan
mengkodekan pria = 1 dan wanita = 0 (indicator coding).
▪ Jika misalnya hasil regresi Y = 1,5 + 2X1 – 0,3X2 – 0,5X3 + 0,5X4
maka pria (indicator 1) memiliki IPK 0,5 lebih baik dibandingkan
wanita (indicator 0 /reference).
Contoh penggunaan dummy variables – indicator coding
ADVANCED
CONCEPTS

▪ Jika menggunakan effects coding, pria = 1 dan wanita = -1.
▪ Jika misalnya hasil regresi Y = 1,5 + 2X1 – 0,3X2 – 0,5X3 + 0,5X4
maka pria (indicator 1) memiliki IPK 0,5 lebih baik dibandingkan
rata-rata seluruh mahasiswa (pria dan wanita).
Contoh penggunaan dummy variables – effects coding
ADVANCED
CONCEPTS

▪ Model di atas hanya dapat dipakai untuk hubungan curvilinear
sederhana (hanya memiliki satu titik balik).
▪ Tidak ada ukuran statistik untuk mengetahui apakah model linear
atau curvilinear yang lebih cocok.
▪ Hanya dapat mengakomodasi hubungan univariate dan bukan
interaksi antar variable independen.
Model Curvilinear
෡
𝒀 = 𝒃𝟎 + 𝒃𝟏𝑿𝟏 + 𝒃𝟐𝑿𝟏
𝟐
ADVANCED
CONCEPTS

▪ Moderator effect terjadi ketika terdapat variable moderator
(variable lain di luar variable independen yang sudah ditentukan)
mengubah bentuk hubungan antara variable independen dengan
variable dependen.
Moderator Effects
ADVANCED
CONCEPTS

▪ Untuk menentukan signifikansi moderator effects:
▪ Hitung model regresi awal.
▪ Hitung model regresi dengan variable moderator.
▪ Hitung perubahan R2. Jika perubahannya signifikan, maka
terdapat moderator effect.
Model dengan Moderator Effects
෡
𝒀 = 𝒃𝟎 + 𝒃𝟏𝑿𝟏 + 𝒃𝟐𝑿𝟐 + 𝒃𝟑𝑿𝟏𝑿𝟐
Variable
moderator
ADVANCED
CONCEPTS

▪ Untuk analisis regresi sederhana, ukuran sampel 20 sudah cukup
efektif.
▪ Untuk multiple regresi, agar power dapat dipertahankan di 0.8,
disarankan sampel 100, walaupun minimum sampel 50 dapat
diterima.
▪ Untuk generalizability, rasio minimum sampel terhadap jumlah
variable 5:1, namun rasio yang disarankan adalah 20:1. Untuk
teknik stepwise, disarankan rasio lebih besar.
▪ Meningkatkan degrees of freedom meningkatkan generalizability
dan menjawab masalah parsimony serta ukuran sampel.
RULE OF THUMB 2

▪ Variabel nonmetric hanya dapat digunakan jika diubah menjadi
variable dummy.
▪ Koefisien variabel dummy hanya dapat diinterpretasi terhadap
reference category.
▪ Hubungan curvilinear antara variable dependen dan independen
dapat dimodelkan dengan menambahkan polynomials. Polynomial
kuadratik atau kubik biasanya cukup untuk mewakili sebagian
besar hubungan curvilinear.
▪ Menilai signifikansi polynomials dilakukan dengan mengevaluasi
incremental R2, bukan melalui koefisien individu, karena terdapat
multikolinearitas yang besar.
RULE OF THUMB 3 – VARIABLE TRANSFORMATIONS

STAGE 3: ASUMSI ANALISIS REGRESI
▪ Pengujian asumsi dilakukan baik untuk variable individual maupun
terhadap regression variate. Dengan demikian pengujian asumsi
dilakukan sebelum dan setelah analisis regresi selesai dilakukan.
▪ Asumsi yang harus dipenuhi dalam analisis regresi antara lain:
• Linearitas hubungan antara variable dependen dan independen.
• Variansi error konstan (homoscedasticity).
• Independensi error.
• Error berdistribusi normal.

No Asumsi Cara pengecekan Remedy
1
Linearitas hubungan
variabel
Partial regression plot Transformasi data
2 Homoscedasticity
Scatterplot residual vs
predicted values
Transformasi data
3 Independence of errror
Scatterplot residual vs
predicted values
Menambah variabel
4 Normality of error Normal probability plot Transformasi data
37
Asumsi analisis regresi

▪ Menguji asumsi perlu dilakukan untuk variabel independen,
variable dependen, dan juga regression variate yang dihasilkan.
▪ Metode pengujian asumsi yang paling banyak digunakan adalah
analisis grafis (partial plot, residual plot, dan normal probability
plot).
▪ Remedy untuk permasalahan variat, harus dilakukan dengan
mengubah satu atau lebih variable independen.
RULE OF THUMB 4

39
LANGKAH 4 – 6 ANALISIS REGRESI

STAGE 4: ESTIMASI MODEL DAN MENILAI
OVERALL FIT
Tiga hal utama yang harus dilakukan:
• Memilih metode estimasi regresi (confirmatory, sequential search,
combinatorial)
• Menilai signifikansi statistik dari keseluruhan model dalam
memprediksi variable dependen.
• Menentukan apakah ada sampel yang memberikan efek terlalu
besar terhadap hasil (influential observations).

OVERALL FIT
Teknik estimasi yang dapat digunakan:
▪ Confirmatory (simultan)
▪ Sequential search
• Stepwise
• Forward inclusion & backward elimination
▪ Combinatorial

OVERALL FIT
▪ Jumlah variable independen yang digunakan dalam penelitian
ditentukan sepenuhnya oleh peneliti.
▪ Peneliti perlu mempertimbangkan trade-off yang terjadi antara
kemampuan prediksi yang dicapai menggunakan lebih banyak
variable dengan model parsimony dan kemudahan interpretasi.
▪ Metode confirmatory specification perlu didasarkan pada dasar
teori yang kuat, tidak dapat hanya menggunakan informasi empiris
saja.
Confirmatory Specification

OVERALL FIT
▪ Metode sequential search berusaha mencari kemampuan prediksi
maksimum menggunakan jumlah variable sekecil mungkin.
▪ Stepwise Estimation : variable independen ditambahkan satu persatu
ke dalam model sesuai dengan besarnya kontribusi yang dapat
diberikan (diukur dengan tingkat korelasinya). Variabel yang sudah
masuk ke dalam model dapat dikeluarkan kembali jika pada tahap
berikutnya ditemukan kontribusi yang tidak signifikan.
▪ Forward Addition and Backward Elimination : merupakan metode
trial and error, yang juga menambahkan atau mengurangi variable
independen satu persatu setiap tahap. Perbedaannya dengan
stepwise estimation adalah variable yang sudah masuk/keluar tidak
dapat keluar/masuk kembali.
Sequential Search

OVERALL FIT
FLOWCHART METODE STEPWISE

OVERALL FIT
▪ Metode combinatorial approach melakukan estimasi model regresi
untuk setiap kemungkinan kombinasi variable independen yang
mungkin dibuat.
▪ Memerlukan kemampuan komputasi yang besar.
▪ Banyak dikritik karena menghasilkan model terbaik yang tidak
mudah diinterpretasikan, sehingga sudah tidak banyak digunakan
lagi.
Combinatorial Approach

OVERALL FIT
▪ Apapun teknik estimasi yang dipilih, evaluasi hasil akhir model harus
tetap berdasarkan teori yang ada, karena setiap teknik estimasi
memiliki kelemahan masing-masing.
▪ Confirmatory: memaksimalkan akurasi prediksi, namun paling
kompleks.
▪ Sequential search: peneliti tidak dapat menentukan variable akhir
yang masuk dalam model regresi.
▪ Combinatorial: mengestimasi semua model yang mungkin tetapi
juga tidak memberikan kebebasan menentukan model akhir.
▪ Tidak ada teknik estimasi tertentu yang “terbaik”.
▪ Strategi yang tepat adalah menggunakan kombinasi teknik, untuk
memaksimalkan keunggulan setiap teknik yang ada.
RULE OF THUMB 5

OVERALL FIT
Parameter yang digunakan dalam penilaian akurasi prediksi:
▪ Koefisien determinasi (R2), menunjukkan kemampuan variable
independen menjelaskan variasi variable dependen.
▪ Adjusted R2, mengakomodasi jumlah sampel yang digunakan dalam
perhitungan koefisien determinasi. R2 yang besar namun adjusted R2
kecil mengindikasikan model overfitting.
▪ Jelaskan confidence interval..
▪ Signifikansi koefisien regresi, yang diuji menggunakan confidence
interval. Koefisien disebut signifikan jika tidak ada nilai nol dalam
confidence interval koefisien.
Menilai Overall Fit

OVERALL FIT
▪ Apakah koefisien signifikan secara statistik?
▪ Bagaimana pengaruh jumlah sampel terhadap koefisien?
▪ Apakah koefisien memiliki practical significance?
PERTANYAAN TERKAIT KOEFISIEN REGRESI

OVERALL FIT
49
TSS = Total Sum of Square (Total Variance) = RSS + ESS
RSS = Residual Sum of Square (Unexplained Variance)
ESS = Explained Sum of Square (Explained Variance)
Dfreg = jumlah koefisien dalam model – 1
X
Y
ത
𝑌
Y = b0 + b1X
y1
x1
Ƹ
𝑦
𝐸𝑆𝑆 = ෍( ෝ
𝑦𝑖 − 𝑦)2
𝑅𝑆𝑆 = ෍(𝑦𝑖 − ෝ
𝑦𝑖)2
𝑇𝑆𝑆 = ෍(𝑦𝑖 − 𝑦)2
𝑹𝟐 =
𝑬𝑺𝑺
𝑻𝑺𝑺
KOEFISIEN DETERMINASI (R2)
𝑭 =
𝑬𝑺𝑺/𝒅𝒇𝒓𝒆𝒈
𝑹𝑺𝑺/𝒅𝒇𝒓𝒆𝒔

OVERALL FIT
▪ Nilai F dihitung untuk melakukan F test (ANOVA).
▪ F test dilakukan untuk menguji apakah konstanta dan koefisien
masing-masing independen variable tidak sama dengan 0.
▪ Model regresi Y = b0+ b1x1 + b2x2 + … + bnxn
▪ H0 : b0 = b1 = b2 = … = bn = 0
▪ H1 : ada koefisien yang tidak nol

OVERALL FIT
▪ Statistik F digunakan untuk menentukan apakah model yang dihasilkan signifikan
secara statistik.
▪ Nilai sig. < 0.05 menunjukkan bahwa kemungkinan bahwa nilai semua
koefisien=0, kurang dari 5%. Batas ini menjadi panduan untuk menentukan
apakah hasil prediksi model signifikan atau tidak.
▪ Meskipun nilai R2 yang besar menghasilkan nilai F yang besar, peneliti harus
menilai statistical significance dan pratical significance secara terpisah.
• Contohnya bila jumlah sampel besar maka meskipun nilai R2 kecil tetapi nilai
F signifikan.
• Model regresi dengan R2 5% atau 10% bisa saja secara statistik terbukti
signifikan, meskipun tidak dapat digunakan untuk memprediksi (karena
practical significance rendah).
▪ Peneliti harus memeriksa apakah hasil prediksi dari model berarti apabila
digunakan secara real.

OVERALL FIT
Influential observations adalah seluruh kasus/pengamatan yang
memiliki efek tidak proporsional terhadap hasil regresi. Influential
observations perlu diidentifikasi untuk memungkinkan interpretasi yang
tepat terhadap hasil regresi.
Jenis influential observations:
• Outliers adalah kasus/pengamatan yang memiliki nilai residual
sangat besar.
• Leverage points adalah kasus/pengamatan yang memiliki nilai
variable dependen yang sangat berbeda.
• Influential observations lainnya.
Mengidentifikasi Influential Observations

OVERALL FIT
Pola Influential Observations

OVERALL FIT
Pola Influential Observations
▪ Pola reinforcing (gambar 8a), merupakan leverage points yang
memperkuat pola regresi yang terbentuk.
▪ Pola conflicting (gambar 8b dan 8c), merupakan influential points
yang melawan pola regresi yang terbentuk.
▪ Pola shifting (gambar 8d), merupakan influential points yang tidak
mengubah pola hubungan (slope), namun mempengaruhi konstanta
regresi yang dihasilkan.
▪ Beberapa influential observation dengan efek yang sama meskipun
pada posisi yang berbeda, mempersulit deteksi (gambar 8e dan
8f).

OVERALL FIT
Cara memperbaiki influential observations:
• Jika terjadi karena kesalahan pada data entry, maka perbaikan
dengan cara mengkoreksi atau menghapus data.
• Jika terjadi karena data yang memiliki situasi khusus, maka
perbaikan dengan cara menghapus data, kecuali jika variable
yang mencerminkan situasi khusus tersebut ada dalam model.
• Jika terjadi karena data tanpa penjelasan khusus, maka perlu
analisis dengan dan tanpa data tersebut, karena tidak ada
alasan langsung untuk menghapus data.
• Jika terjadi karena data yang “biasa” secara individu, namun
“luar biasa” dalam kombinasi dengan data lain, maka hal ini
menggambarkan perubahan konseptual model regresi sehingga
data harus tetap dipertahankan.

OVERALL FIT
▪ Pastikan model memiliki practical significance terutama dengan
jumlah sampel yang besar. Hal ini karena jumlah sampel yang
besar hampir selalu menghasilkan model yang signifikan secara
statistik.
▪ Gunakan adjusted R2 untuk mengukur akurasi prediksi model
karena adjusted R2 memperhitungkan sampel size dan jumlah
independen variable.
▪ Statistical significance tanpa dukungan teori, berarti model tidak
valid.
▪ Influential observations yang tidak mudah dideteksi dapat
memberikan pengaruh yang besar terhadap model.
RULE OF THUMB 6

STAGE 5: INTERPRETASI VARIAT REGRESI
▪ Interpretasi regression variate dimulai dengan mengevaluasi
koefisien regresi yang dihasilkan.
▪ Evaluasi juga harus dilakukan terhadap variable independen yang
tidak dimasukkan ke dalam model (karena menggunakan teknik
sequential search)
▪ Prediction: koefisien menjadi alat untuk memprediksi nilai variable
dependen.
▪ Explanation: koefisien menjadi indicator untuk mengevaluasi
dampak variable independen terhadap variable dependen.
▪ Standardized coefficients digunakan untuk mengakomodasi
perbedaan skala data sehingga interpretasi menjadi lebih mudah.
Menggunakan Koefisien Regresi

Terkait multikolinearitas, terdapat beberapa hal yang harus dilakukan:
• Menilai tingkat multikolinearitas yang terjadi
• Menentukan pengaruhnya terhadap hasil prediksi
• Menerapkan tindakan untuk mengurangi multikolinearitas
Menilai Multikolinearitas

Cara mendeteksi multikolinearitas:
• Tolerance, adalah besarnya variabilitas variable independen
yang tidak terjelaskan oleh variable independen lainnya.
• Variance Inflation Factors (VIF), adalah inverse dari tolerance.
• Multikolinearitas terjadi jika nilai tolerance rendah dan nilai VIF
tinggi.
• Batas nilai tolerance umumnya 0.1 (VIF = 10).

Multikolinearitas dapat diatasi dengan cara:
• Menghilangkan satu atau lebih variable independen yang saling
berkorelasi. Hati-hati dengan specification error.
• Gunakan model yang memiliki multikolinearitas tinggi hanya untuk
tujuan prediksi. Jangan interpretasikan koefisien regresinya.
• Gunakan korelasi sederhana antara variable dependen dengan
independen untuk memahami hubungan antar variable tersebut.
• Gunakan metode yang lebih advanced seperti Bayesian
regression atau regresi terhadap principal component.

▪ Interpretasi pengaruh setiap variable independen terhadap variable
lain.
• Gunakan standardized coefficients untuk membandingkan
kepentingan di antara variable independen.
• Koefisien regresi …
▪ Multikolinearitas umumnya dihindari karena dapat:
• Mengurangi R2
• Mengaburkan pengaruh koefisien regresi
• Berpengaruh negative terhadap hasil uji signifikansi koefisien
regresi
RULE OF THUMB 7

▪ VIF 10 (tolerance values 0.10) mengindikasikan masalah dengan
multikolinearitas. Walaupun demikian, jika multikolinearitas lebih
rendah bukan berarti tidak ada masalah.
▪ Korelasi bivariate rendah dapat bermasalah jika ternyata korelasi
tersebut lebih tinggi dari korelasi antara variable dependen dan
variable independen.
▪ Nilai VIF yang lebih rendah dapat bermasalah dalam interpretasi
terutama jika hubungan dengan variable dependen lebih rendah.
RULE OF THUMB 7 - continued

STAGE 6: VALIDASI HASIL REGRESI
Cara melakukan validasi:
• Additional sample atau split sample.
Hasil regresi diuji kembali menggunakan sampel baru atau
sampel holdout.
• Menghitung PRESS statistics

64

▪ HBAT management ingin memprediksi tingkat kepuasan konsumen
berdasarkan persepsi konsumen terhadap kinerja HBAT
menggunakan teknik multiple regression.
▪ Variabel independen : X19 Customer satisfaction
▪ Variabel dependen : X6 – X18

▪ Survey dilakukan terhadap 100 orang responden.
▪ Seluruh responden memberikan data lengkap.
▪ Berdasarkan tabel 5, maka 100 sampel dengan 13 variable
independen, dapat mendeteksi hubungan dengan R2 sebesar 23%
pada power 0.8 dengan tingkat signifikansi 0.01.
▪ Model regresi yang akan dihasilkan dinilai cukup untuk
mengidentifikasi statistical significance maupun practical
significance.

STAGE 3: ASUMSI MULTIPLE REGRESSION
▪ Hasil scatterplots tidak mendeteksi adanya hubungan nonlinear
antara variable dependen dan independen.
▪ Uji heteroscedasticity menunjukkan dua variable independen (X6
dan X17) memiliki penyimpangan ringan dan tidak perlu diperbaiki.
▪ Uji normalitas menunjukkan enam variable (X6, X7, X12, X13, X16, dan
X17) terdapat penyimpangan .
▪ Dalam kasus ini, regresi akan dilakukan terhadap variable asli
maupun variable hasil transformasi dan kemudian dibandingkan
hasilnya.

STAGE 4: ESTIMASI MODEL REGRESI DAN
MENILAI OVERALL FIT
▪ Estimasi dilakukan dengan metode stepwise.
▪ Variabel dengan korelasi bivariate terbesar dipilih masuk model
yaitu X9 yang memiliki korelasi 0,603 dengan X19.
▪ Model Fit:
• Multiple R = 0.603
• Koefisien determinasi R2 = (0.603)2 = 0.364, yang berarti
variable X9 menjelaskan 36,4% variasi X19.
• F ratio = 56.070 dengan signifikansi 0.000.

MENILAI OVERALL FIT
Korelasi bivariate terbesar

MENILAI OVERALL FIT
R2 = 0.364 artinya variable X9 mampu menjelaskan 36,4%
variansi dari X19
Sig = 0.00
artinya
terdapat 0%
kemungkinan
nilai F = 56.0
sebenarnya
adalah 0,
yang berarti
seluruh
koefisien
bernilai 0
Model regresi
Y = 3.68 +
0.595 X9

MENILAI OVERALL FIT
Korelasi partial terbesar yang signifikan dan tidak berkorelasi dengan variable
independen lainnya, sehingga X6 merupakan kandidat untuk masuk model di
tahap kedua.

MENILAI OVERALL FIT
R2 meningkat dari 0.364 menjadi 0.544
Sig = 0.00
artinya model
signifikan
Model regresi
Y = 1.077 +
0.55 X9 +
0.364 X6
Tidak ada
multikolinearitas
di antara
variable
independen
dalam model

MENILAI OVERALL FIT
Korelasi partial terbesar yang signifikan dan tidak berkorelasi dengan variable
independen lainnya, sehingga X12 merupakan kandidat untuk masuk model di
tahap ketiga.

MENILAI OVERALL FIT
R2 meningkat dari 0.544 menjadi 0.753 Sig = 0.00 artinya model signifikan
Model regresi
Y = -1.569 +
0.433 X9 +
0.437 X6 +
0.53 X12
Tidak ada
multikolinearitas
di antara
variable
independen
dalam model

MENILAI OVERALL FIT
X7 dan X11 merupakan kandidat untuk
masuk model pada tahap selanjutnya.
X18 memiliki korelasi partial besar
yang signifikan namun memiliki
multikolinearitas besar sehingga tidak
dimasukkan dalam model

MENILAI OVERALL FIT
R2 meningkat dari 0.753 menjadi 0.791 Sig = 0.00 artinya model signifikan
Model regresi
Y = -1.151 +
0.319 X9 +
0.369 X6 +
0.775 X12 +
-0.417 X7 +
0.174 X11
Multikolinearitas
meningkat namun
semua variable
tetap signifikan

MENILAI OVERALL FIT
Tidak ada variable independen tersisa yang memiliki
korelasi partial signifikan sehingga tidak ada
penambahan variable dalam model.

MENILAI OVERALL FIT

MENILAI OVERALL FIT
• Analisis residual dan partial plot tidak
menunjukkan pola nonlinear sehingga
mendukung asumsi linearitas.
• Sebaran residual tidak menunjukkan pola
tertentu di sepanjang nilai variate
sehingga mendukung asumsi
homoscedasticity dan independensi
residual.

MENILAI OVERALL FIT
• Normal probability plot
menunjukkan bahwa residual
berdistribusi normal sehingga
mendukung asumsi normalitas.

MENILAI OVERALL FIT
• Tujuh observasi (2, 10, 20,
45, 52, 80, 99) memiliki
residual yang signifikan dan
dapat dikategorikan sebagai
outliers.
• Pemeriksaan pada partial
plot (Fig.11) juga
menampakkan perbedaan
signifikan pada obervasi
tersebut.

Model prediksi:
Y = -1.151 + 0.319 X9 + 0.369 X6 + 0.775 X12 + -0.417 X7 + 0.174 X11
• Tanda koefisien menunjukkan arah hubungan variable dependen dan
independen.
• Dari seluruh variable independen dalam model, hanya X7 (E-
commerce) yang memiliki koefisien negative. Jika dilihat bivariate
correlationnya, X7 memiliki korelasi positif dengan X19. Pembalikan
tanda koefisien ini terjadi karena efek multikolinearitas di dalam
model.
• Untuk membandingkan kepentingan di antara variable independen,
harus digunakan standardized coefficient (beta).
• Berdasarkan beta, urutan kepentingan variable adalah X12, X6, X9,
X7 dan X11.

Perbandingan
pengaruh
variable
independen
terhadap
variate
ditunjukkan
oleh nilai
beta.

• Validasi split sample
menunjukkan hasil
yang konsisten.
• Variabel independen
yang masuk dalam
model sedikit
berbeda.

• Walaupun R2 meningkat dibanding model sebelumnya (0.791 ke 0.804) namun
Adjusted R2 turun (0.780 ke 0.774). Hal ini menunjukkan penambahan variable lain
yang tidak signifikan.
• Standard error of estimate meningkat (0.559 ke 0.566).
• Hal ini menunjukkan bahwa R2 seharusnya tidak digunakan sebagai satu-satunya
kriteria dalam menentukan fitness dari model.

• Hanya variable X6, X7, dan X12 yang signifikan.
• Variabel X11, X17, dan X18 menunjukkan multikolinearitas yang besar. Nilai tolerance
di bawah 0.05 menunjukkan 95% atau lebih variansinya dapat dijelaskan variable
yang lain.

• Variabel X3 Firm Size
(large and small)
diakomodasi dalam
model menggunakan
variable dummy.
• Large firm diberikan
kode 1, small firm
diberikan kode 0.
• Dengan metode
stepwise, X3 ditemukan
signifikan dengan
koefisien 0.271.

▪ Untuk tujuan prediksi, hasil model regresi memiliki akurasi yang
tinggi.
▪ Untuk tujuan penjelasan, seluruh model membuktikan tiga variable
memberikan pengaruh yang kuat yaitu X12 Salesforce image, X6
Product quality, dan X9 Complaint resolution. Peningkatan pada
salah satu variable tersebut akan meningkatkan kepuasan konsumen
(X19).
▪ Large firms memiliki kepuasan 0.271 lebih tinggi dari small firms.
▪ Analisis dengan factor analysis menjelaskan lebih jauh bahwa X12,
X6, dan X9, merupakan primary components dari dimensi persepsi
konsumen . Hal ini harus dipertimbangkan ketika merencanakan
tindakan bisnis lebih jauh.
Managerial Overview

LEARNING CHECKPOINTS
• Kapan analisis regresi tepat digunakan?
Analisis multiple regression digunakan untuk menganalisis hubungan
antara satu variable dependent (criterion) dengan beberapa
variable independent (predictor). Kedua jenis variable tersebut
harus berjenis metric. Tujuannya adalah menggunakan nilai
beberapa predictor yang sudah diketahui untuk memprediksi nilai
criterion yang belum diketahui.

• Jelaskan konsep regresi dengan konsep least square?
Untuk memprediksi nilai criterion tanpa menggunakan predictor,
dapat digunakan nilai rata-rata. Namun rata-rata kurang
memberikan prediksi yang baik, sehingga perlu digunakan
predictor dalam model regresi. Untuk menilai akurasi prediksi, baik
dengan rata-rata maupun model regresi, dapat digunakan selisih
antara nilai prediksi dengan nilai sebenarnya (error). Akan tetapi,
penjumlahan error prediksi terhadap nilai rata-rata tidak dapat
digunakan karena selalu berjumlah nol. Untuk mengatasi hal ini,
maka nilai error dikuadratkan (squared) dan dijumlahkan. Dengan
demikian model yang memberikan nilai jumlah kuadrat error (sum of
squared error) yang paling kecil (least squares) memberikan akurasi
prediksi paling besar.

• Bagaimana menggunakan variable dummy dan
menginterpretasikannya?
Variabel non-metric dapat digunakan asalkan ditransformasi
terlebih dahulu. Jika variable non-metric ada pada criterion, maka
dapat menggunakan teknik discriminant analysis atau logistic
regression. Jika variable non-metric ada pada predictor dan
bersifat kategorikal, maka variable tersebut dapat diubah menjadi
metric menggunakan variable dummy. Sebuah variable kategorikal
dengan jumlah k kategori, dapat ditransformasi menjadi k-1 dummy
variables.

• Apa asumsi yang mendasari analisis regresi dan bagaimana
memeriksanya?
Asumsi yang mendasari analisis regresi adalah linearitas hubungan
yang dianalisis, variasi error yang konstan, terms of error yang
independen, dan normalitas distribusi dari error terms. Asumsi ini
berlaku baik untuk variable dependen maupun independen serta
hubungannya. Asumsi linearitas dapat diperiksa dengan ploting
sebaran nilai variable. Sedangkan asumsi terkait error dapat
diperiksa dengan plot sebaran error terhadap variable dependent
dan independent.

• Bagaimana menentukan teknik estimasi dan jelaskan beda teknik
stepwise dan regresi simultan?
Dalam analisis regresi terdapat beberapa teknik dalam melakukan
estimasi. Kadangkala dalam konteks penelitian tertentu jumlah
variable sudah ditentukan berdasarkan teori yang digunakan dan
analisis digunakan untuk mengkonfirmasi teori untuk sampel yang
diambil, sehingga seluruh variable akan digunakan dalam regresi.
Teknik ini disebut regresi simultan.
Dalam kasus yang lain, peneliti kadangkala ingin memilih variable
predictor yang menghasilkan estimasi lebih tepat tanpa
menggunakan seluruh predictor yang tersedia. Teknik ini disebut
sequential search. Stepwise estimation adalah salah satu teknik
sequential search yang paling banyak digunakan.

• Bagaimana melakukan interpretasi hasil regresi?
Hasil regresi diinterpretasi dengan cara mengevaluasi estimated
regression coefficients dalam rangka menjelaskan variable
dependent. Peneliti juga perlu melakukan evaluasi terhadap
variable independen yang tidak masuk dalam model regresi, untuk
memeriksa multikolinearitas di antara variable independen.
Koefisien regresi menggambarkan arah dan besarnya hubungan
antar variable. Validasi terhadap holdout sample juga perlu
dilakukan untuk memastikan hasil estimasi konsisten.
Untuk tujuan penjelasan, koefisien regresi menjadi indicator dampak
relative dan besarnya pengaruh terhadap variable dependent.
Koefisien regresi yang lebih besar secara relatif memberikan
pengaruh lebih besar terhadap variable dependent.

• Bagaimana langkah diagnostic untuk mengevaluasi influential
observations?
Tiga tipe influentials adalah outliers, leverage points, dan influential
observations. Ketiga hal tersebut disebabkan salah satu hal ini:
1. Kesalahan obervasi atau penginputan data. Perbaikan dengan
cara memperbaiki atau menghapus data.
2. Obervasi yang valid, namun berada pada kondisi yang luar
biasa. Perbaikan dengan cara menghapus data, kecuali kondisi
luar biasa tersebut ingin dimodelkan.
3. Observasi luar biasa tanpa alasan yang diketahui. Tidak ada
alasan untuk menghapus maupun menggunakan data. Harus
bandingkan analisis “dengan” dan “tanpa” data tersebut.
4. Observasi yang biasa secara karakteristik individual, namun
memberikan dampak luar biasa secara kombinasi karakteristik.
Mengindikasikan perubahan pada konsep dasar dan tidak boleh
dihapus.

Multiple Regression v14 15 Mei 2019 AP (1).pdf

Recommended

Recommended

More Related Content

Similar to Multiple Regression v14 15 Mei 2019 AP (1).pdf

Similar to Multiple Regression v14 15 Mei 2019 AP (1).pdf (20)

Recently uploaded

Recently uploaded (11)

Multiple Regression v14 15 Mei 2019 AP (1).pdf