1. Analisis Regresi | 1
ANALISIS REGRESI
1. Pendahuluan
Istilah regresi pertama kali diperkenalkan oleh Sir Francis Galton pada
tahun 1886. Analisis regresi pada dasarnya adalah studi mengenai
ketergantungan variabel dependen (terikat) dengan satu atau lebih variabel
independen (variabel penjelas/bebas), dengan tujuan untuk mengestimasi
dan/atau memprediksi rata-rata populasi atau nilai rata-rata variabel dependen
berdasarkan nilai variabel independen yang diketahui (Gujarati, 2003).
Hasil analisis regresi adalah berupa koefisien untuk masing-masing variabel
independen. Koefisien ini diperoleh dengan cara memprediksi nilai variabel
dependen dengan suat persamaan. Koefisien regresi dihitung dengan dua tujuan
sekaligus: pertama, meminimumkan penyimpangan antara nilai aktual dengan
nilai estimasi variabel dependen berdasarkan data yang ada (Tabachnick, 1996).
Dalam analisis regresi, selain mengukur kekuatan hubungan antara dua
variabel atau lebih juga menunjukkan arah hubungan antara variabel dependen
dengan variabel independen. Variabel dependen diasumsikan random/stokastik,
yang berarti mempunyai distribusi probabilistik. Variabel independen/bebas
diasumsikan memiliki nilai tetap (dalam pengambilan sampel yang berulang).
2. Asumsi Ordinary Least Squares
Teknik estimasi variabel dependen yang melandasi analisis regresi disebut
pangkat kuadrat terkecil biasa (Ordinary Least Squares). Metode Ordinary Least
Squares (OLS) diperkenalkan pertama kali oleh Cari Friedrich Gauss, seorang
ahli matematika dari Jerman. Inti metode OLS adalah mengestimasi suatu garis
regresi dengan jalan meminimalkan jumlah dari kuadrat kesalahan setiap
observasi terhadap garis tersebut. Menurut Gujarati (2003) asumsi utama yang
mendasari model regresi linear klasik dengan menggunakan model OLS adalah:
a. Model regresi linear, artinya linear dalam parameter seperti dalam
persamaan di bawah ini :
Yi = b1+b2Xi + ui
b. Nilai X diasumsikan non-stokastik, artinya nilai X dianggap tetap dalam
sampel yang berulang.
c. Nilai rata-rata kesalahan adalah nol, atau E(ui/Xi) = 0.
d. Homoskedastisitas, artinya variasi kesalahan sama untuk setiap periode
(Homo = sama, Skedastisitas = sebaran) dan dinyatakan dalam bentuk
matematis Var (ui/Xi) = σ2.
e. Tidak ada autokorelasi antar kesalahan (antara ui dan uj tidak ada korelasi)
atau secara matematis Cov (ui,uj/Xi,Xj) = 0.
f. Antara ui dan Xi saling bebas, sehingga Cov (ui/Xi) = 0.
g. Jumlah observasi (n) harus lebih besar daripada jumlah parameter yang
diestimasi (jumlah variabel bebas).
h. Adanya variabilitas dalam nilai X, artinya nilai X harus berbeda.

2. i. Model regresi telah dispesifikasi secara benar. Dengan kata lain tidak ada
bias (kesalahan) spesifikasi dalam model yang digunakan dalam analisis
empirik.
j. Tidak ada multikolinearitas yang sempurna antar Variabel bebas.
Analisis Regresi | 2
3. Menilai Goodness of Fit Model
Ketepatan fungsi regresi sampel dalam menaksir nilai aktual dapat diukur
dari goodness of fit-nya. Secara statistik, setidaknya ini dapat diukur dari nilai
koefisien determinasi, nilai statistik F dan nilai statistik t. Perhitungan statistik
disebut signifikan secara statistik apabila nilai uji statistiknya berada dalam
daerah kritis (daerah dimana H0 ditolak). Sebaliknya disebut tidak signifikan bila
nilai uji statistiknya berada dalam daerah dimana H0 diterima.
a. Koefisien Determinasi
Koefisien determinasi (R2) pada intinya mengukur seberapa jauh
kemampuan model dalam menerangkan variasi variabel dependen. Nilai
koefisien determinasi adalah antara nol dan satu. Nilai R2 yang kecil berarti
kemampuan variabel-variabel independen dalam menjelaskan variasi variabel
dependen amat terbatas. Nilai yang mendekati satu berarti variabel-variabel
independen memberikan hampir semua informasi yang dibutuhkan untuk
memprediksi variasi variabel dependen. Secara umum koefisien determinasi
untuk data silang (cross section) relatif rendah karena adanya variasi yang besar
antara masing-masing pengamatan, sedangkan untuk data runtun waktu (time
series) biasanya mempunyai nilai koefisien determinasi yang tinggi.
Kelemahan mendasar penggunaan koefisien determinasi adalah bias
terhadap jumlah variabel independen yang dimasukkan ke dalam model. Setiap
tambahan satu variabel independen, maka R2 pasti meningkat tidak peduli
apakah variabel tersebut berpengaruh secara signifikan terhadap variabel
dependen. Oleh karena itu banyak peneliti menganjurkan untuk menggunakan
nilai adjusted R2 pada saat mengevaluasi mana model regresi terbaik. Tidak
seperti R2, nilai adjusted R2 dapat naik atau turun apabila satu variabel
independen ditambahkan ke dalam model.
Dalam kenyataan nilai adjusted R2 dapat bernilai negatif, walaupun yang
dikehendaki harus bernilai positif. Menurut Gujarati (2003) jika dalam uji
empiris didapat nilai adjusted R2 negatif, maka nilai adjusted R2 dianggap
bernilai nol. Secara matematis jika nilai R2 = 1, maka adjusted R2 = R2 = 1
sedangkan jika nilai R2 = 0, maka adjusted R2= (1 - k)/(n - k). Jika k > 1, maka
adjusted R2 akan bernilai negatif.
b. Uji Signifikansi Simultan (Uji F)
Uji statistik F pada dasarnya menunjukkan apakah semua variabel
independen atau bebas yang dimasukkan dalam model mempunyai pengaruh
secara bersama-sama terhadap variabel dependen/terikat. Hipotesis nol (H0)

3. yang hendak diuji adalah apakah semua parameter dalam model sama dengan
nol, atau:
Analisis Regresi | 3
H0 : b1 = b2 = ...... = bk = 0
Artinya, apakah semua variabel independen bukan merupakan penjelas yang
signifikan terhadap variabel dependen. Hipotesis alternatifnya (H1) tidak semua
parameter secara simultan sama dengan nol, atau:
H1 : b1 ≠ b2 ≠ ...... ≠ bk ≠ 0
Artinya semua variabel independen secara simultan merupakan penjelas yang
signifikan terhadap variabel dependen.
Untuk menguji hipotesis ini digunakan statistik F dengan kriteria
pengambilan keputusan sebagai berikut:
 Quick look: bila nilai F lebih besar daripada 4 maka H0 dapat ditolak pada
derajat kepercayaan 5%., Dengan kata lain kita menerima hipotesis
alternatif, yang menyatakan bahwa semua variabel independen secara
serentak dan signifikan mempengaruhi variabel dependen.
 Membandingkan nilai F hasil perhitungan dengan nilai F menurut tabel. Bila
nilai F hitung lebih besar dari nilai F tabel, maka H0 ditolak dan H1 diterima.
c. Uji Signifikansi Parsial (Uji t)
Uji statistik t pada dasarnya menunjukkan seberapa jauh pengaruh satu
variabel penjelas/independen secara individual dalam menerangkan variasi
variabel dependen. Hipotesis nol (H0) yang hendak diuji adalah apakah suatu
parameter (bi) sama dengan nol, atau :
H0 : bi = 0
Artinya apakah suatu variabel independen bukan merupakan penjelas yang
signifikan terhadap variabel dependen. Hipotesis alternatifnya (H1) parameter
suatu variabel tidak sama dengan nol, atau:
HA : bi≠ 0
Artinya, variabel tersebut merupakan penjelas yang signifikan terhadap variabel
dependen.
Cara melakukan uji t adalah sebagai berikut:
 Quick look: bila jumlah degree of freedom (df) adalah 20 atau lebih, dan
derajat kepercayaan sebesar 5%, maka H0 yang menyatakan bi = 0 dapat
ditolak bila nilai t lebih besar dari 2 (dalam nilai absolut). Dengan kata lain
kita menerima hipotesis alternatif, yang menyatakan bahwa suatu variabel
independen secara individual mempengaruhi variabel dependen.
 Membandingkan nilai statistik t dengan titik kritis menurut tabel. Apabila
nilai statistik t hasil perhitungan lebih tinggi dibandingkan nilai t tabel, kita

4. menerima hipotesis alternatif yang menyatakan bahwa suatu variabel
independen secara individual mempengaruhi variabel dependen.
Kasus:
Seorang peneliti ingin meneliti apakah Kinerja Karyawan (Y) dipengaruhi oleh
variabel Struktur Organisasi (X1), Budaya Organisasi (X2) dan Kepemimpinan
(X3). Hubungan antar variabel dapat digambarkan dalam model berikut:
X2
Analisis Regresi | 4
X1
X2
X3
Kasus tersebut secara matematis dapat ditulis:
Y = b0 + b1X1 + b2X2 + b3X3 + e
Langkah-Langkah:
1. Masukkan data X1, X2, X3 dan Y yang terdapat pada lampiran.
2. Pilih menu Analize kemudian submenu Regression, lalu pilih Linear.

5. 1 ,710a ,504 ,474 1,319
a. Predictors: (Constant), X3, X1, X2
Analisis Regresi | 5
3. Tampak di layar menu Linear Regression
 Pada kotak Dependent isikan variabel Y
 Pada kotak Independent isikan variabel X1, X2 dan X3
 Pada kotak Method pilih Enter
 Abaikan yang lain lalu pilih Ok
4. Hasil output
Regression
Variables Entered/Removedb
Model Variables
Entered
Variables
Removed Method
d
i
1 X3, X1, X2a . Enter
a. All requested variables entered.
b. Dependent Variable: Y
me
ns
i
o
n0
Dari tabel Variables Entered/Removed diketahui bahwa semua variabel
masuk dalam penghitungan, tidak ada variabel yang dikeluarkan atau tidak
dimasukkan dalam penghitungan
Model Summary
Model
R R Square
Adjusted R
Square
Std. Error of the
Estimate
di
me
ns
i
o
n0

6. Dari tabel Model Summary besarnya adjusted R2 adalah 0,474. Hal ini
berarti 47,4% variasi variabel dependen (Y) dapat dijelaskan oleh variasi
dari ketiga variabel independen (X1,X2,X3) sedangkan sisanya dijelaskan
oleh sebab-sebab lain di luar model.
Analisis Regresi | 6
Uji Signifikansi Simultan (Uji F)
ANOVAb
Model Sum of Squares df Mean Square F Sig.
1 Regression 88,275 3 29,425 16,925 ,000a
Residual 86,929 50 1,739
Total 175,204 53
a. Predictors: (Constant), X3, X1, X2
b. Dependent Variable: Y
Dari uji ANOVA atau Uji F diperoleh nilai F hitung sebesar 16,925 dengan
signifikansi 0,000. Nilai signifikansi yang dipersyaratkan diterima adalah
lebih kecil dari 0,05. Karena 0,000 < 0,05, maka dapat dikatakan bahwa
variabel X1, X2 dan X3 secara bersama-sama (simultan) berpengaruh
terhadap variabel Y.
Uji Signifikansi Parsial (Uji t)
Coefficientsa
Model
Unstandardized Coefficients
Standardized
Coefficients
B Std. Error Beta t Sig.
1 (Constant) 8,910 2,218 4,017 ,000
X1 ,016 ,202 ,015 ,080 ,937
X2 ,498 ,196 ,505 2,537 ,014
X3 ,342 ,143 ,284 2,387 ,021
a. Dependent Variable: Y
Pada tabel Coefficients dapat dilihat apakah hasil penghitungan
memberikan nilai yang signifikan atau tidak signifikan dengan persyaratan
nilai signifikansi yang diterima adalah lebih kecil dari 0,05. Dari kolom
signifikansi dapat diperoleh informasi bahwa variabel X1 memberikan hasil
yang tidak signifikan (0,937 > 0,05), variabel X2 memberikan hasil yang
signifikan (0,014 < 0,05) dan variabel X3 memberikan hasil yang signifikan
(0,021 < 0,05). Dengan demikian dapat disimpulkan bahwa kinerja
karyawan (Y) dipengaruhi oleh budaya organisasi (X2) dan kepemimpinan
(X3).
Untuk menginterpretasikan koefisien variabel bebas (independen) dapat
menggunakan unstandardized coefficients maupun standardized coefficients.

7. Standardized Beta Coefficients
Apabila masing-masing koefisien variabel independen distandarisasi
terlebih dahulu, maka akan diperoleh koefisien yang tidak ada konstantanya
karena garis regresi melewati titik pusat (titik origin). Standardized beta
dapat digunakan untuk mengeliminasi ukuran unit (kg, cm, liter, dsb.) yang
berbeda dari masing-masing variabel independen. dengan persamaan
matematis:
Y = 0,15X1 + 0,505X3 + 0,284X3
Unstandardized Beta Coefficients
Unstandardized beta dapat digunakan bila data yang digunakan adalah
berskala rasio murni, dan memiliki nilai nol mutlak. Selain itu
Unstandardized beta dapat digunakan bila satuan pengukuran adalah sama,
misalnya semua dalam Rupiah (Rp), liter, cm dan berbagai satuan lainnya.
Analisis Regresi | 7