SWFH 2021 - Re-Start The Linear Regression Literacy (2).pdf

Lebih Mudah
Belajar Statistika
Bersama Arena Statistics
:: 0852 300 45 332 | :: official@arenastatistics.com | :: www.arenastatistics.com | :: @arenastatistics
Tutor :
Research.. Pasti Mudah
Re-Start
The Linear Regression Literacy
Danny Prasetyo
Founder & CEO Arena

Definisi
Analisis Regresi
Termasuk dalam Statistika Asosiatif
Menguji Hubungan Asimetris
Hubungan Sebab Akibat

Definisi
Variabel yang digunakan dalam
Analisis Regresi
merupakan variabel yang berupa
Variabel Manifest

Definisi
Analisis Regresi Linier
:: Statistika asosiatif (hubungan asimetris) yang digunakan
untuk memprediksi pengaruh variabel independent
terhadap variabel dependent, yang mana variabel
independent maupun dependent tersebut berupa variabel
manifest yang berskala interval / rasio.

Variabel Berdasarkan Cara Pengukuran
Variabel yang
nilainya bisa diukur secara
langsung
Variabel
Manifest /
Indikator
Observed
Variabel yang
nilainya tidak bisa diukur
secara langsung, melainkan
diukur melalui indikator
Variabel
Laten
Un
observed
Contoh :
Usia, Tingkat Pendidikan,
Pendapatan, Pengeluaran
Apakah Gaji yang Anda peroleh
sesuai dengan kebutuhan Anda
Contoh :
Kepuasan Kerja, Motivasi
Kualitas Layanan, Kualitas Produk

Variabel Laten dalam Regresi
Variabel Laten yang dianalisis dalam regresi harus
dijadikan variabel manifest, yaitu dengan 3 cara :
Convert
Latent to Manifest
Total
Mean Factor Score

Regresi Linier Sederhana
X Y
Persamaan Regresi
Y = β0 + β1X + ε
Variabel
Terikat
(Dependen)
Variabel
Bebas
(Independen)

Contoh Regresi Linier Sederhana
1. Pengaruh Biaya Iklan terhadap Omzet Penjualan
2. Pengaruh Pendapatan terhadap Intensitas Membeli
Produk
3. Pengaruh Kualitas Layanan terhadap Kepuasan
Pelanggan
4. Pengaruh Stres Kerja terhadap Intention to Leave
5. Pengaruh Return on Assets terhadap Nilai
Perusahaan

Regresi Linier Berganda
X1
Y
X2
X3
Xp
Variabel
Respon
(Dependen)
Variabel
Prediktor
(Independen)
Persamaan Regresi :
Y = β0 + β1X1 + β2X2 + β3X3 + … + βPXP + ε

Contoh Regresi Linier Berganda
1. Pengaruh Usia, dan Jumlah Tanggungan Keluarga terhadap
Pengeluaran
2. Pengaruh Biaya Iklan, Jumlah Karyawan Marketing, dan hutang
terhadap Profitabilitas perusahaan
3. Pengaruh Kualitas Produk, Kualitas Layanan, dan Citra Perusahaan
terhadap Loyalitas Pelanggan
4. Pengaruh Work Burnout, Budaya Organisasi, Motivasi, dan Quality
Work Life terhadap Produktivitas Kerja
5. Pengaruh Harga Minyak Dunia, Harga Saham, dan Dollar Exchange
Rate terhadap Harga Emas.

:: 0852 300 45 332 | :: official@arenastatistics.com | :: www.arenastatistics.com | @arenastatistics
Mengapa HARUS menggunakan
REGRESI LINIER

Alasan Menggunakan Regresi Linier
1. Menguji / Mengetahui Pengaruh
2. Memprediksi Pengaruh
3. Variabel Dependen berupa berskala Interval / Rasio
4. Variabel Independen berskala Interval dan Rasio
5. Datanya membentuk Model Linier (dalam pengujian)

Tahapan dalam Analisis Regresi

Proses Analisis Regresi Linier
𝜷 = (𝑿′ 𝑿)
−𝟏
𝑿′ 𝒀
1. Menghitung Koefisien Regresi (Model)
2. Menghitung Sum of Square Total (SST)
𝑺𝑺𝑻 = (Y − 𝒀)𝟐
3. Menghitung Sum of Square Error (SSE)
𝜺 = Y − 𝒀 𝑺𝑺𝑬 = 𝛆𝟐
4. Menghitung SS Regression (SSR)
𝑺𝑺𝑹 = (𝒀− 𝒀)𝟐
5. Menghitung Koefisien Determinasi (R2)
6. Menghitung Statistik Uji F (Uji Simultan)
𝑹𝟐
=
𝑺𝑺𝑹
𝑺𝑺𝑻
7. Menghitung Standard Error Estimasi
𝑭𝒔𝒕𝒂𝒕𝒊𝒔𝒕𝒊𝒄 =
𝑺𝑺𝑹
𝒅𝒇𝑹
𝑺𝑺𝑬
𝒅𝒇𝑬
8. Menghitung Standard Error Koefisien
𝑺𝑬 =
𝑺𝑺𝑬
𝒏 − 𝒌
𝑹𝒂𝒅𝒋
𝟐
= 𝟏 −
𝑺𝑺𝑬
𝒅𝒇𝑬
𝑺𝑺𝑻
𝒅𝒇𝑻
𝑺𝑬 𝜷 =
𝑺𝑬
𝑿𝟐 −
( 𝑿)𝟐
𝒏

Proses Analisis Regresi Linier
𝑻𝒔𝒕𝒂𝒕𝒊𝒔𝒕𝒊𝒄 =
𝜷
𝑺𝑬 (𝜷)
9. Menghitung Statistik Uji t (Uji Parsial)
10. Menghitung Asumsi Normalitas
𝑬 𝜺 = 𝝁(𝜺) = 𝟎
11. Menghitung Asumsi Heteroskedastisitas
𝑬 𝜺𝟐 = 𝑽𝒂𝒓(𝝐) = 𝝈𝟐
12. Menghitung Asumsi Autokorelasi
𝑬 𝜺𝒕, 𝜺𝒕−𝟏 = 𝑪𝒐𝒗 𝜺𝒕, 𝜺𝒕−𝟏 = 𝟎
13. Menghitung Asumsi Multikolinieritas
𝑪𝒐𝒗 𝑿𝒊, 𝑿𝒋 = 𝟎

Penulisan yang Benar
4.1
Model Prediksi
Koefisien Determinasi
Uji Hipotesis Simultan
Uji Hipotesis Parsial
4.1.1
4.1.2
4.1.3
4.1.4
Asumsi Klasik
4.1.5
Heteroskedastisitas
4.1.5.2
Multikolinieritas
4.1.5.3
Autokorelasi
4.1.5.4
Linieritas
4.1.5.5
Normalitas
4.1.5.1

Penulisan yang Tidak Tepat
Asumsi Normalitas
4.1
Asumsi Klasik
Uji F
4.2
4.3
4.4
4.5
Uji T
4.6
Heteroskedastisitas
4.2.1
Multikolinieritas
4.2.2
Autokorelasi
4.2.3
Linieritas
4.2.4

Model Empirik Regresi Linier
Slope (Kemiringan) ::
Besar perubahan variabel Y apabila variabel X terjadi perubahan.
Digunakan untuk mengetahui atau memprediksi pengaruh variabel bebas (X) terhadap variabel terikat (Y)
Y = β0 + β1 X1 + β2 X2 + … + εi
Intercept (Constant) ::
digunakan untuk mengetahui besar variabel Y jika
variabel X tidak terjadi perubahan (konstan)
Error / Residual ::
Variabel yang berpengaruh terhadap Y tetapi
tidak disertakan dalam model penelitian

Persamaan Regresi Linier
Persamaan Umum Regresi :
Y = β0 + β1X1 + β2X2 + β3X3 + … + βPXP + ε
𝒀 = β0 + β1X1 +β2X2 +β3X3 + … +βPXP
Estimated Model

Arah Pengaruh
Koefisien Regresi
Bernilai
atau
X Y
X Y
Independent berpengaruh
positif (searah)
terhadap Dependent
+
:: Terjadinya peningkatan variabel X sebesar 1 satuan, maka akan meningkatkan variabel Y
sebesar β satuan
:: Semakin tinggi variabel X, maka akan meningkatkan variabel Y (apabila menggunakan
variabel laten)

Arah Pengaruh
Koefisien Regresi
Bernilai
atau
X Y
X Y
Independent berpengaruh
negatif (berlawanan)
terhadap Dependent
-
:: Terjadinya peningkatan variabel X sebesar 1 satuan, maka akan menurunkan variabel Y
sebesar β satuan
:: Semakin tinggi variabel X, maka akan menurunkan variabel Y (apabila menggunakan
variabel laten)

Output Estimated Model
Coefficientsa
Model
Unstandardized Coefficients Standardized Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .223 .268 .829 .412
Harga Saham -.140 .056 -.351 -2.483 .017
Price Earning Ratio .037 .019 .281 1.966 .056
Price to Book Value -.008 .010 -.130 -.878 .385
Komisaris Independen .685 .370 .246 1.852 .072
Komite Audit -.761 .339 -.307 -2.241 .031
a. Dependent Variable: Income Smoothing
Model Umum Regresi Linier
Y = β0 + β1 X1 + β2 X2 + β3 X3 + β4 X4 + β5 X5 + ε
Estimated / Predicted Model
IS = 0.223 - 0.140 HS + 0.037 PER - 0.008 PBV + 0.685 KI - 0.761KA
Untuk Mengidentifikasi
Pengaruh Dominan

Output Estimated Model
Coefficientsa
Model
Unstandardized Coefficients Standardized
Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .425 .101 4.207 .000
Kompetensi .610 .044 .652 14.003 .000
Motivasi .286 .038 .355 7.611 .000
a. Dependent Variable: Kinerja Guru
Model Umum Regresi Linier
Y = β0 + β1 X1 + β2 X2 + ε
Estimated / Predicted Model
Kg = 0.425 + 0.610 Ko + 0.286 Mo
Untuk Melakukan Prediksi
Untuk Mengidentifikasi
Pengaruh Dominan

Koefisien Determinasi ::
Digunakan untuk mengetahui tingkat representasi / kontribusi variabel
bebas (X) terhadap variabel terikat (Y)
𝑹𝟐
=
𝑺𝑺𝒓
𝑺𝑺𝒕 𝑎𝑑𝑗𝑅2
= 𝟏 −
𝑺𝑺𝒆
𝒅𝒇𝒆
𝑺𝑺𝒕
𝒅𝒇𝒕
Untuk Perbandingan Model

Output Koefisien Determinasi
Model Summaryb
Model R R Square Adjusted R Square Std. Error of the Estimate
1 .966a .933 .932 .10088
a. Predictors: (Constant), Motivasi, Kompetensi
b. Dependent Variable: Kinerja Guru
Mengidentifikasi Kebaikan Model
(Tingkat Representasi variabel X
terhadap Y)
Mengidentifikasi Kebaikan Model
(Tingkat Representasi variabel X
terhadap Y) untuk dibandingkan
dengan model lain

Uji Simultan (Uji F)
Uji Hipotesis Simultan ::
Digunakan untuk menguji signifikan tidaknya
pengaruh secara simultan (bersama-sama) variabel
bebas (X) terhadap variabel terikat (Y)

Kriteria Uji Simultan (Uji F)
Kriteria Pengujian ::
Fstatistik ≥ Ftabel
Prob. (sig.) ≤ Alpha (α)
H0 ditolak H1 diterima
Ada pengaruh yang signifikan secara simultan
variabel bebas terhadap variabel terikat

Output Uji Simultan
ANOVAa
Model Sum of Squares df Mean Square F Sig.
1 Regression 13.810 2 6.905 678.540 .000b
Residual .987 97 .010
Total 14.797 99
b. Predictors: (Constant), Motivasi, Kompetensi
Statistik Uji F ≠ Uji F
Probabilitas (0.000) < Alpha (0.05)
Sehingga dinyatakan Berpengaruh Signifikan

Uji Parsial (Uji t)
Uji Hipotesis Parsial ::
Digunakan untuk menguji signifikan tidaknya
pengaruh secara parsial (Individu) variabel bebas (X)
terhadap variabel terikat (Y)

Kriteria Uji Parsial (Uji t)
|tstatistik| ≥ |ttabel|
Ada pengaruh yang signifikan secara parsial (individu)
variabel bebas terhadap variabel terikat

Output Uji Parsial
Coefficientsa
Model
Unstandardized Coefficients Standardized
Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .425 .101 4.207 .000
Kompetensi .610 .044 .652 14.003 .000
Motivasi .286 .038 .355 7.611 .000
Statistik Uji t ≠ Uji t
Probabilitas (0.000) < Alpha (0.05)
Sehingga dinyatakan Berpengaruh Signifikan

Asumsi Klasik
( Normalitas, Heteroskedastisitas, Multikolinieritas, Autokorelasi)

Multikolinieritas
Uji Asumsi Klasik
Autokorelasi
Heterokedastisitas
Normalitas
Multikolinieritas
Linieritas

Asumsi Normalitas

Uji Asumsi Normalitas
Digunakan untuk menguji apakah residual menyebar
normal atau tidak
Normal
Curve
Probability
Plot
Kolmogorov
Smirnov
Jarque Bera
Uji Asumsi
Normalias Etc.

Normalitas - Kurva Normal
Kurva yang membentuk pola simetris maka residual
berdistribusi normal
𝒙 = 𝒎
𝒎
𝒙 𝒎 𝒙
Simetris
Positive Skewed Negative Skewed

Normalitas – Probability Plot (PP-Plot)
Observasi residual menyebar disekitar garis diagonal maka
residual berdistribusi normal
Residual menyebar normal Residual tidak menyebar normal

Output Kurva Normal & Probability Plot
Curva Normal Probability Plot

Normalitas - Kolmogorov-Smirnov
Hipotesis Pengujian
H0 : E(ε) = 0 (Residual menyebar normal)
H1 : E(ε) ≠ 0 (Residual tidak menyebar normal)
Kriteria Pengujian :
KShitung ≥ KStabel

Output Kolmogorov-Smirnov
One-Sample Kolmogorov-Smirnov Test
Unstandardized
Residual
N 100
Normal Parametersa,b Mean .0000000
Std. Deviation .09985312
Most Extreme Differences Absolute .072
Positive .048
Negative -.072
Test Statistic .072
Asymp. Sig. (2-tailed) .200c,d
a. Test distribution is Normal.
b. Calculated from data.
c. Lilliefors Significance Correction.
d. This is a lower bound of the true significance.
Probabilitas (0.200) > Alpha (0.05)
Sehingga dinyatakan Normal

Asumsi Heteroskedastisitas

Uji Asumsi Heteroskedastisitas
Digunakan untuk menguji apakah observasi residual
memiliki ragam homogen
atau tidak
Scatterplot
Glejser Test
White Test
Etc.
Uji Asumsi
Heteroskedas
tisitas

Heteroskedastisitas - Scatter Plot
Observasi residual yang menyebar secara acak maka
residual memiliki ragam homogen
Residual memiliki ragam homogen Residual menggumpal
Data Ekstrem / Outlier

Heteroskedastisitas - Scatter Plot
Residual membentuk pola horizontal
Residual membentuk pola vertikal
Residual membentuk pola parabola
Residual membentuk huruf v diagonal
Residual membentuk pola linier
Residual membentuk pola eksponen

Heteroskedastisitas - Glejser Test
Hipotesis Pengujian
H0 : var(ε) = σ2 (Residual memiliki ragam homogen)
H1 : var(ε) ≠ σ2 ( Residual tidak memiliki ragam homogen)
|ei| = β0 + β1 X1 + β2 X2 + … + ui
Kriteria Pengujian :
thitung ≥ ttabel (Setiap Variabel bebas)

Output Glejser Test
Coefficientsa
Model
Unstandardized Coefficients
Standardized
Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .167 .054 3.109 .002
Kompetensi -.017 .023 -.127 -.712 .478
Motivasi -.004 .020 -.035 -.196 .845
a. Dependent Variable: absres
Glejser Test juga menggunakan statistik uji t
Probabilitas > Alpha (0.05)
Sehingga dinyatakan residual memiliki Ragam yang homogen

Glejser Test vs Uji Parsial
Coefficientsa
Model
Standardized
Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .425 .101 4.207 .000
Kompetensi .610 .044 .652 14.003 .000
Motivasi .286 .038 .355 7.611 .000
Coefficientsa
Model
Standardized
Coefficients
t Sig.
B Std. Error Beta
1 (Constant) .167 .054 3.109 .002
Kompetensi -.017 .023 -.127 -.712 .478
Motivasi -.004 .020 -.035 -.196 .845
a. Dependent Variable: absres
Glejser  Dependent Variable adalah ABSOLUTE RESIDUAL (ABSRES)
Parsial / Predicted Model  Dependent Variable adalah SESUAI PENELITIAN

Asumsi Multikolinieritas

Uji Asumsi Multikolinieritas
Digunakan untuk menguji apakah variabel bebas saling
berhubungan (berkorelasi) atau tidak
X1
Y
X2
X3
X4
Berhubungan
Berhubungan
Berhubungan
Berhubungan
Berhubungan
Berhubungan
Tolerance
Pengujian
Variance Inflation
Factor (VIF) Pengujian
Pairwise
Correlation Pengujian

Multikolinieritas - VIF dan Tolerance
Multiko
linieritas
VIF
Tolerance
VIF < 10 maka H0 diterima
VIF ≥ 10 maka H0 ditolak
Tolerance > 0.1 maka H0 diterima
Tolerance ≤ 0.1 maka H0 ditolak
Hipotesis Pengujian
H0 : Tidak terdapat hubungan yang sangat kuat antar variabel independen
H1 : Terdapat hubungan yang sangat kuat antar variabel independen
Tidak terjadi
Multikolinieritas

Output Tolerance & VIF
Coefficientsa
Model
Unstandardized
Coefficients
Standardized
Coefficients
t Sig.
Collinearity Statistics
B Std. Error Beta Tolerance VIF
1 (Constant) .425 .101 4.207 .000
Kompetensi .610 .044 .652 14.003 .000 .317 3.155
Motivasi .286 .038 .355 7.611 .000 .317 3.155
Tolerance > 0.1 atau VIF < 10
Sehingga dinyatakan tidak terjadi multikolinieritas

Asumsi Autokorelasi

Uji Asumsi Autokorelasi
Digunakan untuk menguji apakah series residual saling
berhubungan (berkorelasi) atau tidak
Durbin Watson
Pengujian
Series Residual (t) Residual (t-1)
Periode 1 0.0034 -
Periode 2 0.0041 0.0034
Periode 3 0.0045 0.0041
Periode 4 0.0049 0.0045
Periode 5 0.0056 0.0049
Run Test
Pengujian
𝒓 𝒆𝒕 , 𝒆𝒕−𝑻
Lagrange Multiplier
Pengujian

Autokorelasi – Durbin Watson
Durbin Watson (DW) digunakan untuk menguji adanya masalah
autokorelasi pada derajat pertama (ρ(et-et-1))
dL dU 4-dU 4-dL
2
Tidak Ada
Kesimpulan
Tidak Ada
Kesimpulan
0 4
Tidak Ada
Autokorelasi

Output Durbin Watson
Model Summaryb
Model R R Square Adjusted R Square
Std. Error of the
Estimate Durbin-Watson
1 .966a .933 .932 .10088 2.049
dL = 1.63 dU = 1.72 4-dU = 2.37 4-dL = 3.28
2
Tidak Ada
Kesimpulan
Tidak Ada
Kesimpulan
0 4
Tidak Ada
Autokorelasi

Asumsi Linieritas

Uji Asumsi Linieritas
Digunakan untuk menguji apakah model regresi linier
atau tidak
Scatter Plot
Pendeteksian
Ramsey RESET
Pengujian
Mac Kinnon, White,
Davidson Pengujian
𝑭 =
(𝑹𝑵𝒆𝒘
𝟐
− 𝑹𝑶𝒍𝒅
𝟐
) / 𝒎
(𝟏 − 𝑹𝑵𝒆𝒘
𝟐
)
(𝒏 − 𝒌)
k = Banyak variabel independen
m = Banyak Variabel Independen yang baru masuk
dalam model sebanyak 1, yaitu DFFIT
n = Banyak sampel

Uji Hipotesis Uji Linieritas
Fstatistik ≥ Ftabel
Ftabel = F(α, m, n-k)
Hipotesis Pengujian
H0 : Model regresi adalah model yang Non Linier
H1 : Model adalah model yang Linier

Output Ramsey RESET
Model Summaryb
Model R R Square
Adjusted R
Square
Std. Error of the
Estimate
1 .966a .933 .932 .10088
Model Summaryb
Model R R Square
Adjusted R
Square
Std. Error of
the Estimate
1 .993a .986 .986 .04583
a. Predictors: (Constant), DFFIT, Motivasi, Kompetensi
𝑭 =
(𝑹𝑵𝒆𝒘
𝟐
− 𝑹𝑶𝒍𝒅
𝟐
) / 𝒎
(𝟏 − 𝑹𝑵𝒆𝒘
𝟐
)
(𝒏 − 𝒌)
𝑭 =
(𝟎. 𝟗𝟖𝟔 − 𝟎. 𝟗𝟑𝟑) / 𝟏
(𝟏 − 𝟎. 𝟗𝟑𝟑)
(𝟏𝟎𝟎 − 𝟑)
=
𝟎. 𝟎𝟓𝟑
𝟎. 𝟎𝟎𝟎𝟏𝟒𝟒
= 𝟑𝟔𝟕. 𝟐𝟏𝟒
𝑭𝒕𝒂𝒃𝒆𝒍 = 𝑭 α, m, n−k
F Statistic > F tabel, Model dinyatakan Linier
𝑭𝒕𝒂𝒃𝒆𝒍 = 𝑭 5%, 1, (100−3)
= 𝟑. 𝟗𝟑𝟗
Old Model (Sesuai Penelitian)
New Model (Dengan penambahan DFFIT)

Tabel Durbin Watson

Semoga Bermanfaat
»» Arena Statistics

SWFH 2021 - Re-Start The Linear Regression Literacy (2).pdf

Recommended

Recommended

More Related Content

Similar to SWFH 2021 - Re-Start The Linear Regression Literacy (2).pdf

Similar to SWFH 2021 - Re-Start The Linear Regression Literacy (2).pdf (20)

Recently uploaded

Recently uploaded (10)

SWFH 2021 - Re-Start The Linear Regression Literacy (2).pdf