1_LR.pptx

‫خطی‬ ‫رگرسیون‬
‫فاطمه‬ ‫مهندس‬
‫فرجی‬


‫رگرسیون‬
:
•
‫ابزاری‬
‫کمی‬ ‫مقادیر‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫مفید‬
‫است‬
.
•
‫یک‬
‫دیگر‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫روی‬ ‫از‬ ‫متغیر‬ ‫یک‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫ست‬‫آماری‬ ‫مدل‬ ‫نوع‬
.
•
‫برای‬ ‫ساده‬ ‫بسیار‬ ‫روش‬ ‫یک‬
«
‫شده‬ ‫نظارت‬ ‫یادگیری‬
»
‫میشود‬ ‫محسوب‬
.

‫رگرسیون‬ ‫تحلیل‬
:
•
‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫بین‬ ‫ی‬ ‫رابطه‬ ‫برآورد‬ ‫برای‬ ‫آماری‬ ‫فرایندهای‬ ‫از‬ ‫ای‬ ‫مجموعه‬
(
‫پاسخ‬
)
‫مستقل‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫و‬
(
‫پیش‬
‫بینی‬
‫کننده‬
‫ها‬
)
‫باشد‬ ‫می‬
.
•
‫رگرسیونی‬ ‫تحلیل‬
‫تکنیکی‬
‫سازی‬‫مدل‬ ‫و‬ ‫بررسی‬ ‫برای‬ ‫آماری‬
‫است‬ ‫متغیرها‬ ‫بین‬ ‫ارتباط‬
.

‫روابط‬
‫بین‬
‫متغیرها‬
.B
‫تصادفی‬ ‫رابطه‬
:
•
‫هیچ‬
‫وجود‬ ‫متغیرها‬ ‫بین‬ ‫ای‬ ‫رابطه‬
‫ندارد‬
!!
.A
‫قطعی‬ ‫رابطه‬
:
•
‫متغیرهای‬ ‫از‬ ‫غیر‬ ‫دیگری‬ ‫عوامل‬ ‫به‬ ‫وابسته‬ ‫متغیر‬
‫مستقل‬
‫طبقه‬
‫نیست‬ ‫وابسته‬ ‫رابطه‬ ‫در‬ ‫شده‬ ‫بندی‬
‫؛‬
‫قطعی‬ ‫رابطه‬ ‫رو‬ ‫این‬ ‫از‬
‫به‬
‫شود‬ ‫می‬ ‫نامیده‬ ‫نیز‬ ‫متغیرها‬ ‫بین‬ ‫دقیق‬ ‫رابطه‬ ‫عنوان‬
.

‫متغیرها‬ ‫بین‬ ‫روابط‬
.C
‫آماری‬ ‫رابطه‬
:
•
‫یک‬ ،‫است‬ ‫تصادفی‬ ‫و‬ ‫قطعی‬ ‫روابط‬ ‫از‬ ‫ترکیبی‬
‫است‬ ‫رابطه‬
‫قسمتی‬ ‫که‬
‫قطعی‬
‫و‬ ‫است‬
‫قسمتی‬
‫تصادفی‬ ‫نیز‬
‫است‬
.
•
‫آن‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬ ‫رابطه‬
«
‫روند‬
»
‫دار‬ ‫وجود‬ ‫پاسخ‬ ‫و‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬
‫د‬
(
‫قطعی‬ ‫قسمت‬
)
‫اما‬ ،
«
‫پراکندگی‬
»
‫دارد‬ ‫وجود‬ ‫نیز‬
(
‫تصادفی‬ ‫قسمت‬
.)

‫م‬ ‫آماری‬ ‫روابط‬ ‫تخمین‬ ‫در‬ ‫رگرسیون‬ ‫تحلیل‬ ‫کاربرد‬ ‫بیشترین‬
‫تغیرها‬
‫است‬
.

‫آماری‬ ‫روابط‬


:
•
‫آن‬ ‫در‬ ‫که‬ ‫است‬ ‫رگرسیون‬ ‫تحلیل‬ ‫های‬‫روش‬ ‫از‬ ‫یکی‬
‫متغیر‬ ،
‫مستق‬ ‫متغیرهای‬ ‫از‬ ‫خطی‬ ‫ترکیبی‬ ‫صورت‬ ‫به‬ ‫وابسته‬
‫بینی‬‫پیش‬ ‫ل‬
‫است‬ ‫خطی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫تابع‬ ‫یعنی‬ ‫شود‬‫می‬
.
•
‫مجموع‬ ‫نهائی‬ ‫جواب‬ ‫شود؛‬‫می‬ ‫ضرب‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫برای‬ ‫که‬ ‫ضریبی‬ ‫در‬ ‫مستقل‬ ‫متغیرهای‬ ‫از‬ ‫کدام‬ ‫هر‬
‫بود‬ ‫خواهد‬ ‫ثابت‬ ‫مقدار‬ ‫یک‬ ‫عالوه‬ ‫به‬ ‫ها‬‫ضرب‬‫حاصل‬
.

‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬
:
•
،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫خالف‬ ‫بر‬ ‫که‬ ‫است‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ،‫خطی‬ ‫رگرسیون‬ ‫نوع‬ ‫ترین‬‫ساده‬
‫وابست‬ ‫متغیر‬
‫تنها‬ ‫تابع‬ ‫ه‬
‫یک‬
‫مستقل‬ ‫متغیر‬
.

‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬
‫مرحله‬
1
:
‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مرحله‬
4
:
‫مدل‬ ‫از‬ ‫استفاده‬
‫مرحله‬
3
:
‫مدل‬ ‫ارزیابی‬
‫مرحله‬
2
:
‫مدل‬ ‫برآورد‬

‫مدل‬ ‫بندی‬ ‫فرمول‬
‫ساده‬ ‫خطی‬ ‫رگرسیون‬

‫سازی‬ ‫فرمول‬
«
‫آماری‬ ‫رابطه‬
»
‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیرهای‬ ‫بین‬
:
•
‫بین‬ ‫ی‬ ‫رابطه‬ ‫فرم‬
X
‫و‬
Y
:
𝑌𝑖 = f 𝑋𝑖 + 𝜖𝑖

𝜖
،
‫خطا‬ ‫عبارت‬
،
‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬
X
.

‫انحراف‬ ‫دهنده‬ ‫نشان‬ ‫خطا‬ ‫عبارت‬
Y
‫رگرسیون‬ ‫تابع‬ ‫از‬
‫و‬ ‫است‬
‫متغیر‬ ٔ
‫ه‬‫وسیل‬ ‫به‬ ‫که‬ ،‫است‬ ‫وابسته‬ ‫متغیر‬ ‫از‬ ‫تغییراتی‬ ‫شامل‬
‫مستقل‬
‫شود‬‫نمی‬ ‫داده‬ ‫توضیح‬
.

‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
•
‫رگرسیون‬ ‫مدل‬ ‫سازی‬ ‫فرمول‬ ‫در‬ ‫گام‬ ‫نخستین‬
،
‫فرم‬ ‫تعیین‬
«
‫قطعی‬ ‫قسمت‬
»
‫است‬ ‫رابطه‬
.

‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
،
f
‫یک‬
«
‫خطی‬ ‫تابع‬
»
‫تنها‬ ‫با‬
«
‫مستقل‬ ‫متغیر‬ ‫یک‬
»
:
𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖

‫مدل‬ ‫مفروضات‬
𝜖𝑖 = 𝜖 Xi
𝜖𝑖 ~𝑁(0, 𝜎2)

‫مدل‬ ‫مفروضات‬

𝜖𝑖
‫ندارند‬ ‫خودهمبستگی‬ ‫ها‬
(
‫هستند‬ ‫مستقل‬ ‫هم‬ ‫از‬
)
:
‫مقدار‬ ‫یعنی‬
𝜖𝑖+1
،
‫مقدار‬ ‫از‬ ‫مستقل‬
𝜖𝑖
‫است‬
.
•
‫مثال‬
:
‫عالمت‬ ‫اگر‬
𝜖2
‫باشد‬ ‫مثبت‬
،
‫عالمت‬
𝜖3
‫نیست‬ ‫حدس‬ ‫قابل‬
.

𝑦𝑖
‫ها‬
‫ندارند‬ ‫خودهمبستگی‬
(
‫از‬
‫مستقل‬ ‫هم‬
‫هستند‬
)
:
‫اینکه‬ ‫تبع‬ ‫به‬
𝜖𝑖
‫خودهمبستگی‬ ‫ها‬
‫ندارند‬
،
𝑦𝑖
‫ها‬
‫بود‬ ‫خواهند‬ ‫مستقل‬ ‫هم‬ ‫از‬
.
•
‫موقعیت‬
𝑦𝑖
‫رگرسیون‬ ‫خط‬ ‫به‬ ‫نسبت‬
‫نیست‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
.


‫رگرسیون‬ ‫تابع‬
:
•
‫هر‬ ‫در‬
Xi
،
‫توزیعی‬
‫از‬
𝑌
‫دارد‬ ‫وجود‬
‫؛‬
‫شرطی‬ ‫توزیع‬
𝑌 Xi
.
•
‫تابع‬
‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫صورت‬ ‫به‬ ‫را‬
Y
‫از‬ ‫تابعی‬ ‫عنوان‬ ‫به‬
X
‫میکنیم‬ ‫تعریف‬
‫؛‬
‫که‬ ‫دهد‬ ‫می‬ ‫دست‬ ‫به‬ ‫را‬ ‫تصور‬ ‫این‬
Y
‫روش‬ ‫با‬
‫به‬ ‫معینی‬
‫از‬ ‫تابعی‬ ‫عنوان‬
X
‫می‬ ‫تغییر‬
‫کند‬
.
𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝐸 𝛽0 + 𝛽1𝑋 + 𝜖 𝑋𝑖
= 𝛽0 + 𝛽1𝑋𝑖 + 𝐸(𝜖𝑖)
𝐸 𝜖𝑖 = 0 → 𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖
•
‫توجه‬
:
‫که‬ ‫میشود‬ ‫مشاهده‬
𝐸 𝑌 𝑋
‫به‬ ‫خطی‬ ‫وابسته‬
X
‫است‬
.

𝑌 Xi = 𝛽0 + 𝛽1𝑋 + 𝜖 Xi = 𝛽0 + 𝛽1𝑋𝑖 + )𝜖|𝑋𝑖(
= 𝐶𝑜𝑛𝑠𝑡𝑎𝑛𝑡_𝑉𝑎𝑙𝑢𝑒 + )𝜖|𝑋𝑖(

‫توزیع‬ ‫میشود‬ ‫ثابت‬
𝑌 Xi
:

‫نرمال‬
‫است‬
.

𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖

𝜎𝑌|𝑋𝑖
‫برابر‬ ‫و‬ ‫ثابت‬
𝜎𝜖
‫است‬
.

𝑌𝑖 = 𝐸 𝑌 𝑋𝑖 + 𝜖𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖

•
‫بین‬ ‫رابطه‬
X
‫و‬
Y
‫نیست‬ ‫قطعی‬
‫؛‬
‫رابطه‬ ‫که‬ ‫حالی‬ ‫در‬
𝑋
‫و‬
𝐸 𝑌 𝑋
‫است‬ ‫راست‬ ‫خط‬ ‫یک‬
.
•
‫معادله‬
‫ی‬
(𝐸 𝑌 𝑋 = 𝛽0 + 𝛽1𝑋)
‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬
X
‫و‬
Y
‫را‬ ‫آن‬ ‫و‬ ‫است‬
«
‫خط‬
‫جامعه‬
»
‫مینامیم‬
.
•
𝛽0
(
‫مبدا‬ ‫از‬ ‫عرض‬
)
‫و‬
𝛽1
(
‫زاویه‬ ‫ضریب‬ ‫یا‬ ‫شیب‬
)
،
‫هستند‬ ‫مدل‬ ‫پارامترهای‬
.
•
‫اگر‬
𝛽0
‫و‬
𝛽1
‫باشند‬ ‫مشخص‬
،
‫میتوان‬
𝑦
‫از‬ ‫استفاده‬ ‫با‬ ‫را‬
«
‫برای‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬
Y
‫مشخص‬ ‫مقدار‬ ‫اساس‬ ‫بر‬
X
»
‫بینی‬ ‫پیش‬
‫کرد‬
:
𝐸 𝑌 𝑋 = 𝑥𝑖 = 𝐸(𝑌𝑖) = 𝛽0 + 𝛽1𝑥𝑖

𝛽0
:
‫عرض‬ ‫توان‬‫می‬
‫گرفت‬ ‫نظر‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫حذف‬ ‫ازاء‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫متوسط‬ ‫مقدار‬ ‫را‬ ‫مبدا‬ ‫از‬
.

𝛽1
:
‫میزان‬
‫مستقل‬ ‫متغیر‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫حساسیت‬
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬
،
‫معنی‬ ‫این‬ ‫به‬
‫در‬ ‫تغییرات‬ ‫متوسط‬ ‫که‬
Y
‫واحد‬ ‫هر‬ ‫ازای‬ ‫به‬
‫در‬ ‫تغییر‬
X
‫است‬ ‫چقدر‬
.


‫واقعی‬ ‫کاربردهای‬ ‫در‬ ‫معموال‬
،
‫مشخص‬ ‫جمعیت‬ ‫کل‬
‫نمونه‬ ‫فقط‬ ‫و‬ ‫نیست‬
‫را‬ ‫جمعیت‬ ‫از‬ ‫ای‬
‫داریم‬
.
‫بنابراین‬
،
‫رگرس‬ ‫خط‬
‫یون‬
‫است‬ ‫نامشخص‬ ‫جمعیت‬
.

‫ضرایب‬
‫میزنیم‬ ‫تخمین‬ ‫آموزشی‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫مدل‬
‫بنابراین‬ ‫و‬
Y
‫مشخص‬ ‫مقادیر‬ ‫اساس‬ ‫بر‬
X
‫بینی‬ ‫پیش‬ ‫قابل‬
‫بود‬ ‫خواهد‬
.
𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖
•
‫از‬
‫نماد‬
«
»
‫دادن‬ ‫نشان‬ ‫برای‬
«
‫برآورد‬
»
‫استفاده‬
‫کرده‬
‫ایم‬
:

𝛽0
:
‫برآوردگر‬
𝛽0

𝛽1
:
𝛽1

𝑦𝑖
:
𝐸 𝑌 𝑋 = 𝑥𝑖
،
‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬


‫معمولی‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬
(
Ordinary Least Squares
: )
•
‫رگرسیون‬ ‫خط‬ ‫که‬ ‫است‬ ‫آن‬ ‫آل‬ ‫ایده‬
،
‫بینی‬ ‫پیش‬ ‫دقیق‬ ‫طور‬ ‫به‬ ‫را‬ ‫وابسته‬ ‫متغیر‬ ‫مقادیر‬
‫کند‬
:
𝑦𝑖 = 𝑦𝑖 for 𝑖 = 1, … , 𝑛
•
‫باشد‬ ‫خطا‬ ‫با‬ ‫همراه‬ ‫بینی‬ ‫پیش‬ ‫است‬ ‫ممکن‬ ‫عمل‬ ‫در‬
‫؛‬
𝜖𝑖 = 𝑦𝑖 − 𝑦𝑖
‫معادل‬
«
‫پیش‬ ‫خطای‬
‫بینی‬
»
‫است‬
.
•
‫آوردن‬ ‫بدست‬ ‫هدف‬
‫ضرایب‬
𝛽0
‫و‬
𝛽1
‫به‬
‫ای‬ ‫گونه‬
‫پیش‬ ‫خطای‬ ‫حداقل‬ ‫کلی‬ ‫طور‬ ‫به‬ ‫که‬ ‫است‬
‫باشیم‬ ‫داشته‬ ‫را‬ ‫بینی‬
:
min(
𝑖=1
𝑛
𝜖𝑖
2
=
𝑖=1
𝑛
𝑦𝑖 − 𝑦𝑖
2
=
𝑖=1
𝑛
𝑦𝑖 − 𝛽0 + 𝛽1𝑥𝑖
2
)
•
‫توجه‬
:
‫میکنند‬ ‫خنثی‬ ‫را‬ ‫یکدیگر‬ ‫منفی‬ ‫و‬ ‫مثبت‬ ‫خطاهای‬ ‫اینکه‬ ‫دلیل‬ ‫به‬
،
‫مربعات‬ ‫از‬
‫خطا‬
‫می‬ ‫استفاده‬
‫کنیم‬
.


‫هدف‬
OLS
‫معرفی‬
‫باشد‬ ‫داشته‬ ‫ها‬‫آن‬ ‫از‬ ‫را‬ ‫فاصله‬ ‫کمترین‬ ‫یا‬ ‫عبورکند‬ ‫موجود‬ ‫های‬‫داده‬ ‫یا‬ ‫ها‬‫نقطه‬ ‫بیشتر‬ ‫از‬ ‫که‬ ‫است‬ ‫تابعی‬ ‫یا‬ ‫خط‬
.

‫پارامترهای‬
𝛽0
‫و‬
𝛽1
‫کردن‬ ‫کمینه‬ ‫با‬ ‫را‬
RSS
‫آورد‬ ‫می‬ ‫دست‬ ‫به‬
:
 RSS (Residual Sum of Squares) :
𝑅𝑆𝑆 = 𝜖1
2
+ 𝜖2
2
+ ⋯ + 𝜖𝑛
2
𝑅𝑆𝑆 = (𝑦1 − (𝛽0 + 𝛽1𝑥1))2
+(𝑦2 − (𝛽0 + 𝛽1𝑥2))2
+ ⋯ + (𝑦𝑛 − (𝛽0 + 𝛽1𝑥𝑛))2
𝛽1 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝑦𝑖−𝑦)
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 , 𝛽0 = 𝑦 − 𝛽1𝑥
•
‫های‬ ‫فرمول‬ ‫که‬ ‫آنجا‬ ‫از‬
𝛽0
‫و‬
𝛽1
‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬
‫حاصل‬ ‫خط‬ ،
(
𝑦 = 𝛽0 + 𝛽1x
)
‫عنوان‬ ‫به‬ ‫غالبا‬
«
‫خط‬
‫مربعات‬ ‫حداقل‬
»
‫میشود‬ ‫یاد‬
.

‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽1
•
𝑑
𝑑𝛽1
𝑅𝑆𝑆 = −2 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 −𝛽0𝑥𝑖 −𝛽1𝑥𝑖
2
)
• −2 𝑖=1
𝑛
𝑦𝑖𝑥𝑖 − 𝑦 −𝛽1𝑥 𝑥𝑖−𝛽1𝑥𝑖
2
= 0
• 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖 +𝛽1𝑥𝑥𝑖 −𝛽1𝑥𝑖
2
) = 0
• 𝛽1= 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖)
𝑖=1
𝑛
(𝑥𝑖
2 − 𝑥𝑥𝑖)
 𝛽1= 𝑖=1
𝑛
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
•
‫راهنمایی‬
:
• 𝑖=1
𝑛
(𝑥𝑦𝑖 − 𝑥𝑦) = 𝑥 𝑖=1
𝑛
(𝑦𝑖 − 𝑦) = 0
• 𝑖=1
𝑛
(𝑥2
− 𝑥𝑥𝑖) = 𝑥 𝑖=1
𝑛
(𝑥−𝑥𝑖) = 0
‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
• 𝑅𝑆𝑆 = 𝑖=1
𝑛
(𝑦𝑖 − 𝛽0 − 𝛽1𝑥𝑖)2
•
𝑑
𝑑𝛽0
𝑅𝑆𝑆 = −2 𝑖=1
𝑛
𝑦𝑖 −𝛽0 − 𝛽1𝑥𝑖 = 0
• 𝑖=1
𝑛
𝑦𝑖 − 𝑛𝛽0 − 𝛽1 i=1
n
xi = 0
 𝛽0= 𝑦 − 𝛽1𝑥


‫رگرسیون‬ ‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برازش‬
«
‫فروش‬ ‫تعداد‬
»
‫ی‬
‫ک‬
‫حسب‬ ‫بر‬ ‫خاص‬ ‫محصول‬
«
‫در‬ ‫تبلیغات‬ ‫هزینه‬
TV
»
:
•
‫خط‬ ‫هر‬
‫خاکستری‬
‫قائم‬
‫میدهد‬ ‫نشان‬ ‫را‬ ‫خطا‬ ‫یک‬
.
sales = 𝛽0 + 𝛽1 ∗ TV + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥
sales = β0 + β1 ∗ TV


‫بعدی‬ ‫سه‬ ‫ی‬ ‫نقشه‬
RSS
‫مشخص‬ ‫ی‬ ‫داده‬ ‫نمونه‬ ‫یک‬ ‫برای‬
:
•
‫معادل‬ ‫قرمز‬ ‫ی‬ ‫نقطه‬
(
𝛽0
‫و‬
𝛽1
)
‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫با‬ ‫که‬ ‫است‬
‫است‬ ‫آمده‬
.
•
‫مقدار‬ ‫که‬ ‫میشود‬ ‫مشاهده‬
RSS
‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬ ‫در‬
.


‫مثال‬
:
•
𝛽0 = 7.03
‫و‬
𝛽1 = 0.0475
‫است‬ ‫آمده‬ ‫دست‬ ‫به‬
‫؛‬
‫کردن‬ ‫اضافه‬ ‫با‬ ‫صورت‬ ‫این‬ ‫در‬
1000
$
‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫به‬
‫تلویزیونی‬
،
‫میکند؟‬ ‫تغییری‬ ‫چه‬ ‫محصول‬ ‫فروش‬ ‫میزان‬
𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖
sale𝑖 = 𝛽0 + 𝛽1TV𝑖
𝑦𝑖 = 7.03 + 0.0475𝑥𝑖
𝑦𝑛𝑒𝑤 = 7.03 + 0.0475𝑥𝑛𝑒𝑤 = 7.03 + 0.0475 𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 1000 =
7.03 + 0.0475𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5 = 𝑦𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5

‫محصول‬ ‫فروش‬
47.5
‫یابد‬ ‫می‬ ‫افزایش‬ ‫واحد‬
.

‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫بین‬ ‫ی‬ ‫رابطه‬ ‫دقیق‬ ‫فرم‬
𝑋
‫و‬
𝑌
:
Y = f X + ϵ
•
‫توجه‬
:
‫تابع‬
f
‫و‬ ‫است‬ ‫نامشخص‬ ‫و‬ ‫ثابت‬
𝜖
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫عبارت‬
.

‫اگر‬
f
‫باشد‬ ‫خطی‬ ‫تابع‬ ‫یک‬
،
‫بنویسیم‬ ‫زیر‬ ‫صورت‬ ‫به‬ ‫را‬ ‫رابطه‬ ‫میتوانیم‬
:
Y = 𝛽0 + 𝛽1X + 𝜖

‫جمعیت‬ ‫رگرسیون‬ ‫خط‬
(
𝑦 = 𝛽0 + 𝛽1𝑥
)
‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫واقعی‬ ‫کاربردهای‬ ‫در‬ ‫معموال‬
،
‫است‬ ‫ثابت‬ ‫و‬ ‫نامشخص‬ ‫جامعه‬ ‫رگرسیون‬ ‫خط‬
.

‫میتوان‬
‫دیتای‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬
‫موجود‬
،
‫ضرایب‬
𝛽0
‫و‬
𝛽1
‫را‬
‫آورد‬ ‫بدست‬
.
‫حاصل‬ ‫خط‬
(
y
= 𝛽0 + 𝛽1𝑥
)
‫گوییم‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫را‬
.
•
‫خط‬
‫حداقل‬
‫نیست‬ ‫یکتا‬ ‫مربعات‬
.


‫مثال‬
:

‫خط‬
‫بین‬ ‫واقعی‬ ‫ی‬ ‫رابطه‬ ‫قرمز‬
X
‫و‬
𝑌
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬
،
f(x) = 2 + 3x
،
‫را‬ ‫آن‬ ‫که‬
‫نامیم‬ ‫می‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬
.

‫مشاهده‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫است‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬ ‫آبی‬ ‫خط‬
‫است‬ ‫شده‬ ‫محاسبه‬ ‫شده‬
.

‫دیتاست‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬
𝑦 = 2 + 3x + 𝜖
‫است‬ ‫شده‬ ‫سازی‬ ‫شبیه‬
‫؛‬
‫این‬ ‫به‬
‫که‬ ‫صورت‬
100
‫عدد‬
𝑥𝑖
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫کردیم‬ ‫ایجاد‬ ‫تصادفی‬
،
𝑦𝑖
‫را‬ ‫متناظر‬ ‫های‬
‫حساب‬
‫کردیم‬
،
𝜖𝑖
‫ها‬
‫دست‬ ‫به‬ ‫صفر‬ ‫میانگین‬ ‫با‬ ‫نرمال‬ ‫توزیع‬ ‫یک‬ ‫از‬
‫اند‬ ‫آمده‬
.


‫مثال‬ ‫ادامه‬
:

‫است‬ ‫شده‬ ‫داده‬ ‫نشان‬ ‫قرمز‬ ‫رنگ‬ ‫با‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫همچنان‬
.

‫است‬ ‫نامشخص‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫معموال‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
.

‫خطوط‬
‫آبی‬
‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬
‫مربعات‬ ‫حداقل‬
‫هستند‬
‫و‬
‫متفاوت‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬
‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬
.

‫نیست‬ ‫یکتا‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬
‫و‬
‫چون‬ ‫میکند‬ ‫تغییر‬ ‫کمی‬ ‫دیتا‬ ‫تغییر‬ ‫اساس‬ ‫بر‬
‫های‬ ‫نمونه‬
‫مختلف‬
،
‫میکنند‬ ‫فراهم‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫مختلفی‬ ‫های‬ ‫مجموعه‬
.


‫سوال‬
:
‫بین‬ ‫ی‬ ‫رابطه‬ ‫تعریف‬ ‫برای‬ ‫متفاوت‬ ‫خط‬ ‫دو‬ ‫دیتاست‬ ‫یک‬ ‫فقط‬ ‫وجود‬ ‫با‬ ‫چرا‬
𝑋
‫و‬
𝑌
‫دارد؟‬ ‫وجود‬
(a
y = β0 + β1x
:
‫رگرسیون‬ ‫خط‬
‫جمعیت‬
(b
y = β0 + β1x
:
‫حداقل‬ ‫خط‬
‫مربعات‬

‫جواب‬
:
•
‫این‬
‫خط‬ ‫دو‬
،
‫مصداق‬
‫بزرگ‬ ‫جمعیت‬ ‫یک‬ ‫خصوصیات‬ ‫برآورد‬ ‫برای‬ ‫نمونه‬ ‫یک‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬ ‫استاندارد‬ ‫آماری‬ ‫رویکرد‬
‫تر‬
‫هستند‬
.
•
‫مثال‬
:
‫جمعیت‬ ‫میانگین‬ ‫برآورد‬
(
𝜇
)
‫تصادفی‬ ‫متغیر‬
Y
‫از‬ ‫استفاده‬ ‫با‬
n
‫ی‬ ‫مشاهده‬
𝑦𝑛 , … , 𝑦2 , 𝑦1
:
𝜇 = 𝑦 =
1
𝑛 𝑖=1
𝑛
𝑦𝑖

‫میکنیم‬ ‫سعی‬ ‫مشابه‬ ‫صورت‬ ‫به‬
𝛽0
‫و‬
𝛽1
‫محاسبه‬
‫روش‬ ‫با‬ ‫شده‬
‫حداقل‬
‫مربعات‬
،
‫نامشخص‬ ‫پارامترهای‬
𝛽0
‫و‬
𝛽1
‫را‬
‫کنیم‬ ‫برآورد‬
.
‫یعنی‬
‫هستند‬ ‫قرمز‬ ‫خط‬ ‫برای‬ ‫برآوردی‬ ‫آبی‬ ‫خطوط‬
.


:
•
‫تقریبی‬ ‫و‬ ‫است‬ ‫وابسته‬ ‫نمونه‬ ‫اطالعات‬ ‫به‬ ‫که‬ ‫است‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬ ، ‫جمعیت‬ ‫پارامتر‬ ‫یک‬ ‫برآوردگر‬
‫مقدار‬ ‫از‬
‫ایجاد‬ ‫را‬ ‫پارامتر‬ ‫این‬ ‫نامشخص‬
‫میکند‬
.

𝜇 = 𝑦
:
𝜇

𝛽0
:
𝛽0

𝛽1
:
𝛽1

•
‫معیاری‬ ‫اریبی‬
‫میزان‬ ‫دادن‬ ‫نشان‬ ‫برای‬
‫مقدار‬ ‫نزدیکی‬
‫برآوردگر‬ ‫انتظار‬ ‫مورد‬
‫است‬ ‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬
:
• 𝐵𝑖𝑎𝑠𝑒 𝜃 = 𝐸 𝜃 − 𝜃

•
‫باشد‬ ‫نااریب‬ ‫یا‬ ‫اریب‬ ‫است‬ ‫ممکن‬ ‫برآوردگر‬
.
•
𝜃
‫نااریب‬
‫است‬
‫؛‬
‫اگر‬ ‫فقط‬ ‫و‬ ‫اگر‬
:
• 𝐸 𝜃 = 𝜃
•
‫میانگین‬
𝛽0
‫و‬
𝛽1
‫زیادی‬ ‫تعداد‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شده‬ ‫محاسبه‬ ‫های‬
‫داده‬ ‫مجموعه‬
‫متفاوت‬
،
‫به‬ ‫نزدیک‬ ‫بسیار‬
𝛽0
‫و‬
𝛽1
‫خواهد‬
‫بود‬
(
‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫چندین‬ ‫میانگین‬
‫است‬ ‫نزدیک‬
.)
•
‫برآوردگرهای‬
𝛽0
‫و‬
𝛽1
‫هستند‬ ‫نااریب‬
:
• 𝐸 𝛽0 = 𝛽0
• 𝐸 𝛽1 = 𝛽1


‫برآوردگر‬ ‫نااریبی‬ ‫اثبات‬
𝛽1
:
• 𝛽1= 𝑖=1
𝑛
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)𝑦𝑖
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 −
𝑦 𝑖=1
𝑛
𝑥𝑖−𝑥
𝑖=1
𝑛
𝑥𝑖−𝑥 2 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)𝑦𝑖
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
 (becaus𝑒 𝑖=1
𝑛
𝑥𝑖 − 𝑥 = 0)
• 𝛽1 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝛽0+𝛽1𝑥𝑖+𝜖𝑖)
𝑖=1
𝑛 (𝑥𝑖−𝑥)2 =
1
𝑖=1
𝑛 𝑥𝑖−𝑥 2
(𝛽0 𝑖=1
𝑛
𝑥𝑖 − 𝑥 + 𝛽1 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝑥𝑖


‫اثبات‬ ‫ادامه‬
‫برآوردگر‬ ‫نااریبی‬
𝛽1
:
• 𝐸 𝛽1 𝑋
• = 𝐸 𝛽1 𝑋 + 𝐸 𝑖=1
𝑛
𝑥𝑖−𝑥 𝜖𝑖
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝐸 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝜖𝑖 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝑖=1
𝑛
𝐸 𝑥𝑖 − 𝑥 𝜖𝑖 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛 𝑥𝑖−𝑥 2 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝐸 𝜖𝑖 𝑋
• = 𝛽1

𝛽1
‫است‬ ‫نااریب‬
.

•
‫است‬ ‫کارآمدتر‬ ‫چپ‬ ‫سمت‬ ‫برآوردگر‬
‫؛‬
‫چون‬
‫برای‬
‫کمتری‬ ‫مشاهدات‬ ‫به‬ ، ‫معین‬ ‫عملکرد‬ ‫یک‬ ‫به‬ ‫دستیابی‬
‫نیاز‬
‫دارد‬
.
•
‫اگر‬
‫شده‬ ‫برآورد‬ ‫مقادیر‬
،
‫مت‬ ‫بسیار‬ ‫دیگر‬ ‫نمونه‬ ‫به‬ ‫نمونه‬ ‫یک‬ ‫از‬
‫فاوت‬
‫اری‬ ‫متوسط‬ ‫طور‬ ‫به‬ ‫برآوردگر‬ ‫یک‬ ‫اینکه‬ ‫دانستن‬ ‫صرفا‬ ، ‫باشد‬
‫ب‬
‫نیست‬ ‫کافی‬ ، ‫نیست‬
.

‫مهم‬ ‫سوال‬
:
•
‫؟‬ ‫است‬ ‫دقیق‬ ‫چقدر‬ ‫تصادفی‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫برآورد‬
•
‫دیگر‬ ‫عبارت‬ ‫به‬
،
‫تص‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫شده‬ ‫برآورد‬ ‫مقدار‬
‫ادفی‬
،
‫است؟‬ ‫نزدیک‬ ‫جمعیت‬ ‫پارامتر‬ ‫به‬ ‫چقدر‬


‫معیار‬ ‫انحراف‬
(
Standard Deviation
: )
•
‫دهد‬‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫پراکندگی‬ ‫های‬ ‫شاخص‬ ‫از‬ ‫یکی‬
‫طور‬ ‫به‬
‫مقدار‬ ‫از‬ ‫مقدار‬ ‫چه‬ ‫ها‬‫داده‬ ‫میانگین‬
‫متوسط‬
‫دارند‬ ‫فاصله‬
.
𝜎 = 𝑉𝑎𝑟𝑃𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛 = 𝑖=1
𝑁 (𝑌𝑖−𝜇)2
𝑁
, 𝜇 = 𝑖=1
𝑁
𝑌𝑖
𝑁
•
‫معیار‬ ‫انحراف‬ ‫برآوردگر‬
:
S = 𝑉𝑎𝑟𝑆𝑎𝑚𝑝𝑙𝑒 = 𝑖=1
𝑛 (𝑌𝑖−𝑌)2
𝑛−1
, 𝑌 = 𝑖=1
𝑛
𝑌𝑖
𝑛

𝑌
‫جمعیت‬ ‫میانگین‬ ‫برای‬ ‫برآوردی‬ ،
(
‫یعنی‬
𝜇
)
‫است‬
.

‫جای‬ ‫به‬
𝑛
‫بر‬
(𝑛 − 1)
‫تقسیم‬
، ‫است‬ ‫شده‬
‫زیرا‬
‫شده‬ ‫برآورد‬ ‫جمعیت‬ ‫میانگین‬
‫و‬
‫کار‬ ‫این‬ ‫انجام‬
«
‫آزادی‬ ‫درجه‬ ‫یک‬
»
‫هزینه‬ ‫ما‬ ‫برای‬
‫دارد‬
.

‫میانگین‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬ 
‫استاندارد‬ ‫خطای‬
(
(Standard Error
:
•
‫انحراف‬
‫نمونه‬ ‫توزیع‬ ‫یک‬ ‫معیار‬
‫برداری‬
(
‫آماره‬ ‫توزیع‬
)
‫اس‬
‫ت‬
.
•
‫خطای‬
‫انحراف‬ ‫و‬ ‫استاندارد‬
‫معیار‬
‫برای‬ ‫معیارهای‬ ‫دو‬ ‫هر‬
‫هستند‬ ‫تغییر‬ ‫توصیف‬
.
‫انحراف‬
‫معیار‬
‫تغیی‬ ‫دهنده‬ ‫نشان‬
‫موجود‬ ‫ر‬
‫استاندارد‬ ‫خطای‬ ‫که‬ ‫حالی‬ ‫در‬ ، ‫است‬ ‫نمونه‬ ‫یک‬ ‫در‬
‫جمعیت‬ ‫یک‬ ‫های‬ ‫نمونه‬ ‫در‬ ‫تغییرموجود‬
‫مشخص‬ ‫را‬
‫کند‬ ‫می‬
.
•
‫که‬ ‫نااریب‬ ‫برآوردگرهای‬ ‫در‬
𝐸 𝜃 = 𝜃
،
‫برای‬
‫برآورد‬
‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬ ‫برآوردگر‬ ‫نزدیکی‬ ‫میزان‬
‫شود‬‫می‬ ‫استفاده‬
.
•
‫است‬ ‫برآوردگر‬ ‫دقت‬ ‫برای‬ ‫معیاری‬
.


‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬
𝑌
:
Var Y = Var(
1
n i=1
n
Yi) =
1
n2 𝑖=1
𝑛
𝑉𝑎𝑟(𝑌𝑖) =
𝑛𝜎2
𝑛2 =
𝜎2
𝑛
SE(𝑌) = Var(𝑌) =
𝜎
𝑛
•
𝜎
‫آن‬ ‫نبودن‬ ‫مشخص‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫جمعیت‬
،
‫یعنی‬ ‫آن‬ ‫برآوردگر‬ ‫از‬
S
‫میکنیم‬ ‫استفاده‬
.
•
‫به‬
‫میتوان‬ ‫مشابه‬ ‫صورت‬
‫دقت‬
𝛽0
‫و‬
𝛽1
‫برآورد‬ ‫در‬ ‫را‬
𝛽0
‫و‬
𝛽1
‫کرد‬ ‫بررسی‬
.


‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬
𝛽0
‫و‬
𝛽1
:
• 𝑆𝐸 𝛽0
2
= Var 𝛽0 = 𝜎2(
1
𝑛
+
𝑥2
𝑖=1
𝑛
(𝑥𝑖−𝑥)2)
• 𝑆𝐸 𝛽1
2
= Var 𝛽1 =
𝜎2
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
•
‫توجه‬
:
𝜎2
= Var(𝜖)


‫باقیمانده‬ ‫استاندارد‬ ‫خطای‬
(residual standard error)
:
•
‫مقدار‬ ‫بودن‬ ‫نامشخص‬ ‫صورت‬ ‫در‬
𝜎
،
‫کنیم‬ ‫برآورد‬ ‫را‬ ‫آن‬ ‫زیر‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫میتوانیم‬
.
• RSE =
𝑅𝑆𝑆
𝑛−2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
𝑛−2
=
𝜖1
2
+𝜖2
2
+⋯+𝜖𝑛
2
𝑛−2
•
‫بر‬ ‫را‬ ‫مجموع‬
(𝑛 − 2)
‫تقسیم‬
‫می‬
‫کنیم‬
‫استفاده‬ ‫در‬ ‫زیرا‬ ،
‫از‬
𝑦𝑖
،
‫کنیم‬ ‫می‬ ‫برآورد‬ ‫را‬ ‫پارامتر‬ ‫دو‬ ‫ما‬
-
𝛽0
(
)
‫و‬
𝛽1
(
‫شیب‬
)
-
‫یعنی‬
«
‫آزادی‬ ‫درجه‬ ‫دو‬
»
‫دهیم‬ ‫می‬ ‫دست‬ ‫از‬ ‫را‬
.
•
‫فرمول‬ ‫در‬ ‫چنانچه‬
𝑆𝐸 𝛽𝑖
2
𝜎
‫کنیم‬ ‫استفاده‬ ‫شده‬ ‫برآورد‬
،
‫صورت‬ ‫به‬ ‫را‬ ‫آن‬ ‫باید‬
𝑆𝐸 𝛽𝑖
2
‫دهیم‬ ‫نشان‬
.
‫سادگی‬ ‫برای‬ ‫اما‬
‫عالمت‬ ‫این‬ ‫از‬
«
hat
»
‫میکنیم‬ ‫صرفنظر‬ ‫اضافی‬
.


‫استاندارد‬ ‫خطای‬ ‫ی‬ ‫اندازه‬ ‫بر‬ ‫موثر‬ ‫عوامل‬
:
.A
‫نمونه‬ ‫حجم‬
n
:
•
‫مخرج‬
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
‫به‬
n
‫دارد‬ ‫بستگی‬
.
‫بزرگتر‬ ‫نمونه‬ ‫حجم‬ ‫چه‬ ‫هر‬
‫میشود‬ ‫اضافه‬ ‫مجموع‬ ‫این‬ ‫به‬ ‫بیشتری‬ ‫عبارات‬ ،‫باشد‬
.
•
‫نم‬ ‫اندازه‬ ‫افزایش‬ ‫با‬ ‫رگرسیون‬ ‫خطوط‬ ‫ابر‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
‫ونه‬
‫شود‬ ‫می‬ ‫تر‬ ‫فشرده‬
.
‫م‬ ‫در‬ ‫مدل‬ ‫بیشتر‬ ‫اطمینان‬ ‫از‬ ‫حاصل‬ ‫نتیجه‬ ‫این‬
‫ورد‬
‫مکان‬
‫است‬ ‫وسط‬
.

.C
‫مقادیر‬ ‫پراکندگی‬
𝑥
:
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
.B
‫خط‬ ‫اطراف‬ ‫در‬ ‫پراکندگی‬
:
𝑆𝜖 = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦𝑖)2
𝑛 − 2


‫استنباط‬
‫جمعیت‬
:
•
‫در‬
‫نهایت‬
‫عالقه‬
‫ایم‬ ‫کرده‬ ‫مشاهده‬ ‫که‬ ‫خاصی‬ ‫نمونه‬ ‫نه‬ ، ‫هستیم‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫نتیجه‬ ‫به‬ ‫مند‬
.
•
‫مورد‬ ‫در‬ ‫مندیم‬ ‫عالقه‬ ، ‫ساده‬ ‫رگرسیون‬ ‫تنظیم‬ ‫در‬
𝛽0
‫و‬
𝛽1
‫بگیریم‬ ‫یاد‬
.
•
«
‫اطمینان‬ ‫فواصل‬
»
‫و‬
«
‫فرضیه‬ ‫آزمونهای‬
»
‫جمعیت‬ ‫پارامترهای‬ ‫مقادیر‬ ‫درباره‬ ‫یادگیری‬ ‫برای‬ ، ‫متفاوت‬ ‫اما‬ ، ‫مرتبط‬ ‫روش‬ ‫دو‬
‫هستند‬
.
•
‫کردن‬ ‫محاسبه‬ ‫برای‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫میتوان‬
‫اطمینان‬ ‫فواصل‬
‫انجام‬ ‫یا‬ ،
‫فرض‬ ‫آزمونهای‬
‫کرد‬ ‫استفاده‬ ‫ضرایب‬ ‫روی‬ ‫بر‬
.

‫آمار‬ ‫علم‬ ‫های‬ ‫شاخه‬

‫آمار‬
‫توصیفی‬
:
•
‫نتایج‬ ‫توصیف‬ ‫برای‬
‫و‬
‫می‬ ‫استفاده‬ ‫ها‬ ‫داده‬ ‫در‬ ‫موجود‬ ‫های‬ ‫ویژگی‬
‫شود‬
.
•
‫اطالعات‬
‫یک‬ ‫از‬ ‫حاصل‬
، ‫گروه‬
‫و‬ ‫کند‬‫می‬ ‫توصیف‬ ‫را‬ ‫گروه‬ ‫همان‬
‫شود‬‫نمی‬ ‫داده‬ ‫تعمیم‬ ‫مشابه‬ ‫جات‬‫دسته‬ ‫به‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬
.

‫استنباطی‬ ‫آمار‬
:
•
‫براساس‬ ‫آماری‬ ‫جامعه‬ ‫شناخت‬ ، ‫هدف‬
‫مقادیر‬
‫های‬‫نمونه‬ ‫از‬ ‫حاصل‬
‫است‬ ‫تصادفی‬
.
•
‫کل‬ ‫به‬ ‫را‬ ‫نمونه‬ ‫مطالعه‬ ‫از‬ ‫حاصل‬ ‫نتایج‬
‫جمعیت‬
‫میدهد‬ ‫تعمیم‬
.
•
‫در‬
‫از‬ ‫گذر‬
‫به‬ ‫نمونه‬
‫جامعه‬
،
‫شروع‬ ‫احتمال‬ ‫نقش‬ ‫و‬ ‫بحث‬
‫شود‬‫می‬
‫؛‬
‫نتایج‬ ‫واقع‬ ‫در‬
‫صورت‬ ‫به‬ ‫را‬ ‫نهایی‬
‫احتمالی‬
‫دهد‬‫می‬ ‫ارائه‬
.
•
«
‫کردن‬ ‫برآورد‬
»
‫و‬
«
‫آماری‬ ‫فرض‬ ‫آزمون‬
»
‫استنباطی‬ ‫آمار‬ ‫روشهای‬
‫هستند‬
.

‫برآورد‬
‫کردن‬

‫برآورد‬ ‫روشهای‬
‫پارامتر‬
‫جمعیت‬
،
‫نمونه‬
:
.A
‫نقطه‬ ‫برآورد‬
:
‫م‬ ‫به‬ ‫جمعیت‬ ‫پارامتر‬ ‫برآورد‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫واحدی‬ ‫مقدار‬
‫ا‬
‫میدهد‬
،
‫نمونه‬ ‫میانگین‬ ‫مثال‬ ‫برای‬
.
.B
‫اطمینان‬ ‫فاصله‬ ‫برآورد‬
:
‫پار‬ ‫شامل‬ ‫احتماال‬ ‫که‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫طیفی‬
‫امتر‬
‫میدهد‬ ‫ما‬ ‫به‬ ‫است‬ ‫جمعیت‬
.

‫احتمال‬
‫را‬ ‫باشد‬ ‫جمعیت‬ ‫پارامتر‬ ‫شامل‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫آنکه‬
«
‫سطح‬
‫اعتماد‬
»
‫گویند‬
.

‫ضرایب‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫داریم‬ ‫قصد‬
𝛽0
‫و‬
𝛽1
‫استاندارد‬ ‫خطای‬ ‫و‬
‫آنها‬
،
‫بازه‬
‫شامل‬ ‫مشخص‬ ‫احتمال‬ ‫با‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫هایی‬
𝛽0
‫و‬
𝛽1
‫هستند‬
.

‫برداری‬ ‫نمونه‬ ‫توزیع‬
𝛽1

‫نمونه‬ ‫توزیع‬
‫برداری‬
𝛽0

‫نرمال‬ ‫توزیع‬

‫توزیع‬
‫مرکز‬ ‫از‬ ‫فاصله‬ ‫و‬ ‫نرمال‬
،
‫انحراف‬ ‫برحسب‬
‫معیار‬
:
•
‫ی‬ ‫محدوده‬ ‫در‬
2
±
‫واحد‬
(
‫برداری‬ ‫نمونه‬ ‫توزیع‬ ‫در‬ ‫استاندارد‬ ‫خطای‬
)
‫از‬
،
‫حدود‬
95
%
‫اند‬ ‫گرفته‬ ‫قرار‬ ‫ها‬ ‫داده‬
.

‫نرمال‬ ‫توزیع‬

‫به‬
‫احتمال‬
95
%
‫در‬ ‫جمعیت‬ ‫پارامتر‬
‫فاصله‬
±2
𝜎
𝑛
‫قرار‬ ‫برآوردگر‬ ‫از‬
‫دارد‬
.

‫اطمینان‬ ‫سطح‬
:
95
%

‫بازه‬
‫اطمینان‬
:
(𝑋 − 2
𝜎
𝑛
, 𝑋 + 2
𝜎
𝑛
)

‫توزیع‬
z

‫توزیع‬
z
‫یا‬
«
‫استاندارد‬ ‫نرمال‬ ‫توزیع‬
»
:
𝑧 =
𝑥 − 𝜇
𝜎

:
0

:
1
•
‫نرمال‬ ‫توزیع‬ ‫به‬ ‫میتوان‬ ‫را‬ ‫نرمال‬ ‫توزیع‬ ‫هر‬
‫کرد‬ ‫تبدیل‬ ‫استاندارد‬
.

‫توزیع‬
t
•
‫مواقع‬ ‫اکثر‬ ‫در‬
،
‫برای‬
‫فواصل‬ ‫محاسبه‬
‫توزیع‬ ‫جای‬ ‫به‬ ‫اطمینان‬
z
‫های‬‫توزیع‬ ‫از‬
t
.
•
‫برای‬
‫ایجاد‬ ‫چندانی‬ ‫تفاوت‬ ،‫بزرگ‬ ‫های‬‫نمونه‬
‫کند‬‫نمی‬
(
‫با‬
‫بزرگتر‬
‫شدن‬
‫های‬ ‫درجه‬
،‫آزادی‬
‫های‬ ‫توزیع‬
𝑡
‫به‬
‫توزیع‬
𝑧
‫نزدیکتر‬
)
‫اما‬ ،
‫های‬‫نمونه‬ ‫برای‬
‫کوچکتر‬
‫کند‬ ‫ایجاد‬ ‫زیادی‬ ‫تفاوت‬ ‫تواند‬‫می‬
.

‫پارامتر‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫برآورد‬
•
‫بازه‬
‫اطمینان‬ ‫ی‬
‫مشخص‬ ‫اعتماد‬ ‫سطح‬ ‫با‬
،
‫دامنه‬
‫با‬ ‫که‬ ‫میکند‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬
‫اعتماد‬ ‫سطح‬ ‫با‬ ‫برابر‬ ‫احتمالی‬
،
‫نامش‬ ‫مقدار‬
‫خص‬
‫بود‬ ‫خواهد‬ ‫دامنه‬ ‫این‬ ‫در‬
.
‫اطمینان‬ ‫فاصله‬ = ‫مقدار‬
‫شده‬ ‫برآورد‬ ± ‫حاشیه‬
‫خطا‬
•
‫میگردد‬ ‫تعیین‬ ‫اطمینان‬ ‫سطح‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫ضریبی‬ ‫خطا‬ ‫حاشیه‬
.

‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬
𝛽1
:
‫مشخص‬ ‫احتمال‬ ‫با‬
(
1 − 𝛼
)
،
𝛽1
‫بازه‬ ‫در‬
[𝛽1 − 𝑡𝛼
2
, 𝑛−2
* SE(𝛽1) , 𝛽1+ 𝑡𝛼
2
, 𝑛−2
* SE(𝛽1)]
‫خواهد‬
‫بود‬
.

‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬
𝛽0
:
‫مشخص‬ ‫احتمال‬ ‫با‬
(
1 − 𝛼
)
،
𝛽0
‫بازه‬ ‫در‬
[𝛽0 − 𝑡𝛼
2
, 𝑛−2
* SE(𝛽0) , 𝛽0+ 𝑡𝛼
2
, 𝑛−2
* SE(𝛽0)]
‫خواهد‬
‫بود‬
.
•
‫مقدار‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
t
‫آزادی‬ ‫ی‬ ‫درجه‬ ‫و‬ ‫اعتماد‬ ‫سطح‬ ‫اساس‬ ‫بر‬
،
‫توزیع‬ ‫جدول‬ ‫از‬
t
‫آید‬ ‫می‬ ‫دست‬ ‫به‬
.

‫پارامتر‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫برآورد‬

‫کم‬ ‫اطمینان‬ ‫های‬‫فاصله‬ ،‫کلی‬ ‫طور‬ ‫به‬
‫تر‬ ‫عرض‬
‫هستند‬ ‫مفیدتر‬
.

‫عرض‬ ‫بر‬ ‫موثر‬ ‫عوامل‬
‫فاصله‬
‫برای‬ ‫اطمینان‬
𝛽
:
.A
‫استاندارد‬ ‫خطای‬
:
‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬
.
•
‫عوامل‬
‫شده‬ ‫بیان‬ ‫قبال‬ ‫استاندارد‬ ‫خطای‬ ‫بر‬ ‫موثر‬
‫است‬
.
.B
‫اطمینان‬ ‫سطح‬
:
‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬
.
•
‫واضح‬
‫که‬ ‫است‬
‫نمی‬
‫دهیم‬ ‫کاهش‬ ‫خیلی‬ ‫را‬ ‫اطمینان‬ ‫سطح‬ ‫خواهیم‬
.
‫زیر‬ ‫هرگز‬ ‫اطمینان‬ ‫سطح‬ ،‫معمول‬ ‫طور‬ ‫به‬
90
‫تنظیم‬ ٪
‫شود‬ ‫نمی‬
.


‫مثال‬
:
•
‫دیتاست‬ ‫در‬
advertising
‫اطمینان‬ ‫ی‬ ‫بازه‬
95
%
‫برای‬
𝛽0
[6.130 , 7.935]
‫و‬
‫اطمینان‬ ‫ی‬ ‫بازه‬
95
%
‫برای‬
𝛽1
[0.042 , 0.053]
‫است‬ ‫آمده‬ ‫دست‬ ‫به‬
.
•
‫گرفت‬ ‫نتیجه‬ ‫توان‬ ‫می‬
‫که‬
:

‫در‬
،‫فروش‬ ،‫تبلیغات‬ ‫هرگونه‬ ‫وجود‬ ‫عدم‬ ‫صورت‬
‫احتمال‬ ‫به‬
95
%
‫مقداری‬ ‫به‬
‫بین‬
6130
‫تا‬
7935
‫کند‬ ‫می‬ ‫سقوط‬ ‫واحد‬
.

‫هر‬ ‫ازای‬ ‫به‬
1000
‫احتمال‬ ‫به‬ ،‫تلویزیونی‬ ‫تبلیغات‬ ‫در‬ ‫افزایش‬ ‫دالر‬
95
%
‫بین‬ ‫فروش‬
42
‫تا‬
53
‫واحد‬
‫داشت‬ ‫خواهد‬ ‫افزایش‬
.


‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬ ‫روش‬
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬
X
‫پاسخ‬ ‫و‬
Y
‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬

‫آیا‬
𝛽1 ≠ 0
‫است‬
‫؟‬
•
‫اطمینان‬ ‫فاصله‬
‫محدوده‬
‫واقعی‬ ‫مقدار‬ ‫حاوی‬ ً‫ال‬‫احتما‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ما‬ ‫به‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬
‫نامشخص‬ ‫و‬
𝛽1
‫است‬
.

‫فاصله‬
𝛽1
‫حاوی‬
0
‫باشد‬
:
‫هیچ‬
‫خطی‬ ‫رابطه‬ ‫وجود‬ ‫بر‬ ‫مبنی‬ ‫مدرکی‬
‫بین‬
‫پیش‬
‫کننده‬ ‫بینی‬
𝑋
𝑌
‫جمعیت‬ ‫در‬
‫ندارد‬ ‫وجود‬
.

‫فاصله‬
𝛽1
‫حاوی‬
0
‫نباشد‬
:
‫شواهدی‬
‫پیش‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬
𝑋
‫و‬
‫پاسخ‬
𝑌
‫دارد‬ ‫وجود‬ ‫جمعیت‬ ‫در‬
.

‫ضرایب‬ ‫روی‬ ‫بر‬ ‫فرض‬ ‫آزمون‬

‫آزمون‬
t
‫برای‬
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬
:

X
Y

‫آیا‬
𝛽1 ≠ 0
‫؟‬ ‫است‬
•
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫وجود‬
𝑋
𝑌
‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬
‫گذاریم‬ ‫می‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ساده‬
:
• (𝐻0: 𝛽1 = 0) VS (𝐻𝑎: 𝛽1 ≠ 0)
•
‫بین‬ ‫رگرسیون‬ ‫خط‬
X
‫و‬
Y
‫آزمون‬ ‫از‬ ‫سپس‬ ‫و‬ ‫میکنیم‬ ‫برآورد‬ ‫را‬
t
‫رگرسی‬ ‫خط‬ ‫شیب‬ ‫است‬ ‫بعید‬ ‫آیا‬ ‫که‬ ‫ببینیم‬ ‫تا‬ ‫میکنیم‬ ‫استفاده‬
‫ون‬
‫جمعیت‬
(
𝛽1
)
‫خیر‬ ‫یا‬ ‫باشد‬ ‫صفر‬ ‫برابر‬
.


‫فرض‬
‫آماری‬
:
•
‫حدس‬
‫ی‬ ‫درباره‬ ‫ادعایی‬ ‫یا‬
‫ویژگی‬
‫بررسی‬ ‫مورد‬ ‫جمعیت‬ ‫چند‬ ‫یا‬ ‫یک‬
‫ممکن‬ ‫و‬ ‫است‬
‫باشد‬ ‫نادرست‬ ‫یا‬ ‫درست‬ ‫است‬
.

‫فرض‬ ‫آزمون‬
‫آماری‬
:
•
‫هدف‬
‫قابل‬ ‫تقریبا‬ ‫آماری‬ ‫فرض‬ ،‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫موضوع‬ ‫این‬ ‫تعیین‬ ‫آماری‬ ‫فرض‬ ‫آزمون‬
‫تایید‬
‫خیر‬ ‫یا‬ ‫است‬
.
•
‫فرضیه‬
‫نمونه‬ ‫های‬ ‫داده‬ ‫با‬ ‫اما‬ ، ‫هستند‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫ها‬
‫بررسی‬ ‫آنها‬ ‫اعتبار‬
‫می‬
‫شود‬
.
•
‫هدف‬
‫آزمودن‬ ،
‫آن‬ ‫اثبات‬ ‫نه‬ ‫است‬ ‫فرض‬ ‫كردن‬ ‫آزمایش‬ ‫و‬
.

‫اثبات‬ ‫و‬ ‫فرضیه‬ ‫آزمون‬ ‫تفاوت‬
‫فرضیه‬
:
•
‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫غلط‬ ‫یا‬ ‫درست‬ ‫اثبات‬ ‫برای‬
‫باید‬
‫شکی‬ ‫هیچ‬ ‫بدون‬ ‫آید‬ ‫می‬ ‫بدست‬ ‫که‬ ‫ای‬ ‫نتیجه‬ ‫و‬ ‫کنیم‬ ‫بررسی‬ ‫را‬ ‫جمعیت‬ ‫کل‬
‫است‬ ‫برقرار‬
.
•
‫نیست‬ ‫قطعی‬ ‫نتیجه‬ ‫و‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫محتمل‬ ‫ارزیابی‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
.


‫هستند‬ ‫یکدیگر‬ ‫نقیض‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫فرض‬ ‫دو‬ ‫همواره‬ ‫آزمون‬ ‫یک‬ ‫انجام‬ ‫در‬
:
.A
‫صفر‬ ‫فرض‬
(𝐻0)
:
‫شود‬ ‫آزمایش‬ ‫است‬ ‫قرار‬ ‫که‬ ‫آماری‬ ‫فرض‬
.
.B
‫مقابل‬ ‫فرض‬
(𝐻𝑎)
:
‫صفر‬ ‫فرض‬ ‫جایگزین‬
.
•
‫فرض‬
‫قوی‬ ‫ها‬ ‫داده‬ ‫آنکه‬ ‫مگر‬ ، ‫کند‬ ‫می‬ ‫پیروی‬ ‫صفر‬ ‫فرضیه‬ ‫از‬ ‫که‬ ‫است‬ ‫فرضی‬ ‫جمعیت‬ ‫یک‬ ‫ما‬ ‫جمعیت‬ ‫یعنی‬ ‫است‬ ‫صحیح‬ ‫صفر‬
‫آن‬ ‫برخالف‬ ‫ا‬
‫کنند‬ ‫حکم‬
.
•
‫غیرمحتمل‬ ‫و‬ ‫بعید‬ ‫کامال‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫ها‬ ‫داده‬ ‫اگر‬
‫باشند‬
،
‫را‬ ‫صفر‬ ‫فرض‬
‫رد‬
‫میکنیم‬
.
•
‫آزمون‬
‫برای‬ ،‫صریحی‬ ‫قواعد‬ ‫ی‬ ‫مجموعه‬ ‫گرفتن‬ ‫کار‬ ‫به‬ ‫از‬ ‫عبارتست‬ ‫آماری‬ ‫فرض‬ ‫یک‬
‫آنکه‬
‫که‬ ‫بگیریم‬ ‫تصمیم‬
‫آیا‬
‫صف‬ ‫فرض‬
‫ر‬
‫به‬ ‫را‬
‫نفع‬
‫رد‬ ‫مقابل‬ ‫فرض‬
‫ندارد‬ ‫وجود‬ ‫آن‬ ‫رد‬ ‫برای‬ ‫کافی‬ ‫شواهد‬ ‫یا‬ ‫کنیم‬
.
•
‫جم‬ ‫کل‬ ‫اساس‬ ‫بر‬ ‫نه‬ ، ‫است‬ ‫نمونه‬ ‫اطالعات‬ ‫اساس‬ ‫بر‬ ‫تصمیم‬ ‫زیرا‬ ‫است‬ ‫نشده‬ ‫اثبات‬ ‫آن‬ ‫جایگزین‬ ‫یا‬ ‫صفر‬ ‫فرضیه‬ ‫موردی‬ ‫هیچ‬ ‫در‬
‫عیت‬
.
‫اما‬
‫دارد‬ ‫وجود‬ ‫فرضیه‬ ‫بودن‬ ‫درست‬ ‫بر‬ ‫مبنی‬ ‫شواهدی‬ ‫که‬ ‫کرد‬ ‫اعالم‬ ‫اطمینان‬ ‫درجه‬ ‫با‬ ‫میتوان‬
.

‫آماری‬ ‫فرض‬ ‫آزمون‬ ‫مراحل‬
‫مرحله‬
1
:
‫صفر‬ ‫فرض‬ ‫کردن‬ ‫بیان‬
(H0)
‫مقابل‬ ‫فرض‬ ‫و‬
(Ha)
‫مرحله‬
4
:
‫معناداری‬ ‫سطح‬ ‫تعیین‬
𝛼
‫مرحله‬
3
:
‫آزمون‬ ‫ی‬ ‫دنباله‬ ‫کردن‬ ‫مشخص‬
‫مرحله‬
2
:
‫تعیین‬
«
‫آزمون‬ ‫ی‬ ‫آماره‬
»
‫آن‬ ‫توزیع‬ ‫و‬ ‫مناسب‬
‫مرحله‬
5
:
‫رد‬ ‫ناحیه‬ ‫کردن‬ ‫مشخص‬
‫مرحله‬
5
:
‫کردن‬ ‫مشخص‬
P_Value
‫مرحله‬
6
:
‫آن‬ ‫رد‬ ‫در‬ ‫شکست‬ ‫یا‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬

‫مقابل‬ ‫فرض‬ ‫و‬ ‫صفر‬ ‫فرض‬
𝐻0
‫نمون‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫است‬ ‫ادعایی‬ ‫نفی‬
‫آن‬ ‫ه‬
‫کنیم‬ ‫تایید‬ ‫را‬
‫؛‬
‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬
.
= ‫یا‬ ≤ ‫یا‬ ≥
𝐻𝑎
‫اطالعات‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫ادعایی‬ ‫خود‬
‫کنیم‬ ‫تایید‬ ‫را‬ ‫آن‬ ‫نمونه‬ ‫از‬ ‫حاصل‬
.
≠ ‫یا‬ < ‫یا‬ >

‫فرض‬ ‫و‬ ‫صفر‬ ‫فرض‬
‫مقابل‬
• 𝐻0: 𝛽1 = 0
• 𝐻𝑎: 𝛽1 ≠ 0

‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫میزنیم‬ ‫حدس‬
X
‫و‬
Y
‫؛‬
‫هستیم‬ ‫موضوع‬ ‫این‬ ‫تایید‬ ‫دنبال‬ ‫به‬
.

‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫موضوع‬ ‫این‬
X
‫و‬
Y
‫میگذاریم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ندارد‬ ‫وجود‬
‫؛‬
‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬
.


‫فرض‬ ‫با‬ ‫نمونه‬ ‫سازگاری‬ ‫در‬ ‫موثر‬ ‫عوامل‬
‫صفر‬
:
.A
‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫تفاوت‬
(
‫آماره‬
)
،
‫صفر‬ ‫فرض‬ ‫در‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫با‬
(
‫صفر‬ ‫فرض‬ ‫تحت‬ ‫جمعیت‬ ‫پارامتر‬
: )
•
‫آیا‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫باید‬ ‫صفر‬ ‫فرض‬ ‫آزمون‬ ‫برای‬
𝛽1
‫به‬
، ‫است‬ ‫دور‬ ‫صفر‬ ‫از‬ ‫کافی‬ ‫ی‬ ‫اندازه‬
‫مطمئن‬ ‫توانیم‬ ‫می‬ ‫که‬ ‫چنان‬ ‫آن‬
‫که‬ ‫باشیم‬
𝛽1
‫غیرصفر‬
‫است‬
(
‫صفر‬ ‫فرض‬ ‫رد‬
)
‫یا‬ ،
‫نه‬
.
.B
‫خطای‬
‫استاندارد‬
‫آماره‬
:
•
‫سوال‬
:
‫ی‬ ‫فاصله‬ ‫اندازه‬ ‫چه‬
𝛽1
‫صفر‬ ‫از‬
،
‫شود؟‬ ‫رد‬ ‫صفر‬ ‫فرض‬ ‫تا‬ ‫است‬ ‫کافی‬
•
‫جواب‬
:
‫بستگی‬
‫دقت‬ ‫به‬
𝛽1
‫دارد‬
:

‫اگر‬
SE(𝛽1)
‫باشد‬ ‫کوچک‬
،
‫کوچک‬ ‫نسبتا‬ ‫مقادیر‬ ‫حتی‬
𝛽1
‫که‬ ‫باشد‬ ‫این‬ ‫از‬ ‫حاکی‬ ‫است‬ ‫ممکن‬ ‫نیز‬
𝛽1 ≠ 0

‫اگر‬
SE(𝛽1)
‫باشد‬ ‫بزرگ‬
،
‫باید‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
𝛽1
‫باشد‬ ‫بزرگ‬ ‫کامال‬
.


:
•
‫است‬ ‫صفر‬ ‫فرض‬ ‫با‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫سازگاری‬ ‫میزان‬ ‫ارزیابی‬ ‫برای‬ ‫معیاری‬
.
•
‫ارزشی‬
‫شود‬ ‫می‬ ‫محاسبه‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫که‬ ‫است‬ ‫عددی‬
.

t
:
:
‫فرمول‬
‫آماره‬ − ‫پارامتر‬
‫جمعیت‬
‫با‬
‫قبول‬
‫فرض‬
‫صفر‬
‫خطای‬
‫آماره‬
•
‫برابر‬
‫که‬ ‫است‬ ‫معیارهایی‬ ‫انحراف‬ ‫تعداد‬
𝛽1
‫از‬
(𝛽1 = 0)
‫دارد‬ ‫فاصله‬
:
 𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 =
𝛽1− 𝛽1
SE(𝛽1)


‫کند‬ ‫می‬ ‫مقایسه‬ ‫رود‬ ‫می‬ ‫انتظار‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫آنچه‬ ‫با‬ ‫را‬ ‫نمونه‬ ‫های‬ ‫داده‬ ، ‫آزمون‬ ‫آماره‬
.
.A
‫صفر‬ ‫آزمون‬ ‫آماره‬
:
‫باشد‬ ‫داشته‬ ‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬
،
‫براب‬ ‫آزمون‬ ‫آماره‬
‫با‬ ‫ر‬
‫است‬ ‫صفر‬
.
.B
‫کوچک‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬
:
‫فرض‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬
‫صفر‬ ‫یه‬
.
.C
‫بزرگ‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬
:
‫نظ‬ ‫به‬ ‫بعید‬ ، ‫صفر‬ ‫فرض‬ ‫صحت‬ ‫تحت‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ارائه‬ ‫را‬ ‫نتایجی‬ ، ‫نمونه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫می‬ ‫ر‬
‫رسد‬
.
•
‫باشد‬ ‫بزرگ‬ ‫آزمون‬ ‫آماره‬ ‫اندازه‬ ‫است‬ ‫مطلوب‬ ، ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
.

‫آزمون‬ ‫ی‬ ‫آماره‬ ‫توزیع‬
•
‫است‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬
.
•
‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬
‫داشته‬
‫بود‬ ‫خواهد‬ ‫جمعیت‬ ‫پارامتر‬ ‫با‬ ‫برابر‬ ‫نمونه‬ ‫آماره‬ ، ‫باشد‬
.
•
‫ش‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬
‫انس‬
‫است‬
.
•
‫ص‬ ‫فرض‬ ‫تحت‬ ‫بیشتری‬ ‫وقوع‬ ‫احتمال‬ ،‫پارامتر‬ ‫مقدار‬ ‫به‬ ‫نزدیک‬ ‫های‬ ‫داده‬
‫فر‬
‫دارند‬
.
، ‫دیگر‬ ‫طرف‬ ‫از‬
‫احتمال‬ ، ‫دورتر‬ ‫فاصله‬ ‫در‬ ‫واقع‬ ‫های‬ ‫داده‬ ‫برای‬
‫است‬ ‫کمتر‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫وقوع‬
.

‫آماره‬ ‫توزیع‬
‫آزمون‬ ‫ی‬
‫داریم‬ ‫انتظار‬
‫آماره‬
t
‫توزیع‬ ‫دارای‬
t
‫آزادی‬ ‫درجه‬ ‫با‬
(𝑛 − 2)
‫باشد‬
.

‫آزمون‬ ‫ی‬ ‫دنباله‬

‫ناحیه‬
‫مبنای‬ ‫بر‬ ، ‫آزمون‬ ‫یک‬ ‫رد‬
‫فرض‬ ‫جهت‬
‫مقابل‬
(
𝐻1
)
‫میگردد‬ ‫تعیین‬
.

‫دار‬ ‫جهت‬ ‫فرض‬
:
‫یک‬ ‫آزمون‬
_
‫دنباله‬
•
‫میتواند‬ ‫آزمون‬ ، ‫فرض‬ ‫جهت‬ ‫به‬ ‫بسته‬
«
‫راست‬
_
‫دنباله‬
»
‫ی‬
‫ا‬
«
‫چپ‬
_
‫دنباله‬
»
‫باشد‬
.

‫فرض‬
‫جهت‬ ‫بدون‬
:
‫آزمون‬
‫دو‬
_
‫دنباله‬

‫فرض‬
(𝐻𝑎: 𝛽1 ≠ 0)
‫یک‬ ‫آن‬ ‫آزمون‬ ‫و‬ ‫است‬ ‫جهت‬ ‫بدون‬
‫دو‬ ‫آزمون‬
_
‫بود‬ ‫خواهد‬ ‫دنباله‬
.

‫معناداری‬ ‫سطح‬
𝛼

‫هنگام‬
‫درباره‬ ‫تصمیم‬ ‫اتخاذ‬
‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬
‫ممکن‬
‫پیش‬ ‫خطا‬ ‫نوع‬ ‫دو‬ ‫است‬
‫آید‬
:
.A
‫اول‬ ‫نوع‬ ‫خطای‬
:
‫فرض‬ ‫کردن‬ ‫رد‬
، ‫صفر‬
‫که‬ ‫حالی‬ ‫در‬
‫است‬ ‫درست‬
.
.B
‫نوع‬ ‫خطای‬
‫دوم‬
:
‫رد‬
‫نکردن‬
‫که‬ ‫حالی‬ ‫در‬ ، ‫صفر‬ ‫فرض‬
‫نادرست‬
‫است‬
.
• α = P(‫صفر‬ ‫فرض‬ ‫کردن‬ ‫رد‬ | ‫فرض‬
‫باشد‬ ‫درست‬ ‫صفر‬ )
• 𝛽 = P(‫صفر‬ ‫فرض‬ ‫نکردن‬ ‫رد‬ | ‫فرض‬
‫باشد‬ ‫نادرست‬ ‫صفر‬ )

‫معناداری‬ ‫سطح‬
𝛼

𝛼
‫مقدار‬
‫که‬ ‫است‬ ‫اول‬ ‫نوع‬ ‫خطای‬
‫در‬
‫آن‬ ‫تحمل‬ ‫به‬ ‫حاضر‬ ‫فرض‬ ‫آزمون‬
‫هستیم‬
.
•
‫از‬ ، ‫معمول‬ ‫طور‬ ‫به‬
𝛼 = 0.05
‫شود‬ ‫می‬ ‫استفاده‬
(
‫مانند‬ ‫سطوح‬ ‫سایر‬ ‫از‬ ‫است‬ ‫ممکن‬ ‫اگرچه‬
𝛼 = 0.01
‫شود‬ ‫استفاده‬
.)
‫بدان‬ ‫این‬
‫مایلیم‬ ‫ما‬ ‫که‬ ‫است‬ ‫معنی‬
0.05
‫که‬ ‫پذیریم‬ ‫می‬ ‫را‬ ‫واقعیت‬ ‫این‬ ‫یعنی‬ ، ‫کنیم‬ ‫تحمل‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫از‬
1
‫مورد‬
‫از‬
‫هر‬
20
، ‫نمونه‬
‫باشد‬ ‫درست‬ ‫اگر‬ ‫حتی‬ ‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬
.

𝛼
،
‫آزمون‬ ‫بودن‬ ‫دار‬ ‫معنی‬ ‫سطح‬
،
‫یک‬
‫بودن‬ ‫دار‬ ‫معنی‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬ ‫که‬ ‫است‬ ‫آستانه‬ ‫مقدار‬
‫آماره‬
‫آزمون‬
‫شود‬ ‫می‬ ‫استفاده‬
.
•
‫آماری‬ ‫معنادار‬
:
‫زیا‬ ‫احتمال‬ ‫به‬ ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫و‬ ‫باشد‬ ‫بوده‬ ‫اندک‬ ‫بسیار‬ ‫تصادفی‬ ‫صورت‬ ‫به‬ ‫اتفاقی‬ ‫وقوع‬ ‫احتمال‬ ‫گاه‬ ‫هر‬
‫دارای‬ ‫د‬
‫گویند‬ ‫معنادار‬ ‫آماری‬ ‫لحاظ‬ ‫به‬ ‫را‬ ‫آن‬ ،‫است‬‫بوده‬ ‫شانس‬ ‫از‬ ‫غیر‬ ‫دلیلی‬
.
•
‫ندارد‬ ‫وجود‬ ‫معناداری‬ ‫تفاوت‬ ‫یعنی‬ ‫صفر‬ ‫فرض‬
.

‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬
‫رد‬ ‫ی‬ ‫ناحیه‬ ‫روش‬
‫روش‬
P_Value

‫ناحیه‬
‫رد‬ ‫ی‬

‫برای‬ ‫رد‬ ‫ناحیه‬
𝐻0
‫می‬ ‫نظر‬ ‫به‬ ‫بعید‬ ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫مقادیر‬ ‫شامل‬ ،
‫رسند‬
.

‫مقادیر‬
‫استفاده‬ ‫با‬ ‫میتوان‬ ‫را‬ ‫بحرانی‬
𝛼
‫مربوطه‬ ‫توزیع‬ ‫جدول‬ ‫از‬ ،
(
‫توزیع‬ ‫اینجا‬ ‫در‬
t
(𝑛 − 2)
)
‫آورد‬ ‫دست‬ ‫به‬
.

P_Value
•
P_Value
:
‫آنکه‬ ‫احتمال‬ ‫از‬ ‫است‬ ‫عبارت‬
‫صفر‬ ‫فرض‬ ‫تحت‬
(
𝛽1 = 0
)
‫آماره‬ ،
‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫برابر‬ ، ‫رد‬ ‫ناحیه‬ ‫جهت‬ ‫در‬ ‫آزمون‬
‫یا‬
‫از‬ ‫تر‬ ‫غیرمعمول‬ ‫حتی‬
‫آن‬
‫باشد‬
.
• two_tailed → P_Value = P((t ≥ |𝑡𝑐|)| 𝛽1 = 0 )
• left_tailed → P_Value = P((t ≤ −𝑡𝑐)| 𝛽1 = 0 )
• right_tailed → P_Value = P((t ≥ 𝑡𝑐)| 𝛽1 = 0 )
•
P_Value
‫صفر‬ ‫فرض‬ ‫تحت‬ ‫که‬ ‫میدهد‬ ‫نشان‬ ‫کوچک‬
(
𝛽1 = 0
)
،
‫چنین‬ ‫مشاهده‬
‫ای‬ ‫نتیجه‬
(
𝛽1
)
‫دلیل‬ ‫به‬
‫شانس‬
،
‫است‬ ‫بعید‬
.
•
‫شانس‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬
‫است‬
.
•
‫اگر‬
P_Value
‫باشد‬ ‫کوچک‬ ‫کافی‬ ‫اندازه‬ ‫به‬
،
‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬
.

P_Value

‫حد‬
P_Value
‫را‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
‫معناداری‬ ‫سطح‬ ‫برابر‬
𝛼
‫میگیریم‬ ‫نظر‬ ‫در‬
:
.A
‫اگر‬
P − Value ≥ α
‫گزینه‬ ‫باشد‬
𝐻0
‫بگیرید‬ ‫نتیجه‬ ‫را‬
:
P − Value
‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬ ‫بزرگ‬
‫ندارد‬ ‫وجود‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫هیچ‬
.
.B
‫اگر‬
P − Value ≤ α
‫گزینه‬ ‫باشد‬
𝐻1
‫بگیرید‬ ‫نتیجه‬ ‫را‬
:
P − Value
‫کوچک‬
‫اتفاق‬ ‫تصادفی‬ ‫طور‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫نتیجه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫باشد‬ ‫نیفتاده‬
‫و‬
‫گیرد‬ ‫می‬ ‫بر‬ ‫در‬ ‫را‬ ‫خاصی‬ ‫علت‬ ‫عوض‬ ‫در‬
.
«
‫رد‬ ‫ناحیه‬ ‫روش‬
»
‫و‬
«
‫روش‬
p − value
»
‫می‬ ‫منجر‬ ‫تصمیم‬ ‫یک‬ ‫به‬ ‫همیشه‬
‫شوند‬
.
‫چرا؟‬

‫تصمیم‬ ‫خطای‬
‫گیری‬
‫صفر‬ ‫فرض‬ ‫ما‬ ‫وقتی‬
‫به‬ ‫را‬
‫نفع‬
‫جایگزین‬ ‫فرض‬
(𝛽1 ≠ 0)
‫رد‬
، ‫میکنیم‬
‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬ ‫سه‬ ‫از‬ ‫یک‬ ‫هر‬
‫است‬
:
‫صفر‬ ‫فرض‬ ‫ما‬ ‫وقتی‬
(𝛽1 = 0)
‫را‬
‫رد‬
‫نکنیم‬
،
‫سه‬ ‫از‬ ‫یک‬ ‫هر‬
‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬
‫است‬
:
‫خطای‬
‫نوع‬
I
‫است‬ ‫داده‬ ‫رخ‬
.
‫واقعیت‬ ‫در‬ ‫یعنی‬
(𝛽1 = 0)
، ‫است‬
‫اما‬
‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫داریم‬ ‫غیرمعمول‬ ‫نمونه‬ ‫یک‬ ‫ما‬
(𝛽1 ≠ 0)
‫است‬
.
‫خطای‬
‫نوع‬
II
‫است‬ ‫داده‬ ‫رخ‬
.
‫یعنی‬
‫واقعیت‬ ‫در‬
(𝛽1 ≠ 0)
‫است‬
،
‫اما‬
‫ما‬ ‫نمونه‬ ‫های‬ ‫داده‬
‫شواهد‬
‫گیری‬ ‫نتیجه‬ ‫برای‬ ‫کافی‬
‫ارائه‬ ‫آن‬
‫نک‬
‫رده‬
‫اند‬
.
‫رابطه‬
‫بین‬
X
‫و‬
Y
،
‫خطی‬ ‫درستی‬ ‫به‬
‫است‬
. ‫زیادی‬ ‫رابطه‬ ‫واقع‬ ‫در‬
‫بین‬
X
‫و‬
Y
.
‫ب‬ ‫منحنی‬ ‫تابع‬ ‫یک‬ ‫اما‬ ، ‫است‬ ‫متناسب‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خطی‬ ‫تابع‬ ‫یک‬
‫داده‬ ‫ا‬
‫بود‬ ‫خواهد‬ ‫تر‬ ‫متناسب‬ ‫ها‬
.
‫بین‬
X
‫و‬
Y
، ‫دارد‬ ‫وجود‬ ‫رابطه‬
‫اما‬
‫نیست‬ ‫خطی‬
.


‫مثال‬
:
Sales = 𝛽0 + 𝛽1 ∗ TV + 𝜖
o 𝐻0 : 𝛽1 = 0
o 𝐻𝑎: 𝛽1 ≠ 0
• 𝑡 =
𝛽1− 𝛽1
SE(𝛽1)
=
0.0475 − 0
0.0027
= 17.59
•
‫معموال‬
‫حد‬
P_Value
‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
1
%
‫یا‬
5
%
‫در‬
‫میشود‬ ‫گرفته‬ ‫نظر‬
.
‫وقتی‬
n = 30
، ‫باشد‬
‫آماره‬
𝑡
‫با‬ ‫مطابق‬
‫تقریبا‬ ‫ترتیب‬ ‫به‬ ، ‫آنها‬
2.75
‫و‬
2
‫خواهد‬
‫بود‬
.
•
‫رد‬ ‫صفر‬ ‫فرض‬
‫میشود‬
.

‫ضرایب‬ ‫روی‬ ‫بر‬ ‫فرض‬ ‫آزمون‬

‫روش‬
‫آزمون‬
F
‫واریانس‬ ‫تحلیل‬
(
ANOVA
)
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬ ‫برای‬
:

X
Y

‫آیا‬
𝛽1 ≠ 0
‫است‬
‫؟‬
•
‫فرض‬
‫صفر‬
‫فرض‬ ‫و‬
‫مقابل‬
:
𝐻0 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0

•
𝑦
:
‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
•
𝑦
:
‫خط‬
‫برآورد‬ ‫رگرسیون‬
‫در‬ ‫شده‬
‫بین‬ ‫ای‬ ‫رابطه‬ ‫که‬ ‫حالتی‬
X
‫و‬
Y
‫نداشته‬ ‫وجود‬
‫باشد‬

‫اگر‬
‫بین‬
X
‫و‬
Y
‫پس‬ ، ‫باشد‬ ‫داشته‬ ‫وجود‬ ‫خطی‬ ‫رابطه‬
«
»
‫از‬ ‫باید‬
«
‫رابطه‬ ‫عدم‬ ‫خط‬
»
‫دور‬
‫باشد‬ ‫داشته‬
.

‫این‬ ‫کمی‬ ‫سنجش‬ ‫برای‬ ‫راهی‬ ‫به‬
‫دور‬
‫داریم‬ ‫نیاز‬
.

.I
‫مربعات‬ ‫مجموع‬
:
•
‫مجموع‬
‫کل‬ ‫مربعات‬
:
‫میزان‬
‫پاسخهای‬ ‫پراکندگی‬
‫مشاهده‬
‫می‬ ‫را‬ ‫شده‬
‫سن‬
‫جد‬
.
 SST = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
•
‫رگرسیون‬ ‫مربعات‬ ‫مجموع‬
:
‫میزان‬
‫فاصله‬
«
‫رگرسیون‬ ‫خط‬
‫برآورد‬
‫ش‬
‫ده‬
»
‫از‬
«
‫رابطه‬ ‫عدم‬ ‫خط‬
»
‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬
.
 SSR = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
•
‫خطا‬ ‫مربعات‬ ‫مجموع‬
:
‫اطراف‬ ‫در‬ ‫نقاط‬ ‫پراکندگی‬
«
‫برآو‬ ‫رگرسیون‬ ‫خط‬
‫رد‬
‫شده‬
»
‫میکند‬ ‫کمیت‬ ‫را‬
.
 SSE = 𝑖=1
𝑛

(𝑦𝑖−𝑦) = (𝑦𝑖−𝑦𝑖) + (𝑦𝑖 − 𝑦)
𝑖=1
𝑛
(𝑦𝑖−𝑦)2
= 𝑖=1
𝑛
+ 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
Proof : 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)(𝑦𝑖 − 𝑦) = 0
SST = SSR + SSE

‫در‬ ‫کل‬ ‫تغییرات‬
Y
(
SST
)
‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬
:
.A
‫در‬ ‫تغییرات‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬
X
‫است‬
(
SSR
.)
.B
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬
(
SSE
.)
•
‫اگر‬
SSR
‫جزء‬ ‫یک‬
«
‫بزرگ‬
»
‫از‬
SST
‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ، ‫باشد‬
‫بین‬
X
‫و‬
Y
‫دارد‬ ‫وجود‬ ‫خطی‬ ‫ارتباط‬
.

.II
‫مربعات‬ ‫میانگین‬
:
•
‫واریانس‬ ‫برآورد‬
‫است‬
‫آزادی‬ ‫درجه‬ ‫آن‬ ‫در‬ ‫که‬ ،
‫برای‬
‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫برآورد‬ ‫و‬ ‫محاسبه‬
.
‫مربعات‬ ‫میانگین‬ =
‫مربعات‬ ‫مجموع‬
‫آزادی‬ ‫درجه‬

.III
‫مقدار‬
‫مربعات‬ ‫میانگین‬ ‫انتظار‬ ‫مورد‬
:
 𝐸 𝑀𝑆𝐸 = 𝜎2
 𝐸 𝑀𝑆𝑅 = 𝜎2
+ 𝛽1
2
𝑖=1
𝑛
(𝑋𝑖 − 𝑋)2
 Proof :
• 𝑦𝑖 − 𝑦 = 𝛽1(𝑥𝑖 − 𝑥)
• 𝑦𝑖 − 𝑦 2
= 𝛽1
2
𝑥𝑖 − 𝑥 2
• 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
= 𝛽1
2
𝑖=1
𝑛
(𝑥𝑖 − 𝑥)2
• E 𝑖=1
𝑛
𝑦𝑖 − 𝑦 2
= E MSR = E 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
= 𝑉𝑎𝑟 𝛽1 + E 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
=
•
𝜎2
𝑖=1
𝑛
𝑥𝑖−𝑥 2 + 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
= 𝜎2
+ 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2


‫نسبت‬ ‫از‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫آزمودن‬ ‫برای‬
(𝐻0 ∶ 𝛽1 = 0)
‫برابر‬ ‫در‬
(𝐻𝑎 ∶ 𝛽1 ≠ 0)
‫کنیم‬ ‫می‬ ‫استفاده‬
:

‫اگر‬
𝛽1 = 0
‫داریم‬ ‫انتظار‬ ، ‫باشد‬
𝑀𝑆𝑅
𝑀𝑆𝐸
= 1
‫باشد‬
.

‫اگر‬
𝛽1 ≠ 0
‫داریم‬ ‫انتظار‬ ، ‫باشد‬
𝑀𝑆𝑅
𝑀𝑆𝐸
> 1
‫باشد‬
.
•
‫توجه‬
:
‫چون‬
𝛽1
‫در‬
𝐸 𝑀𝑆𝑅
‫از‬ ‫نمیتوانیم‬ ، ‫است‬ ‫دو‬ ‫توان‬ ‫دارای‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫آزمودن‬ ‫برای‬
(𝐻0 ∶ 𝛽1 = 0)
‫برابر‬ ‫در‬
(𝐻𝑎 ∶ 𝛽1 > 0)
‫یا‬
𝐻𝑎 ∶ 𝛽1 < 0
‫کنیم‬ ‫استفاده‬
.


،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
‫نسبت‬
𝑀𝑆𝑅
𝑀𝑆𝐸
F
‫صورت‬
‫برابر‬
1
‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬
(𝑛 − 2)
‫است‬
.
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸
•
‫را‬ ‫آماره‬ ‫این‬ ‫بر‬ ‫مبتنی‬ ‫آزمون‬
‫آزمون‬
F
‫گویند‬ ‫واریانس‬ ‫تحلیل‬
.

‫آزمون‬ ‫ی‬ ‫دنباله‬
‫صورت‬ ‫به‬ ‫ما‬ ‫آزمون‬ ‫برای‬ ‫مقابل‬ ‫فرض‬
(𝐻𝑎 ∶ 𝐹𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 > 1)
.

‫مقایسه‬
F_test
‫با‬
t_test
𝐻0 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0

‫آزمون‬
F
‫دنباله‬ ‫یک‬

‫آزمون‬
t
‫دنباله‬ ‫دو‬

‫سوال‬
:
‫چه‬
‫زمانی‬
‫آزمون‬ ‫از‬
F
‫و‬
‫از‬ ‫زمانی‬ ‫چه‬
‫آزمون‬
t
‫کنیم؟‬ ‫می‬ ‫استفاده‬
•
‫آزمون‬
F
‫فقط‬
‫آزمایش‬ ‫برای‬
(𝛽1 ≠ 0)
‫مناسب‬
‫است‬
.
•
‫از‬
‫آزمون‬
𝑡
‫برای‬
‫شیب‬ ‫بودن‬ ‫مثبت‬ ‫تست‬
(𝛽1 > 0)
‫شیب‬ ‫بودن‬ ‫منفی‬ ‫یا‬
(𝛽1 < 0)
‫شود‬ ‫می‬ ‫استفاده‬ ‫نیز‬
.

‫شرایط‬
‫استنباط‬
‫آماری‬

‫ی‬ ‫چهارگانه‬ ‫مفروضات‬
«
‫رابطه‬ ‫بودن‬ ‫خطی‬
»
،
«
‫خطا‬ ‫استقالل‬
»
،
«
‫خطا‬ ‫توزیع‬ ‫بودن‬ ‫نرمال‬
»
‫و‬
«
‫برابر‬ ‫واریانس‬
»
‫باید‬
‫آزمون‬ ‫های‬‫روش‬ ‫از‬ ‫بتوان‬ ‫تا‬ ‫شوند‬ ‫رعایت‬
‫و‬ ‫فرضیه‬
‫اطمینان‬ ‫فاصله‬ ‫های‬‫فرمول‬
‫برای‬
𝛽0
‫و‬
𝛽1
‫کرد‬
.

‫خطا‬ ‫عبارات‬ ‫اگر‬
(
‫ها‬ ‫پاسخ‬ ‫نتیجه‬ ‫در‬ ‫و‬
)
ً‫ا‬‫تقریب‬
‫نرمال‬
‫نیست‬ ‫بزرگی‬ ‫مشکل‬ ،‫باشند‬
.
‫د‬ ‫بزرگی‬ ‫نمونه‬ ‫اگر‬
،‫ارید‬
‫عبارات‬
‫حالت‬ ‫از‬ ‫حدودی‬ ‫تا‬ ‫تواند‬ ‫می‬ ‫حتی‬ ‫خطا‬
‫نرمال‬
‫منحرف‬
‫شوند‬
.

‫مدل‬ ‫دقت‬ ‫ارزیابی‬
•
‫است‬ ‫خوب‬ ‫چقدر‬ ‫ما‬ ‫تخمینی‬ ‫مدل‬ ‫برازش‬ ‫که‬ ‫بدانیم‬ ‫مایلیم‬ ،‫شد‬ ‫کامل‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫برآورد‬ ‫که‬ ‫هنگامی‬
.
‫دیگ‬ ‫عبارت‬ ‫به‬
‫مایلیم‬ ،‫ر‬
‫داده‬ ‫با‬ ‫چقدر‬ ‫تخمینی‬ ‫خط‬ ‫که‬ ‫بدانیم‬
‫ها‬
/
‫مطابقت‬ ‫شده‬ ‫مشاهده‬ ‫های‬ ‫نمونه‬
‫دارد‬
.
•
«
‫میزان‬
‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬
‫ها‬
»
‫نشان‬
‫دهنده‬
«
‫میزان‬
‫بینی‬ ‫پیش‬ ‫دقت‬
‫مدل‬
»
.
•
‫بر‬
‫است‬ ‫تر‬ ‫سخت‬ ‫کمی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫دقت‬ ‫دادن‬ ‫نشان‬ ، ‫بندی‬ ‫طبقه‬ ‫خالف‬
.
•
‫اکنون‬
‫ریاضی‬ ‫مدل‬ ‫یک‬ ‫که‬
(
‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫خط‬
)
‫می‬ ،‫کنیم‬ ‫استفاده‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫آن‬ ‫از‬ ‫توانیم‬‫می‬ ‫که‬ ‫داریم‬
‫خواهیم‬
‫بدانیم‬
:
‫این‬
‫توانیم‬‫می‬ ‫چگونه‬ ‫و‬ ‫هستند‬ ‫خوب‬ ‫چقدر‬ ‫ها‬‫بینی‬‫پیش‬
‫گیری‬‫اندازه‬ ‫را‬ ‫مدل‬ ‫بینی‬ ‫پیش‬ ‫خطای‬
‫کنیم‬
‫؟‬
•
‫دهد‬ ‫می‬ ‫انجام‬ ‫اصلی‬ ‫های‬ ‫داده‬ ‫با‬ ‫مقایسه‬ ‫در‬ ‫مدل‬ ‫که‬ ‫است‬ ‫اشتباهی‬ ‫خطا‬
.

‫مدل‬ ‫دقت‬ ‫ارزیابی‬

‫ابزارهای‬
‫میزان‬ ‫سنجش‬
‫ها‬ ‫داده‬ ‫با‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫تناسب‬
:
.A
‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬
(
RSE
)
.B
، ‫تعیین‬ ‫ضریب‬
𝑅2
•
‫استفاده‬ ‫تناسب‬ ‫معیار‬ ‫کدام‬ ‫اینکه‬
‫شود‬
‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬ ‫مدل‬ ‫خطای‬ ‫محاسبه‬ ‫نحوه‬ ،
.

‫خطای‬

‫خطای‬
(
RSE
)
:
Y = 𝛽0 + 𝛽1X + 𝜖
•
‫اگر‬ ‫حتی‬
𝛽0
‫و‬
𝛽1
‫نمیتوان‬ ، ‫باشند‬ ‫مشخص‬
Y
‫از‬ ‫دقیق‬ ‫صورت‬ ‫به‬ ‫را‬
X
‫کرد‬ ‫بینی‬ ‫پیش‬
.

‫انحراف‬ ‫از‬ ‫برآوردی‬
‫معیار‬
𝜖
‫است‬
.

‫رگرسیون‬ ‫خط‬ ‫از‬ ‫پاسخ‬ ‫که‬ ‫متوسطی‬ ‫مقدار‬
‫منحرف‬ ‫جمعیت‬
‫میکند‬ ‫توصیف‬ ‫را‬ ‫شود‬ ‫می‬
.
• RSE =
𝜖1
2
+𝜖2
2
+⋯+𝜖𝑛
2
𝑛−2
= 𝑖=1
𝑛 (𝑦𝑖−𝑦𝑖)2
𝑛−2

‫خطای‬

‫مقدار‬ ‫چرا‬
RSE
‫؟‬ ‫است‬ ‫مهم‬ ‫ما‬ ‫برای‬
•
‫برای‬
‫پیش‬ ‫دقت‬ ‫میزان‬ ‫مورد‬ ‫در‬ ‫ای‬ ‫ایده‬ ‫آوردن‬ ‫دست‬ ‫به‬
‫اهمیت‬ ‫آینده‬ ‫های‬ ‫بینی‬
‫دارد‬
.
•
‫اندازه‬ ‫اگر‬
RSE
،
‫حتی‬
‫اگر‬
𝛽0
‫و‬
𝛽1
‫نمیتوان‬ ، ‫باشد‬ ‫مشخص‬
𝑌
‫را‬
‫از‬ ‫خوبی‬ ‫دقت‬ ‫با‬
𝑋
‫کرد‬ ‫بینی‬ ‫پیش‬
.

‫خطای‬

RSE
‫میشود‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫ها‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬ ‫عدم‬ ‫برای‬ ‫معیاری‬ ‫عنوان‬ ‫به‬
.

‫شود‬ ‫تلقی‬ ‫بزرگ‬ ، ‫قبول‬ ‫قابل‬ ‫غیر‬ ‫طور‬ ‫به‬ ‫آن‬ ‫مقدار‬ ‫اگر‬
‫از‬
‫استفاده‬ ‫خطی‬ ‫رگرسیون‬ ‫از‬ ‫غیر‬ ‫مدلی‬
‫کنید‬
.

‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
‫برای‬
‫تفسیر‬
RSE
،
‫نیاز‬
‫ها‬ ‫مقیاس‬ ‫و‬ ‫ها‬ ‫اندازه‬ ‫کلی‬ ‫شناخت‬ ‫به‬
‫داریم‬
.

‫ضریب‬
‫تعیین‬

‫تعیین‬ ‫ضریب‬
،
𝑅2
:

‫اول‬ ‫موقعیت‬
:
‫بین‬ ‫ضعیف‬ ‫خطی‬ ‫رابطه‬
X
‫و‬
Y

‫شیب‬
«
‫خط‬
‫برآورد‬ ‫رگرسیون‬
‫شده‬
»
‫پ‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫این‬ ، ‫نیست‬ ‫تند‬ ‫خیلی‬
‫بینی‬ ‫یش‬
‫کننده‬
𝑥
،
‫پاسخ‬ ‫متوسط‬ ‫در‬ ‫چندانی‬ ‫تغییر‬
𝑦
‫شود‬ ‫نمی‬ ‫ایجاد‬
.

‫ذاتی‬ ‫خطای‬
‫بزرگ‬
،
‫یعنی‬
ߪ
2
= 𝑉𝑎𝑟(𝜖)
‫بزرگ‬ ‫اندازه‬ ‫با‬

‫دوم‬ ‫موقعیت‬
:
‫بین‬ ‫قوی‬ ‫خطی‬ ‫رابطه‬
X
‫و‬
Y

‫شیب‬
‫پی‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫و‬ ‫است‬ ‫شدیدتر‬ ‫بسیار‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
‫بینی‬ ‫ش‬
‫کننده‬
𝑥
‫تغییر‬ ،
ً‫ا‬‫نسبت‬
‫پاسخ‬ ‫در‬ ‫توجهی‬ ‫قابل‬
𝑦
.

‫ذاتی‬ ‫خطای‬
‫کوچک‬
(
‫خط‬ ، ‫داده‬ ‫نقاط‬
𝑦
‫آغوش‬ ‫در‬ ‫را‬
‫می‬
‫گیرند‬
.)
•
‫بتواند‬ ‫که‬ ‫هستیم‬ ‫معیاری‬ ‫دنبال‬ ‫به‬
، ‫متفاوت‬ ‫بسیار‬ ‫موقعیت‬ ‫دو‬ ‫این‬ ‫بین‬
‫تمایز‬
‫قائل‬
‫شود‬
.

‫ضریب‬
‫تعیین‬

𝑦
:
«
»
• 𝑦 = 𝛽0 + 𝛽1𝑥

𝑦
:
«
‫عدم‬ ‫خط‬
‫رابطه‬
»
،
‫دهنده‬ ‫نشان‬
«
‫برآورد‬ ‫رگرسیون‬ ‫خط‬
‫شده‬
»
‫در‬
‫ک‬ ‫حالتی‬
‫ه‬
‫بین‬ ‫ای‬ ‫رابطه‬
X
‫و‬
Y
‫نداشته‬ ‫وجود‬
‫باشد‬
• 𝑦 = 𝑖=1
𝑛
𝑦𝑖
𝑛

‫ضریب‬
‫تعیین‬
(𝑦𝑖−𝑦) = (𝑦𝑖−𝑦𝑖) + (𝑦𝑖 − 𝑦)
𝑖=1
𝑛
(𝑦𝑖−𝑦)2
= 𝑖=1
𝑛
+
𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
SST = SSE + SSR
•
‫در‬ ‫تغییر‬
y
(
‫یعنی‬
𝑦𝑖 − 𝑦
)
‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬
:

𝑦𝑖 − 𝑦
:
‫متغیرمستقل‬ ‫با‬ ‫که‬ ‫بخشی‬
x
‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
(
‫قابل‬ ‫بخش‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬
.)

𝑦𝑖 − 𝑦𝑖
:
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخشی‬
(
‫غیرقابل‬ ‫بخش‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬
.)
•
𝑅2
‫تغییرات‬ ‫از‬ ‫کسری‬
Y
‫که‬ ‫است‬
‫توسط‬
‫داده‬ ‫توضیح‬ ‫مدل‬
‫میشود‬
(
‫با‬
‫متغیرمستقل‬
‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
: )
𝑅2
=
‫توضیح‬ ‫قابل‬ ‫تغییرات‬
‫کل‬ ‫تغییرات‬
𝑅2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
𝑖=1
𝑛 (𝑦𝑖−𝑦)2 = 1 − 𝑖=1
𝑛
𝑖=1
𝑛 (𝑦𝑖−𝑦)2

‫ضریب‬
‫تعیین‬
• 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
: SST
• 𝑖=1
𝑛
: SSE
 R2 =
𝑆𝑆𝑅
𝑆𝑆𝑇
=
SST −SSE
SST
= 1 −
SSE
SST

0 ≤ R2 ≤ 1
•
R2
‫بین‬ ‫مقداری‬ ‫همیشه‬
0
‫تا‬
1
، ‫دارد‬
‫از‬ ‫مستقل‬ ‫آن‬ ‫تفسیر‬ ‫که‬ ‫معنی‬ ‫این‬ ‫به‬
‫داده‬ ‫معیار‬
‫هاست‬
.

R2
= 1
:
‫که‬ ‫معناست‬
‫هیچ‬
‫در‬ ‫خطایی‬
‫ندارد‬ ‫وجود‬ ‫رگرسیون‬ ‫خط‬
(
𝑖=1
𝑛
= 0
)
.

R2
= 0
:
‫به‬
‫که‬ ‫معناست‬ ‫این‬
‫بهتر‬ ‫رگرسیون‬ ‫خط‬
‫نیست‬ ‫متوسط‬ ‫اندازه‬ ‫از‬
(
𝑖=1
𝑛
= 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
)
،
‫از‬ ‫یعنی‬
‫اطالعات‬
‫استفاده‬ ‫متغیرمستقل‬
‫نمی‬
‫شود‬
.

R2
‫بزرگ‬
(
‫یک‬ ‫به‬ ‫نزدیک‬
)
:
‫تغییرات‬ ‫از‬ ‫زیادی‬ ‫بخش‬ ‫که‬ ‫میدهد‬ ‫نشان‬
Y
‫میشود‬ ‫داده‬ ‫توضیح‬ ‫مدل‬ ‫توسط‬
(
X
‫بخش‬ ‫میتوان‬
‫رفتار‬ ‫از‬ ‫زیادی‬
Y
‫کرد‬ ‫بینی‬ ‫پیش‬ ‫را‬
.)

R2
‫کوچک‬
(
‫صفر‬ ‫به‬ ‫نزدیک‬
)
:
‫تغییرات‬ ‫نمیتواند‬ ‫رگرسیون‬ ‫مدل‬ ‫که‬ ‫میدهد‬ ‫نشان‬
Y
‫دهد‬ ‫توضیح‬ ‫خوبی‬ ‫به‬ ‫را‬
(
‫مدل‬ ‫بینی‬ ‫پیش‬ ‫به‬ ‫توان‬ ‫نمی‬
‫کرد‬ ‫اعتماد‬
)
‫؛‬
‫مدل‬ ‫است‬ ‫ممکن‬
‫اشتباه‬
‫خطای‬ ‫یا‬ ‫باشد‬
‫ذاتی‬
𝜎2
= Var(𝜖)
‫بزرگ‬
، ‫باشد‬
‫دو‬ ‫هر‬ ‫یا‬
.
•
‫نیست‬ ‫معلولی‬ ‫و‬ ‫علت‬ ‫رابطه‬ ‫وجود‬ ‫ضامن‬ ‫باال‬ ‫تعیین‬ ‫ضریب‬
.

‫ضریب‬
‫تعیین‬

‫است‬ ‫ممکن‬ ‫آیا‬
R2
‫منفی‬
‫باشد؟‬
(
𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2 > 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
)
•
‫اگر‬
‫مقدار‬ ، ‫باشد‬ ‫میانگین‬ ‫مقدار‬ ‫از‬ ‫استفاده‬ ‫از‬ ‫بدتر‬ ‫رگرسیون‬ ‫خط‬
R2
‫خواهد‬ ‫منفی‬ ‫شده‬ ‫محاسبه‬
‫بود‬
.
•
‫کمترین‬ ، ‫عملی‬ ‫کاربردهای‬ ‫در‬
R2
‫است‬ ‫صفر‬ ‫کنید‬ ‫دریافت‬ ‫توانید‬ ‫می‬ ‫که‬
.
•
‫معمولی‬ ‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫کار‬ ‫نحوه‬
(
OLS regression
)
‫مشخصی‬ ‫نقطه‬ ‫از‬ ‫که‬ ‫میکند‬ ‫ایجاد‬ ‫خط‬ ‫یک‬ ‫که‬ ‫است‬ ‫صورت‬ ‫این‬ ‫به‬
‫است‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬ ، ‫حالت‬ ‫این‬ ‫در‬ ‫و‬ ‫میگذرد‬
.
•
‫از‬ ‫رگرسیون‬ ‫معادالت‬ ، ‫فرض‬ ‫پیش‬ ‫طور‬ ‫به‬
(𝑥,𝑦)
‫آمده‬ ‫بدست‬ ‫خط‬ ، ‫میکنند‬ ‫استفاده‬ ‫گذرد‬ ‫می‬ ‫آن‬ ‫از‬ ‫رگرسیون‬ ‫خط‬ ‫که‬ ‫ای‬ ‫نقطه‬ ‫عنوان‬ ‫به‬
‫مقدار‬ ‫باالترین‬ ‫و‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬
R2
‫است‬ ‫ممکن‬
.
‫برای‬ ‫منفی‬ ‫مقدار‬ ‫یک‬ ‫توانید‬ ‫نمی‬ ‫شرایط‬ ‫این‬ ‫در‬
R2
‫بدست‬
‫آورید‬
.
•
‫ا‬ ‫گذر‬ ‫با‬ ‫را‬ ‫خطا‬ ‫کمترین‬ ‫که‬ ‫کنید‬ ‫می‬ ‫دریافت‬ ‫را‬ ‫خطی‬ ‫همچنان‬ ، ‫کنید‬ ‫مشخص‬ ‫رگرسیون‬ ‫خط‬ ‫عبور‬ ‫برای‬ ‫را‬ ‫متفاوتی‬ ‫نقطه‬ ‫اگر‬
‫نقطه‬ ‫آن‬ ‫ز‬
‫است‬ ‫خوب‬ ‫خط‬ ‫آن‬ ‫که‬ ‫نیست‬ ‫معنا‬ ‫آن‬ ‫به‬ ‫این‬ ‫اما‬ ، ‫کند‬ ‫می‬ ‫ایجاد‬
!!
•
‫به‬ ‫باعث‬ ‫است‬ ‫ممکن‬ ‫که‬ ‫راههایی‬ ‫از‬ ‫یکی‬
‫دست‬
‫آمدن‬
‫مقدار‬
‫برای‬ ‫منفی‬
R2
‫است‬ ‫این‬ ‫شود‬
‫رگرسیون‬ ‫خط‬ ‫که‬
‫را‬
‫خاص‬ ‫نقطه‬ ‫یک‬ ‫از‬ ‫عبور‬ ‫به‬
‫کنید‬ ‫الزام‬
(
‫از‬ ‫عرض‬ ‫تنظیم‬ ‫با‬ ً‫ال‬‫معمو‬
‫مبدا‬
.)

‫ضریب‬
‫تعیین‬

‫ضریب‬
‫تعیین‬

‫مثال‬
:
•
‫عرض‬
‫خط‬ ‫دو‬ ‫هر‬ ‫برای‬ ‫مبدا‬ ‫از‬
‫تعیین‬ ‫صفر‬
‫است‬ ‫شده‬
.
•
‫برای‬
‫نقاط‬
‫ز‬ ‫ممکن‬ ‫رگرسیون‬ ‫خط‬ ‫بهترین‬ ‫از‬ ‫فاصله‬ ‫این‬ ، ‫آبی‬
‫یاد‬
‫مقدار‬ ‫بنابراین‬ ‫و‬ ، ‫نیست‬
R2
‫است‬ ‫مثبت‬
.
•
‫برای‬
‫نقاط‬
، ‫قرمز‬
‫حدود‬ ‫در‬ ‫باید‬ ‫واقعی‬
120
، ‫باشد‬
‫رگرسیون‬ ‫خط‬ ‫بنابراین‬
‫باش‬ ‫باید‬ ‫که‬ ‫جایی‬ ‫از‬ ‫دورتر‬ ‫بسیار‬
، ‫د‬
‫تنظیم‬
‫است‬ ‫شده‬
.
‫که‬ ‫است‬ ‫این‬ ‫نتیجه‬
‫رگرسیون‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬
‫م‬ ‫بنابراین‬ ‫و‬ ‫است‬ ‫میانگین‬ ‫از‬ ‫شده‬ ‫استفاده‬ ‫مقدار‬ ‫از‬ ‫بیشتر‬
‫قدار‬
R2
‫منفی‬
‫است‬
.
•
‫که‬ ‫زمانی‬
R2
‫است‬ ‫منفی‬
‫هر‬ ‫میتوانید‬
‫اس‬ ‫که‬ ‫رگرسیونی‬ ‫محاسبه‬
‫تفاده‬
‫کنار‬ ‫را‬ ‫کنید‬ ‫می‬
‫و‬ ‫بگذارید‬
‫پیش‬ ‫متوسط‬ ‫مقدار‬ ‫با‬ ‫فقط‬
‫برو‬
‫ید‬
!!

‫همبستگی‬ ‫ضریب‬ ‫و‬ ‫تعیین‬ ‫ضریب‬
•
،
‫قدرت‬
‫مدل‬ ‫دهندگی‬ ‫توضیح‬
‫را‬
‫دهد‬‫می‬ ‫نشان‬
.
•
‫یک‬ ‫تعیین‬ ‫ضریب‬
‫آماری‬ ‫مقیاس‬
‫رویداد‬ ‫یک‬ ‫نتیجه‬ ‫بینی‬ ‫پیش‬ ‫هنگام‬ ‫کند‬ ‫می‬ ‫بررسی‬ ‫که‬ ‫است‬
‫معین‬
،
‫چگونه‬
‫ت‬
‫یک‬ ‫در‬ ‫فاوت‬
‫در‬ ‫تفاوت‬ ‫با‬ ‫توان‬ ‫می‬ ‫را‬ ‫متغیر‬
‫متغیر‬
(
‫های‬
)
‫داد‬ ‫توضیح‬ ‫کننده‬ ‫بینی‬ ‫پیش‬
.
•
‫با‬ ‫آن‬ ‫ارتباط‬ ‫از‬ ‫ناشی‬ ‫تواند‬ ‫می‬ ‫عامل‬ ‫یک‬ ‫بودن‬ ‫متغیر‬ ‫چقدر‬ ‫اینکه‬ ‫توضیح‬ ‫برای‬ ‫تعیین‬ ‫ضریب‬
‫عوامل‬
‫ب‬ ‫دیگر‬
‫می‬ ‫استفاده‬ ‫اشد‬
‫شود‬
.
•
‫وقتی‬
‫بینی‬ ‫پیش‬ ‫یک‬ ‫فقط‬
‫در‬ ‫کننده‬
‫آماره‬ ،‫شود‬ ‫گنجانده‬ ‫مدل‬
𝑅2
‫معیاری‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫همبستگی‬ ‫ضریب‬
،
𝑟
،
‫همچنین‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬ ‫معیاری‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫در‬
‫خطی‬ ‫رگرسیون‬ ‫تنظیم‬
‫ساده‬
،
𝑅2
= 𝑟2
.
•
‫از‬ ‫میتوانیم‬
𝑟 = 𝐶𝑜𝑟(𝑋,𝑌)
‫به‬
‫جای‬
𝑅2
‫برای‬
‫مدل‬ ‫برازش‬ ‫ارزیابی‬
‫ساده‬ ‫خطی‬
‫کنیم‬ ‫استفاده‬
.

‫ضریب‬
‫همبستگی‬

‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬
(
𝑟
)
:
•
‫کردن‬ ‫ی‬ّ‫م‬‫ک‬ ‫برای‬
‫خطی‬ ‫رابطه‬
‫بین‬
‫متغیر‬ ‫دو‬
‫میشود‬
.
•
‫رابطه‬ ‫جهت‬ ‫همچنین‬ ‫و‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫ی‬ ‫رابطه‬ ‫شدت‬
(
‫معکوس‬ ‫یا‬ ‫مستقیم‬
)
‫دهد‬‫می‬ ‫نشان‬ ‫را‬
.

‫کوواریانس‬
:
•
‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫معیاری‬
‫با‬ ‫چگونه‬
‫هم‬
‫کنند‬ ‫می‬ ‫پیدا‬ ‫تغییر‬
.
•
‫متغیر‬ ‫دو‬ ‫هر‬ ‫برای‬ ‫همزمان‬ ‫طور‬ ‫به‬ ‫را‬ ‫میانگین‬ ‫از‬ ‫انحراف‬ ‫کوواریانس‬ ‫در‬ ‫ولی‬ ‫است‬ ‫واریانس‬ ‫مشابه‬ ‫کوواریانس‬
𝑋
‫و‬
𝑌
‫کنیم‬‫می‬ ‫محاسبه‬
.
• 𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 − 𝐸 𝑋
2
=
1
𝑛−1 𝑖=1
𝑛
(𝑥𝑖 − 𝑥)2
• 𝐶𝑜𝑣 𝑋, 𝑌 = 𝐸 𝑋 − 𝐸 𝑋 𝑌 − 𝐸 𝑌 =
1
𝑛−1 𝑖=1
𝑛
(𝑥𝑖 − 𝑥)(𝑦𝑖 − 𝑦)
•
‫مقدار‬
‫مت‬ ‫دو‬ ‫بین‬ ‫منفی‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫منفی‬ ‫مقدار‬ ‫که‬ ‫حالی‬ ‫در‬ ‫است‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫مثبت‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫کواریانس‬ ‫مثبت‬
‫است‬ ‫غیر‬
.

‫ضریب‬
‫تغییرپذیری‬
‫توأم‬
𝑋
‫و‬
𝑌 ‫تغییرپذیری‬
𝑋

‫ضریب‬
•
‫خطی‬ ‫رابطه‬ ‫در‬ ‫گرایش‬ ‫نوع‬ ‫دهنده‬‫نشان‬ ‫کوواریانس‬ ‫عالمت‬
‫است‬ ‫متغیرها‬ ‫بین‬
:

‫مثبت‬
(
‫دارد‬ ‫غلبه‬ ‫قرمز‬ ‫بر‬ ‫آبی‬
)
:
‫دو‬
‫د‬ ‫تمایل‬ ‫متغیر‬
‫ارند‬
‫کنند‬ ‫حرکت‬ ‫جهت‬ ‫یک‬ ‫در‬
.

‫منفی‬
(
‫دارد‬ ‫غلبه‬ ‫آبی‬ ‫بر‬ ‫قرمز‬
)
:
‫د‬ ‫تمایل‬ ‫متغیر‬ ‫دو‬
‫ارند‬
‫حرکت‬ ‫معکوس‬ ‫جهت‬ ‫در‬
‫کنند‬
.

‫صفر‬
:
‫ندارند‬ ‫هم‬ ‫به‬ ‫خطی‬ ‫وابستگی‬ ‫متغیرها‬
.

‫ضریب‬
•
‫بست‬ ‫متغیرها‬ ‫معیار‬ ‫به‬ ‫رو‬ ‫این‬ ‫از‬ ،‫است‬‫نشده‬ ‫سازی‬‫نرمال‬ ‫کوواریانس‬ ‫زیرا‬ ‫نیست‬ ‫ساده‬ ‫کوواریانس‬ ‫اندازه‬ ‫تفسیرکردن‬
‫دارد‬ ‫گی‬
.

‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬
(
𝑟
: )
• 𝑟 = 𝐶𝑜𝑟𝑟 𝑋, 𝑌 =
𝐶𝑜𝑣(𝑋,𝑌)
𝜎𝑋𝜎𝑌
=
𝐸[(𝑋−𝐸(𝑋))(𝑌−𝐸(𝑌))]
𝜎𝑋𝜎𝑌
= 𝑖=1
𝑛
𝑖=1
𝑛 (𝑥𝑖−𝑥)2
𝑖=1
𝑛 (𝑦𝑖−𝑦)2

‫یکی‬
‫مزایای‬ ‫از‬
𝑟
‫واحد‬ ‫بدون‬ ‫که‬ ‫است‬ ‫این‬
‫است‬
.

‫می‬ ‫توصیف‬ ‫را‬ ‫دیگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫متغیر‬ ‫یک‬ ‫حرکت‬ ‫نحوه‬ ‫همبستگی‬ ‫ضریب‬
‫کند‬
.

‫سنجد‬‫می‬ ‫را‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫همبستگی‬ ‫میزان‬
.

‫منظور‬
‫است‬ ‫دیگری‬ ‫برحسب‬ ‫یکی‬ ‫مقدار‬ ‫بینی‬‫پیش‬ ‫قابلیت‬ ،‫متغیر‬ ‫دو‬ ‫بین‬ ‫همبستگی‬ ‫ضریب‬ ‫از‬
.

‫ضریب‬

‫از‬
‫می‬ ‫استفاده‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫رابطه‬ ‫قدرت‬ ‫گیری‬ ‫اندازه‬ ‫برای‬ ‫همبستگی‬ ‫ضرایب‬
‫شود‬
.
‫کلی‬ ‫بطور‬
:

‫اگر‬
𝑟 = −1
‫باشد‬
‫بین‬ ،
𝑋
‫و‬
𝑌
‫دارد‬ ‫وجود‬ ‫کامل‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ‫یک‬
.

‫اگر‬
𝑟 = 1
‫باشد‬
‫بین‬ ،
𝑋
‫و‬
𝑌
‫دارد‬ ‫وجود‬ ‫کامل‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ‫یک‬
.

‫اگر‬
𝑟 = 0
‫باشد‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ،
𝑋
‫و‬
𝑌
.

‫دیگر‬ ‫مقادیر‬ ‫همه‬
𝑟
‫بین‬ ‫رابطه‬ ‫که‬ ‫گویند‬ ‫می‬ ‫ما‬ ‫به‬
𝑋
‫و‬
𝑌
‫نیست‬ ‫کامل‬
.
‫هرچه‬
𝑟
‫به‬
0
‫است‬ ‫تر‬ ‫ضعیف‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
.
‫هرچه‬
r
‫به‬
−1
‫است‬ ‫تر‬ ‫قوی‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
.
‫هرچه‬ ‫و‬
𝑟
‫به‬
1
‫تر‬ ‫قوی‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
‫است‬
.

‫مهم‬ ‫نکات‬
:

‫برای‬ ‫تنها‬
«
»
‫بین‬
«
‫متغیر‬ ‫دو‬
»
‫معنا‬
‫دارد‬
(
‫چندگانه‬ ‫رگرسیون‬ ‫در‬
R2
‫میکند‬ ‫پر‬ ‫را‬ ‫نقش‬ ‫این‬
.)

‫نمی‬ ‫نتیجه‬ ‫را‬ ‫علیت‬
‫دهد‬
.

‫شود‬ ‫قائل‬ ‫تفاوت‬ ‫مستقل‬ ‫و‬ ‫وابسته‬ ‫متغیرهای‬ ‫بین‬ ‫تواند‬ ‫نمی‬
.

‫همبستگی‬ ‫ضریب‬

‫نکته‬
:
‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫اگر‬
𝑋
‫و‬
𝑌
‫است‬ ‫صفر‬ ‫آنها‬ ‫کواریانس‬ ‫آنگاه‬ ‫باشند‬ ‫مستقل‬
.
‫م‬ ‫این‬ ‫به‬ ،‫نیست‬ ‫صحیح‬ ‫موضوع‬ ‫این‬ ‫عکس‬
‫که‬ ‫عنا‬
‫نباشند‬ ‫هم‬ ‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫آن‬ ً‫ا‬‫الزام‬ ‫ولی‬ ‫باشد‬ ‫صفر‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫کواریانس‬ ‫است‬ ‫ممکن‬
.

‫تفسیر‬ ‫در‬ ‫احتیاط‬
𝑅2

‫شماره‬ ‫احتیاط‬
1
:
•
‫ضریب‬
‫تعیین‬
𝑅2
‫همبستگی‬ ‫ضریب‬ ‫و‬
𝑟
‫یک‬ ‫قدرت‬
«
»
‫کنند‬ ‫می‬ ‫کمی‬ ‫را‬
.
•
‫است‬ ‫ممکن‬
𝑟 = 0
‫و‬
𝑅2
= 0
‫دهد‬ ‫نشان‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ‫که‬
𝑥
‫و‬
𝑦
‫وجود‬
‫یک‬ ‫حال‬ ‫عین‬ ‫در‬ ‫و‬ ،‫ندارد‬
«
‫منحنی‬ ‫رابطه‬
»
‫باشد‬ ‫داشته‬ ‫وجود‬
.
•
‫معیارها‬ ‫است‬ ‫ممکن‬ ‫رو‬ ‫روبه‬ ‫مثال‬ ‫در‬
‫تفسیر‬ ‫اشتباه‬ ‫را‬
‫کنید‬
‫نتیجه‬ ‫این‬ ‫به‬ ‫و‬
‫ب‬
‫رسید‬
‫که‬
‫بین‬ ‫ای‬ ‫رابطه‬ ‫هیچ‬
𝑥
‫و‬
𝑦
.
‫این‬ ،‫اما‬
‫درست‬
‫نیست‬
!
‫رابطه‬ ‫یک‬ ‫واقع‬ ‫در‬
‫بین‬ ‫کامل‬ ‫منحنی‬
𝑥
‫و‬
𝑦
-
‫فقط‬
‫نیست‬ ‫خطی‬
.

‫پایین‬ ‫نمودار‬ ‫در‬
:

𝑅2
= 100%
‫تغییرات‬ ‫تمام‬ ‫که‬ ‫میدهد‬ ‫نشان‬
𝑦
‫داد‬ ‫توضیح‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫توسط‬
‫ه‬
‫میشود‬
.

𝑟 = 0
‫که‬ ‫میدهد‬ ‫نشان‬
‫ای‬ ‫رابطه‬ ‫اگر‬
‫بین‬
𝑥
‫و‬
𝑦
‫وجود‬
‫نیست‬ ‫خطی‬ ،‫باشد‬ ‫داشته‬
.

𝑅2

2
:
•
‫مقدار‬ ‫یک‬
𝑅2
‫رگ‬ ‫خط‬ ‫که‬ ‫شود‬ ‫تفسیر‬ ‫معنا‬ ‫این‬ ‫به‬ ‫نباید‬ ‫بزرگ‬
‫رسیون‬
‫دارد‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خوبی‬ ‫به‬ ‫شده‬ ‫زده‬ ‫تخمین‬
.
‫مم‬ ‫دیگری‬ ‫تابع‬
‫کن‬
‫کند‬ ‫توصیف‬ ‫بهتر‬ ‫را‬ ‫ها‬ ‫داده‬ ‫روند‬ ‫است‬
.
•
‫مقدار‬
𝑅2
‫بزرگ‬
‫که‬ ‫میدهد‬ ‫نشان‬
‫ر‬ ‫وابسته‬ ‫متغیر‬ ‫خواهید‬ ‫می‬ ‫اگر‬
‫ا‬
‫بگی‬ ‫نظر‬ ‫در‬ ‫را‬ ‫متغیرمستقل‬ ‫است‬ ‫بهتر‬ ، ‫کنید‬ ‫بینی‬ ‫پیش‬
‫تا‬ ‫رید‬
‫نه‬
.
‫اما‬
‫هنوز‬ ‫آیا‬ ‫که‬ ‫نمیدهد‬ ‫نشان‬
‫می‬ ‫هم‬
‫توان‬
‫عمل‬ ‫بهتر‬
‫کرد‬
.
•
‫است‬ ‫ممکن‬ ‫منحنی‬ ‫کردن‬ ‫رسم‬
‫ساده‬ ‫خالصه‬ ‫معیار‬ ‫یک‬ ‫از‬ ‫بیشتر‬
‫مانند‬
𝑟
‫یا‬
𝑅2
‫باشد‬ ‫کننده‬ ‫کمک‬
.

𝑅2

3
:
•
𝑅2
‫همبستگی‬ ‫ضریب‬ ‫و‬
𝑟
‫تأثیر‬ ‫تحت‬ ‫شدت‬ ‫به‬ ‫توانند‬ ‫می‬ ‫دو‬ ‫هر‬
‫داده‬ ‫نقطه‬ ‫یک‬
(
‫داده‬ ‫نقطه‬ ‫چند‬ ‫یا‬
)
‫گیرند‬ ‫قرار‬
.
•
‫توجه‬ ‫رو‬ ‫به‬ ‫رو‬ ‫مثال‬ ‫در‬
‫نقطه‬ ‫یک‬ ‫حذف‬ ‫با‬ ‫فقط‬ ‫که‬ ‫باشید‬ ‫داشته‬
‫داده‬
‫غیرعا‬
، ‫دی‬
‫تخمینی‬ ‫خط‬ ‫شیب‬
‫مثبت‬ ‫از‬
‫به‬
‫منفی‬
‫تغییر‬
‫می‬
‫کند‬
.
•
‫می‬
‫که‬ ‫کرد‬ ‫استدالل‬ ‫توان‬
‫مجموعه‬ ‫این‬
‫داده‬
‫برای‬
‫نتیجه‬
‫بسیار‬ ‫گیری‬
‫کوچ‬
‫ک‬
‫است‬
.

‫بازاریابی‬ ‫برنامه‬

‫دیتاست‬
Advertising
‫شامل‬
‫در‬ ‫آن‬ ‫برای‬ ‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫و‬ ‫مشخص‬ ‫کاالی‬ ‫یک‬ ‫فروش‬ ‫میزان‬
200
‫مختلف‬ ‫مارکت‬
‫است‬
.

‫تلویزیون‬ ‫مختلف‬ ‫ی‬ ‫رسانه‬ ‫سه‬ ‫در‬ ‫تبلیغ‬ ‫ها‬ ‫مارکت‬ ‫این‬ ‫از‬ ‫هریک‬ ‫در‬
،
‫میگیرد‬ ‫انجام‬ ‫روزنامه‬ ‫و‬ ‫رادیو‬
.

‫دیتا‬ ‫اساس‬ ‫بر‬ ‫تا‬ ‫میشود‬ ‫درخواست‬ ‫ما‬ ‫از‬ ‫و‬ ‫هستیم‬ ‫آماری‬ ‫مشاوران‬ ‫ما‬ ‫کنید‬ ‫فرض‬
،
‫پیشنها‬ ‫آینده‬ ‫سال‬ ‫برای‬ ‫بازاریابی‬ ‫برنامه‬ ‫یک‬
‫دهیم‬ ‫د‬
.

‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

:
Y
‫مستقل‬ ‫متغیر‬ ‫یک‬ ‫تنها‬ ‫اساس‬ ‫بر‬
.
Y = 𝛽0 + 𝛽1𝑋 + 𝜖
Sales = β0 + (β1∗ TV) + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥
•
𝛽1
‫نشان‬
‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬
𝑋
‫بر‬
Y
‫است‬
،
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬
‫ها‬
(
‫وجود‬ ‫صورت‬ ‫در‬
)
‫گرفت‬ ‫نادیده‬
‫ه‬
‫شوند‬
.
•
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مشکالت‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫سایر‬ ‫تاثیر‬
(
‫وجود‬ ‫صورت‬ ‫در‬
)
‫میشود‬ ‫گرفته‬ ‫نادیده‬
.

‫بسیار‬ ‫های‬‫تخمین‬ ‫به‬ ‫منجر‬ ‫تواند‬‫می‬ ‫امر‬ ‫این‬ ،‫باشد‬ ‫داشته‬ ‫وجود‬ ‫همبستگی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫بین‬ ‫که‬ ‫صورتی‬ ‫در‬
‫گ‬
‫مراه‬
‫کننده‬
‫از‬
‫تأثیر‬
‫بر‬ ‫مستقل‬ ‫متغیر‬
Y
‫شود‬
.


:
Y
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫چند‬ ‫اساس‬ ‫بر‬
.
Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖
Sales = β0 + (β1∗ TV) + (β2∗ radio) +(β3 ∗ newspaper) + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝
•
‫هر‬ ‫ضریب‬
𝑋𝑖
،
‫آن‬ ‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬ ‫نشان‬
‫کننده‬ ‫بینی‬ ‫متغیرپیش‬
‫بر‬
Y
‫است‬
،
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬
‫شوند‬ ‫داشته‬ ‫نگه‬ ‫ثابت‬ ‫ها‬
.
•
‫باشد‬ ‫متفاوت‬ ‫کامال‬ ‫میتواند‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫یک‬ ‫برای‬ ‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬
!

‫همبستگی‬ ‫ماتریکس‬


‫قبل‬ ‫صفحه‬ ‫های‬ ‫جدول‬ ‫در‬
:

‫بین‬ ‫ارتباطی‬ ‫هیچ‬ ‫چندگانه‬ ‫رگرسیون‬ ‫در‬ ‫که‬ ‫است‬ ‫منطقی‬ ‫آیا‬
«
‫فروش‬ ‫میزان‬
»
‫و‬
«
‫روزنامه‬ ‫تبلیغات‬
»
‫ن‬ ‫وجود‬
‫باشد‬ ‫داشته‬
‫دهد؟‬ ‫نشان‬ ‫را‬ ‫آن‬ ‫عکس‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫که‬ ‫حالی‬ ‫در‬

‫بله‬
!!
•
‫بین‬ ‫همبستگی‬
«
‫رادیو‬
»
‫و‬
«
‫روزنامه‬
»
0.35
‫است‬
.
‫بازارهایی‬ ‫در‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتر‬ ‫هزینه‬ ‫به‬ ‫تمایل‬ ‫دهنده‬ ‫نشان‬ ‫این‬
‫است‬
‫میشود‬ ‫رادیویی‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتری‬ ‫هزینه‬ ‫که‬
.
•
‫یابد‬ ‫افزایش‬ ‫رادیویی‬ ‫تبلیغات‬ ‫که‬ ‫بازارهایی‬ ‫در‬ ‫فروش‬ ‫میزان‬
،
‫ن‬ ‫همبستگی‬ ‫ماتریس‬ ‫که‬ ‫طور‬ ‫همان‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫بیشتر‬
‫میدهد‬ ‫شان‬
‫یابد‬ ‫می‬ ‫افزایش‬ ‫بازارها‬ ‫همان‬ ‫در‬ ‫نیز‬ ‫روزنامه‬ ‫تبلیغات‬
.
•
‫میکند‬ ‫بررسی‬ ‫را‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برابر‬ ‫در‬ ‫فروش‬ ‫فقط‬ ‫که‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
،
‫روزنامه‬
«
‫اعتبار‬
»
‫رادیو‬ ‫تاثیر‬
‫را‬ ‫فروش‬ ‫بر‬
‫میگیرد‬
.

‫برآورد‬
‫رگرسیون‬ ‫ضرایب‬
• 𝑋 =
𝑥1
⋮
𝑥𝑛
, 𝑌 =
𝑦1
⋮
𝑦𝑛
• RSS = 𝑋𝛽 − 𝑌
2
= 𝑋𝛽 − 𝑌
𝑇
(𝑋𝛽 − 𝑌) =
• 𝑌𝑇
𝑌 − 𝑌𝑇
𝑋𝛽 − 𝛽𝑇
𝑋𝑇
𝑌 + 𝛽𝑇
𝑋𝑇
𝑋𝛽
•
𝜕𝑅𝑆𝑆
𝜕𝛽
=
𝜕(𝑌𝑇𝑌 −𝑌𝑇𝑋𝛽−𝛽𝑇𝑋𝑇𝑌+𝛽𝑇𝑋𝑇𝑋𝛽)
𝜕𝛽
=
• −2𝑋𝑇
𝑌 + 2𝑋𝑇
𝑋𝛽
• −2𝑋𝑇
𝑌 + 2𝑋𝑇
𝑋𝛽 = 0 → 𝛽 = (𝑋𝑇
𝑋)−1
𝑋𝑇
𝑌
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚
𝑅𝑆𝑆 = 𝑖=1
𝑛
=
𝑖=1
𝑛
(𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚 − 𝑦𝑖)2
• 𝑥 = [1 , 𝑥1 , 𝑥2 , … , 𝑥𝑚]
• 𝛽 = [𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑚]
• 𝑦 = 𝑖=0
𝑚
(𝑥𝑖 ∗ 𝛽𝑖) = 𝑥. 𝛽
• 𝐷 = { (𝑥1 , 𝑦1) , … , (𝑥𝑛 , 𝑦𝑛) }
• 𝑅𝑆𝑆 = 𝑖=1
𝑛
(𝛽. 𝑥𝑖 − 𝑦𝑖)2

•
‫صورت‬ ‫به‬ ‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیر‬ ‫بین‬ ‫رابطه‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
‫ی‬
‫ک‬
«
‫خط‬
»
‫شود‬‫می‬ ‫بیان‬
.
•
‫راب‬ ‫در‬ ‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫با‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫اگر‬ ،‫چندگانه‬ ‫رگرسیون‬ ‫در‬
‫خطی‬ ‫طه‬
‫یک‬ ‫صورت‬ ‫به‬ ‫رابطه‬ ‫این‬ ‫شکل‬ ،‫باشند‬
«
‫صفحه‬
»
‫در‬
‫آمد‬ ‫خواهد‬
.
•
‫رو‬ ‫کار‬ ‫به‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫از‬ ‫بیش‬ ‫که‬ ‫صورتی‬ ‫در‬
‫مدل‬ ،‫ند‬
‫یک‬ ‫شکل‬ ‫به‬
«
‫ابرصفحه‬
»
‫ظاهر‬
.


‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫مشکالت‬
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫معمولی‬
:
.A
‫محاسبه‬
(𝑋𝑇
𝑋)−1
‫باشد‬ ‫زمانبر‬ ‫است‬ ‫ممکن‬
.
.B
XT
X
‫نباشد‬ ‫پذیر‬ ‫معکوس‬ ‫است‬ ‫ممکن‬
.
•
«
‫تصادفی‬ ‫کاهشی‬ ‫گرادیان‬
»
‫باشد‬ ‫می‬ ‫بهینه‬ ‫پارامتر‬ ‫تخمین‬ ‫برای‬ ‫سریعتر‬ ‫و‬ ‫کاراتر‬ ‫روشی‬
.

‫کاهشی‬ ‫گرادیان‬

‫گرادیان‬
‫کاهشی‬
(
Gradient Descent
: )
•
‫سازی‬ ‫بهینه‬ ‫الگوریتم‬ ‫یک‬
‫تکراری‬
‫اول‬ ‫مرتبه‬
‫ت‬ ‫یک‬ ‫کمینه‬ ‫یافتن‬ ‫برای‬
‫است‬ ‫ابع‬
.
•
‫گامهای‬
‫مخالف‬ ‫جهت‬ ‫در‬ ‫مکرر‬
‫تابع‬ ‫گرادیان‬
‫فعلی‬ ‫نقطه‬ ‫در‬
‫میشود‬ ‫برداشته‬
‫به‬ ‫تا‬
‫محلی‬ ‫کمینه‬
/
‫برسد‬ ‫سراسری‬
.


‫الگوریتم‬
GD
‫تابع‬ ‫مینیمم‬ ‫محاسبه‬ ‫برای‬
y = f(x)
:
.A
‫کن‬ ‫انتخاب‬ ‫رندوم‬ ‫نقطه‬ ‫یک‬
.
.B
‫بود‬ ‫صفر‬ ‫برابر‬ ‫نقطه‬ ‫این‬ ‫در‬ ‫گرادیان‬ ‫اگر‬
،
‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬
.
.C
‫رابطه‬ ‫از‬
𝑥𝑡+1 = 𝑥𝑡 − η𝛻xf
‫کن‬ ‫استفاده‬ ‫جدید‬ ‫مقدار‬ ‫محاسبه‬ ‫برای‬
.
‫به‬ ‫برگرد‬
‫مرحله‬
B
•
η
‫میکند‬ ‫تنظیم‬ ‫را‬ ‫گامها‬ ‫طول‬ ‫و‬ ‫است‬ ‫یادگیری‬ ‫نرخ‬
.


‫هزینه‬ ‫تابع‬
،
‫میکند‬ ‫توصیف‬ ‫را‬ ‫کرده‬ ‫بینی‬ ‫پیش‬ ‫مدل‬ ‫آنچه‬ ‫و‬ ‫شده‬ ‫مشاهده‬ ‫مقدار‬ ‫بین‬ ‫اختالف‬
.

‫تنظیم‬ ‫هدف‬
‫پارامترها‬
،
‫است‬ ‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬ ‫به‬
.
• Hypothesis: ℎ𝜃 𝑥 = 𝜃. x = 𝜃0+ 𝜃1𝑥1 + ⋯ + 𝜃𝑛𝑥𝑛
• Parameters: 𝜃0 , 𝜃1 , … , 𝜃𝑛
• Cost function: 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 =
1
2𝑚 𝑖=1
𝑚
(ℎ𝜃 𝑥(𝑖)
− 𝑦(𝑖)
)2
• Goal: minimize 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛
•
‫مثال‬
:
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫هزینه‬ ‫تابع‬
:
• 𝐽 𝛽0 , 𝛽1 =
1
2𝑚 𝑖=1
𝑚
(𝛽0 + 𝛽1𝑥(𝑖)
− 𝑦(𝑖)
)2


‫مانند‬ ‫سهمی‬ ‫تابعی‬ ‫همیشه‬ ‫خطی‬ ‫رگرسیون‬ ‫برای‬ ‫هزینه‬ ‫تابع‬
‫است‬
.

‫د‬ ‫کلی‬ ‫مینیمم‬ ‫یک‬ ‫فقط‬ ‫و‬ ‫ندارد‬ ‫محلی‬ ‫مینیمم‬ ‫محدب‬ ‫تابع‬ ‫این‬
‫ارد‬
.


‫تنظیم‬ ‫هدف‬
𝜃
‫به‬
‫است‬ ‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬
.
i. 𝜃 = 𝜃 − 𝜂𝛻𝜃𝐽(𝜃)
ii. 𝜃𝑗 = 𝜃𝑗 − 𝜂
𝜕
𝜕𝜃𝑗
𝐽 𝜃 = 𝜃𝑗 − 𝜂
𝜕
𝜕𝜃𝑗
𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛
iii.
𝜕
𝜕𝜃𝑗
𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 =
𝜕
𝜕𝜃𝑗
1
2𝑚 𝑖=1
𝑚
ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖 2
=
1
𝑚 𝑖=1
𝑚
(ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
) 𝑥𝑗
•
‫پارامتر‬ ‫هر‬ ‫بنابراین‬
𝜃𝑗
،
‫میشود‬ ‫روزرسانی‬ ‫به‬ ‫زیر‬ ‫روش‬ ‫به‬ ‫گام‬ ‫هر‬ ‫در‬
:
• 𝜃𝑗 = 𝜃𝑗 −
η
m 𝑖=1
𝑚
(ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
) 𝑥𝑗

•
‫کاهشی‬ ‫گرادیان‬ ‫الگوریتم‬
:
• repeat until convergence {
• 𝜑𝑗 = 𝜃𝑗 −
η
m 𝑖=1
𝑚
ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗 (for j = 0 to n)
• 𝜃𝑗 = 𝜑𝑗 (for j = 0 to n)
• }
•
‫دور‬ ‫هر‬ ‫در‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
،
‫پارامترهای‬ ‫رسانی‬ ‫روز‬ ‫به‬
𝜃𝑗
‫و‬ ‫موازی‬ ‫صورت‬ ‫به‬
‫صورت‬ ‫به‬ ‫نه‬
‫صورت‬ ‫ترتیبی‬
‫گرفت‬ ‫خواهد‬
.


‫کاهشی‬ ‫گرادیان‬ ‫انواع‬
:
•
‫تصادفی‬
:
‫میش‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫تصادفی‬ ‫آموزشی‬ ‫نمونه‬ ‫یک‬ ‫تنها‬ ‫از‬ ، ‫تکرار‬ ‫هر‬ ‫در‬
‫ود‬
.
•
‫دسته‬ ‫کاهشی‬ ‫گرادیان‬
‫ای‬
:
‫در‬
، ‫تکرار‬ ‫هر‬
‫میشود‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫تمام‬ ‫از‬
.
•
‫دسته‬ ‫کاهشی‬ ‫گرادیان‬
‫کوچک‬ ‫ای‬
:
‫تکرار‬ ‫هر‬ ‫در‬
‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫از‬ ‫تصادفی‬ ‫کوچک‬ ‫ی‬ ‫دسته‬ ‫یک‬ ‫از‬ ،
‫میشود‬ ‫استفاده‬ ‫پارامترها‬
.

Stochastic GD

‫گریز‬
‫پرنویز‬ ‫های‬ ‫گام‬ ‫دلیل‬ ‫به‬ ‫محلی‬ ‫های‬ ‫کمینه‬ ‫از‬

‫سریعتر‬ ‫همگرایی‬
‫بزرگ‬ ‫بسیار‬ ‫های‬ ‫دیتاست‬ ‫برای‬ ‫مناسب‬ ‫و‬

‫آنالین‬ ‫پردازش‬ ‫مزیت‬
𝐒𝐭𝐨𝐜𝐡𝐚𝐬𝐭𝐢𝐜 𝐆𝐃
Initialize 𝛽 randomly
Randomly shuffle training examples
Loop until convergence :
• Sample (𝑥,𝑦) from the training set
• for j=1 to n :
• 𝑔𝑗 = 𝛽.𝑥 − 𝑦 𝑥𝑗
• 𝛽 = 𝛽 − η𝑔

Batch GD

‫مشکل‬
‫حافظه‬ ‫حجم‬

‫میانگین‬ ‫شیب‬ ‫با‬ ‫رسانی‬ ‫روز‬ ‫به‬ ‫دلیل‬ ‫به‬ ‫پایدارتر‬ ‫همگرایی‬

‫مزیت‬
‫رس‬ ‫روز‬ ‫به‬ ‫و‬ ‫محاسبات‬ ‫عملیات‬ ‫تفکیک‬ ‫با‬ ‫موازی‬ ‫پردازش‬
‫انی‬
𝐁𝐚𝐭𝐜𝐡 𝐆𝐃
Sample all training data :
{(𝑥(1)
,𝑦(1)
),…,(𝑥(𝑚)
,𝑦(𝑚)
)}
• for j=1 to n :
• 𝑔𝑗 = 0
• for i=1 to m :
• 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗
𝑖
• 𝛽 = 𝛽 −
η
m
𝑔

mini − Batch GD
𝐦𝐢𝐧𝐢 − 𝐁𝐚𝐭𝐜𝐡 𝐆𝐃
𝑘 = 0
• Sample {(𝑥(𝑘+1)
,𝑦(𝑘+1)
), …,(𝑥(𝑘+𝑏)
,𝑦(𝑘+𝑏)
)}
from the training set
• for j=1 to n :
• 𝑔𝑗 = 0
• for i=(k+1) to (k+b) :
• 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗
𝑖
• 𝛽 = 𝛽 −
η
𝑏
𝑔
• 𝑘 = 𝑘 + 𝑏

‫کاهشی‬ ‫گرادیان‬ ‫روش‬ ‫مشکالت‬
.A
‫ومینیمم‬ ‫کند‬ ‫گیر‬ ‫محلی‬ ‫کمینه‬ ‫در‬ ‫است‬ ‫ممکن‬
‫نیابد‬ ‫را‬ ‫تابع‬ ‫کل‬
.
•
‫تابع‬
‫برای‬ ‫هزینه‬
‫همواره‬ ‫خطی‬
‫محدب‬
‫است‬ ‫کلی‬ ‫آن‬ ‫مینیمم‬ ‫نقطه‬ ‫و‬ ‫است‬
.
𝑅𝑆𝑆 =
𝑖=1
𝑛
(𝛽. 𝑥𝑖 − 𝑦𝑖)2

‫کاهشی‬ ‫گرادیان‬ ‫روش‬ ‫مشکالت‬
.B
‫یادگیری‬ ‫نرخ‬ ‫تعیین‬
:
•
‫نرخ‬
‫واگرایی‬ ‫سبب‬ ‫است‬ ‫ممکن‬ ‫بزرگ‬ ‫بسیار‬ ‫یادگیری‬
‫الگور‬
‫یتم‬
،
‫یا‬
‫شود‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬ ‫نوسان‬
.
•
، ‫الگوریتم‬ ‫همگرایی‬ ‫کندی‬ ‫سبب‬ ‫کوچک‬ ‫یادگیری‬ ‫نرخ‬
‫گی‬ ‫یا‬
‫کردن‬ ‫ر‬
‫نامطلوب‬ ‫محلی‬ ‫کمینه‬ ‫در‬
‫شود‬ ‫می‬
.

‫حل‬ ‫راه‬
:
‫آموزش‬ ‫حین‬ ‫در‬ ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬
o
‫مجز‬ ‫آموزش‬ ‫زمینه‬ ‫این‬ ‫در‬ ، ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬ ‫اهمیت‬ ‫دلیل‬ ‫به‬
‫ایی‬
‫میشود‬ ‫تهیه‬
.

‫مقیاس‬
‫بندی‬
‫ویژگی‬

‫بندی‬ ‫مقیاس‬
‫ویژگی‬
(
feature scaling
: )
•
‫شود‬ ‫می‬ ‫انجام‬ ‫داده‬ ‫پردازش‬ ‫پیش‬ ‫مرحله‬ ‫در‬
.
•
‫چیست‬ ‫دهنده‬ ‫نشان‬ ‫عدد‬ ‫این‬ ‫داند‬ ‫نمی‬ ‫و‬ ‫کند‬ ‫می‬ ‫کار‬ ‫اعداد‬ ‫روی‬ ‫بر‬ ‫ماشین‬ ‫یادگیری‬
.

‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ ‫رایج‬ ‫روشهای‬
:
.A
‫داده‬ ‫سازی‬ ‫نرمال‬
(
Normalization
)
.B
‫داده‬ ‫استانداردسازی‬
(
Standardization
)

‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫سازی‬ ‫نرمال‬
:
𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 =
𝑋 − 𝑋𝑚𝑖𝑛
𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛
•
0 ≤ 𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 ≤ 1

‫استانداردسازی‬
:
𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 =
𝑋 − 𝜇
𝜎
•
‫دارای‬ ‫حاصل‬ ‫توزیع‬
𝜇𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 0
‫و‬
𝜎𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 1
‫خواهد‬
‫شد‬
.


‫بندی‬ ‫مقیاس‬
‫ویژگی‬
‫الگوریتم‬ ‫در‬
‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫های‬
:
•
‫فاصله‬ ‫های‬ ‫الگوریتم‬
‫مانند‬
KNN
،
K − means
‫و‬
SVM
‫بیشتر‬
‫تأثیر‬ ‫تحت‬
‫مقیاس‬
‫گیرند‬ ‫می‬ ‫قرار‬ ‫ها‬ ‫ویژگی‬
.
•
‫به‬ ‫ها‬ ‫الگوریتم‬ ‫این‬
‫موقعیت‬
‫نقاط‬ ‫نسبی‬
‫هستند‬ ‫حساس‬ ‫یکدیگر‬ ‫به‬ ‫نسبت‬ ‫داده‬
.
•
‫قبل‬
‫نتیج‬ ‫در‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫تا‬ ‫کنیم‬ ‫می‬ ‫بندی‬ ‫مقیاس‬ ‫را‬ ‫خود‬ ‫های‬ ‫داده‬ ، ‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫از‬
‫داشته‬ ‫نقش‬ ‫ه‬
‫باشند‬
.


‫در‬
‫بر‬ ‫مبتنی‬ ‫های‬
‫درخت‬
:
•
‫به‬ ‫نسبت‬
‫مقیاس‬
‫ویژگی‬
‫حساس‬ ‫ها‬
‫نیستند‬
.
•
‫هر‬ ‫تصمیم‬ ‫درخت‬
‫را‬ ‫گره‬
‫بر‬ ‫فقط‬
‫واحد‬ ‫ویژگی‬ ‫یک‬ ‫اساس‬
‫منشعب‬
‫ک‬ ‫می‬
‫ند‬
.
•
‫انشعاب‬ ‫این‬
‫یک‬ ‫روی‬ ‫بر‬
‫ویژگی‬
،
‫ها‬ ‫ویژگی‬ ‫سایر‬ ‫تأثیر‬ ‫تحت‬
‫نیس‬
‫و‬ ‫ت‬
ً‫ال‬‫عم‬
‫در‬ ‫باقیمانده‬ ‫های‬ ‫ویژگی‬ ‫بر‬ ‫تأثیری‬ ‫هیچ‬
‫ندارد‬ ‫انشعاب‬
.


‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
:
•
‫دهند‬ ‫نشان‬ ‫را‬ ‫ویژگی‬ ‫اهمیت‬ ‫دهد‬ ‫می‬ ‫اجازه‬ ‫ضرایب‬ ‫به‬
.
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝
•
‫بر‬ ‫میزان‬ ‫چه‬ ‫ویژگی‬ ‫این‬ ‫که‬ ‫دهند‬ ‫می‬ ‫ایده‬ ‫ما‬ ‫به‬ ، ‫ویژگی‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ضرایب‬
‫تأثیر‬ ‫مدل‬ ‫نتیجه‬
‫گذارد‬ ‫می‬
.

‫مثال‬
:
•
‫شامل‬ ‫اندام‬ ‫تناسب‬ ‫مورد‬ ‫در‬ ‫داده‬ ‫مجموعه‬ ‫یک‬
‫ویژگیهای‬ ‫با‬ ‫هایی‬ ‫داده‬
‫قد‬
(
‫متر‬
)
‫وزن‬ ‫و‬
(
‫کیلوگرم‬
)
‫است‬
.
•
‫اختالف‬
1
‫به‬ ‫نسبت‬ ‫متر‬
1
‫کیلوگرم‬
‫خیلی‬
‫است‬ ‫توجهتر‬ ‫قابل‬
.
•
، ‫باشند‬ ‫مهم‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫وزن‬ ‫و‬ ‫قد‬ ‫های‬ ‫ویژگی‬
‫ضرایب‬
𝛽
‫مربوط‬
‫داشت‬ ‫خواهند‬ ‫متفاوتی‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫آنها‬ ‫به‬
.

‫کاهشی‬ ‫گرادیان‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫الگوریتم‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
‫ک‬ ‫گرادیان‬ ‫بر‬ ‫مبتنی‬ ‫های‬
‫اهشی‬
:

‫سرعت‬
‫میدهد‬ ‫افزایش‬ ‫را‬ ‫هگرایی‬
.
•
‫ویژگی‬
‫شک‬ ‫به‬ ‫ای‬ ‫هزینه‬ ‫تابع‬ ، ‫متفاوت‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫با‬ ‫های‬
‫یک‬ ‫ل‬
‫دره‬
‫و‬ ‫باریک‬
‫طوالنی‬
‫میکنند‬ ‫ایجاد‬
.
•
،
‫به‬
‫هزینه‬ ‫تابع‬
‫شکلی‬
«
‫تر‬ ‫کروی‬
»
‫خ‬ ‫به‬ ‫و‬
‫طوط‬
‫یک‬ ‫آن‬ ‫کانتور‬
‫شکل‬
«
‫دایره‬
‫ای‬
‫تر‬
»
‫می‬
‫دهد‬
.
•
‫حالت‬ ‫در‬
، ‫تر‬ ‫ای‬ ‫دایره‬
‫است‬ ‫مرکز‬ ‫سمت‬ ‫به‬ ‫مستقیما‬ ‫گرادیان‬
.
•
‫حالت‬ ‫در‬
‫تر‬ ‫بیضوی‬
،
‫بزرگ‬ ‫محور‬ ‫امتداد‬ ‫در‬ ‫مدام‬ ‫الگوریتم‬ ‫های‬ ‫گام‬
‫سمت‬ ‫به‬ ‫آرام‬ ‫خیلی‬ ‫که‬ ‫حالی‬ ‫در‬ ‫پرد‬ ‫می‬ ‫جلو‬ ‫و‬ ‫عقب‬ ‫سمت‬ ‫به‬ ‫بیضی‬
‫کند‬ ‫می‬ ‫حرکت‬ ‫مرکز‬
.

•
‫تابع‬ ‫منفی‬ ‫گرادیان‬
، ‫هزینه‬
‫است‬ ‫نقطه‬ ‫آن‬ ‫در‬ ‫تابع‬ ‫کانتور‬ ‫خط‬ ‫بر‬ ‫عمود‬ ‫همواره‬ ‫نقطه‬ ‫یک‬ ‫در‬
.
•
‫حرکت‬ ‫راستای‬ ‫به‬ ‫نسبت‬ ‫منفی‬ ‫گرادیان‬ ‫بردار‬
، ‫بهینه‬
‫کوچکتری‬ ‫مولفه‬ ‫و‬ ‫بیضی‬ ‫کوچک‬ ‫محور‬ ‫راستای‬ ‫در‬ ‫بزرگتری‬ ‫مولفه‬
‫راستای‬ ‫در‬
‫دارد‬ ‫بیضی‬ ‫بزرگ‬ ‫محور‬
.
•
‫ویژگی‬
‫مقیاس‬ ‫با‬
‫بزرگتر‬
‫می‬ ‫غلبه‬ ‫گرادیان‬ ‫بر‬
‫کند‬
.
(
β𝑗 = β𝑗 −
η
m i=1
m
(ℎβ 𝑥 𝑖
− 𝑦 𝑖
) 𝑥j
)
•
‫حرکت‬ ‫یک‬ ‫داشتن‬
«
‫زاگ‬ ‫زیگ‬
»
،
‫معنی‬
‫نیستند‬ ‫بهینه‬ ‫جهت‬ ‫در‬ ‫لزوما‬ ‫که‬ ‫داریم‬ ‫برمی‬ ‫را‬ ‫زیادی‬ ‫های‬ ‫گام‬ ‫که‬ ‫است‬
.
•
‫اینکه‬ ‫از‬ ‫اطمینان‬ ‫برای‬
‫به‬ ‫کاهشی‬ ‫گرادیان‬
‫نزول‬ ‫مراحل‬ ‫و‬ ‫کند‬ ‫می‬ ‫حرکت‬ ‫حداقل‬ ‫سمت‬ ‫به‬ ‫نرمی‬
‫گرادیان‬
‫همان‬ ‫با‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫برای‬
، ‫شود‬ ‫می‬ ‫روز‬ ‫به‬ ‫سرعت‬
‫مقیاس‬ ‫را‬ ‫ها‬ ‫داده‬ ‫الگوریتم‬ ‫اجرای‬ ‫از‬ ‫قبل‬
‫کنیم‬ ‫می‬ ‫بندی‬
.

•
‫کوچک‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬
‫نرخ‬ ‫کردن‬
‫بهبود‬ ‫باعث‬ ‫یادگیری‬
‫کمکی‬ ‫اما‬ ‫میشود‬ ‫زیگزاگی‬ ‫حرکت‬
‫همگ‬ ‫سرعت‬ ‫افزایش‬ ‫به‬
‫رایی‬
‫کند‬ ‫نمی‬
.

‫ارزیابی‬
‫سوال‬ ‫چهار‬ ‫قالب‬ ‫در‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

‫اول‬ ‫سوال‬

‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬
:
Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖
.I
‫آیا‬
‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬
X1 ,X2, … ,Xp
‫بینی‬ ‫پیش‬ ‫در‬
Y
‫است؟‬ ‫مفید‬
•
‫؛‬
‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬

‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 0
.

‫در‬
‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
‫آیا‬ ‫که‬ ‫میکنیم‬
𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0
.
 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p)
•
‫که‬ ‫دید‬ ‫خواهیم‬ ‫زودی‬ ‫به‬
‫فرض‬
‫از‬ ‫استفاده‬ ‫با‬ ‫صفر‬
«
‫آزمون‬
F
‫تحلیل‬
‫واریانس‬
»
‫آزمایش‬
‫شود‬ ‫می‬
.

.II
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬
(
‫بیش‬
‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬
‫همه‬
)
‫از‬ ‫یکی‬ ‫حداقل‬
‫با‬ ‫متغیرها‬
‫پاس‬
‫خ‬
Y
‫ارتباط‬
‫دارد؟‬
 𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0
 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = (p − q + 1) to p)
•
‫را‬ ‫نظر‬ ‫مورد‬ ‫زیرمجموعه‬ ،‫کار‬ ‫راحتی‬ ‫برای‬
q
‫ایم‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫لیست‬ ‫انتهای‬ ‫متغیر‬
.
•
‫یک‬
«
‫آزمون‬
F
‫کلی‬ ‫خطی‬
»
‫گرفت‬ ‫خواهیم‬ ‫یاد‬ ‫ای‬ ‫فرضیه‬ ‫چنین‬ ‫آزمایش‬ ‫برای‬ ‫را‬
.
.III
‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬
Xj
‫پاسخ‬ ‫با‬
Y
‫؟‬ ‫دارد‬ ‫ارتباط‬
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0
•
‫انجام‬ ‫فقط‬ ‫این‬ ‫آیا‬
«
‫آزمون‬
t
»
‫برای‬
𝛽𝑗
‫نیست‬
‫؟‬
!


‫زاویه‬ ‫ضریب‬ ‫یک‬ ‫تنها‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬
𝛽1
‫وجود‬
‫فرضیه‬ ‫های‬ ‫آزمون‬ ‫آن‬ ‫مورد‬ ‫در‬ ‫توان‬ ‫می‬ ‫که‬ ‫دارد‬
‫داد‬ ‫انجام‬ ‫را‬
.

‫مختلف‬ ‫فرضیه‬ ‫آزمون‬ ‫سه‬ ،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬
‫ضرایب‬ ‫برای‬
‫انجام‬ ‫توان‬‫می‬ ‫که‬ ‫دارد‬ ‫وجود‬
‫داد‬
:
.I
‫تمام‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫ضرایب‬
0
‫هستند‬
.
.II
‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫زیرمجموعه‬
-
‫همه‬ ‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬ ‫بیش‬
-
‫از‬
‫ضرایب‬
0
‫هستند‬
.
.III
‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫خاص‬ ‫ضریب‬
0
‫است‬
.

:
‫ضرایب‬ ‫ی‬ ‫همه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫آیا‬
‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬
X1 ,X2, … ,Xp
‫بینی‬ ‫پیش‬ ‫در‬
Y
‫است؟‬ ‫مفید‬
•
‫؛‬
‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬

‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 0
.
• 𝐻0 ∶ 𝛽1 = 0
• 𝐻𝑎 ∶ 𝛽1 ≠ 0

‫آیا‬ ‫که‬ ‫میکنیم‬ ‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0
.
• 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
• 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p)

‫آزمون‬
F

«
‫آزمون‬
F
‫خطی‬
‫کلی‬
»
‫شامل‬
‫از‬ ‫عبارتند‬ ‫که‬ ‫است‬ ‫اساسی‬ ‫مرحله‬ ‫سه‬
:
.1
‫تعریف‬ ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ ‫یک‬
‫کنید‬
(
‫منظور‬
‫از‬
«
‫بزرگتر‬
»
‫بیشتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬
‫است‬
.)
.2
‫یک‬
‫تعریف‬ ‫کوچکتر‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
‫کنید‬
(
‫منظور‬
‫از‬
«
‫کوچکتر‬
»
‫کمتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬
‫است‬
.)
.3
‫از‬
‫آماره‬ ‫یک‬
F
‫برای‬
‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫تصمیم‬
«
‫مدل‬
‫یافته‬ ‫کاهش‬
‫کوچکتر‬
»
‫نفع‬ ‫به‬
«
‫مدل‬
‫کامل‬
‫بزرگتر‬
»
‫استف‬
‫کنید‬ ‫اده‬
.
•
‫فرض‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫می‬ ‫مربوط‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫صفر‬ ‫فرضیه‬ ،‫بینید‬ ‫می‬ ‫سوم‬ ‫مرحله‬ ‫عبارت‬ ‫در‬ ‫که‬ ‫همانطور‬
‫یه‬
‫شود‬ ‫می‬ ‫مربوط‬ ‫کامل‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫جایگزین‬
.
• 𝐻0 ∶ The reduced model
• 𝐻𝑎 ∶ The full model

‫آزمون‬
F
‫خطی‬
‫کلی‬

‫بزرگتر‬ ‫کامل‬ ‫مدل‬
:
‫باشد‬ ‫ها‬ ‫داده‬ ‫برای‬ ‫ترین‬ ‫مناسب‬ ‫رسد‬ ‫می‬ ‫نظر‬ ‫به‬ ‫که‬ ‫است‬ ‫مدلی‬
.
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
‫کوچکتر‬
:
‫شود‬ ‫می‬ ‫توصیف‬ ‫صفر‬ ‫فرضیه‬ ‫توسط‬ ‫که‬ ‫است‬ ‫مدلی‬
.
𝑦 = 𝛽0 + 𝜖
•
‫از‬ ‫یک‬ ‫کدام‬
«
‫یافته‬ ‫کاهش‬ ‫مدل‬
»
‫یا‬
«
‫کامل‬ ‫مدل‬
»
‫کند‬ ‫می‬ ‫عمل‬ ‫بهتر‬ ‫ها‬ ‫داده‬ ‫در‬ ‫روند‬ ‫توصیف‬ ‫در‬
‫؟‬
• 𝐻0 ∶ 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0

‫آزمون‬
F

«
‫یافته‬ ‫کاهش‬ ‫مدل‬
»
‫دهید‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬
:
o
‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
‫آورید‬ ‫بدست‬ ‫را‬
.
o
، ‫خطا‬ ‫مربعات‬ ‫مجموع‬
SSE(R)
‫کنید‬ ‫تعیین‬ ‫را‬ ،
.
 𝑦i = 𝛽0 + 𝜖𝑖
 𝑦i = 𝐸 𝑦i = 𝛽0
• SSE = 𝑖=1
𝑛
(𝑦observed − 𝑦fitted)2
• SSE R = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2

«
‫کامل‬ ‫مدل‬
»
‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬
‫دهید‬
:
o
‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫آورید‬ ‫بدست‬ ‫را‬
.
o
، ‫خطا‬ ‫مربعات‬ ‫مجموع‬
SSE(F)
‫کنید‬ ‫تعیین‬ ‫را‬ ،
.
 𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝 + 𝜖𝑖
 𝑦i = 𝐸 𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝
• SSE = 𝑖=1
𝑛
(𝑦observed − 𝑦fitted)2
• SSE F = 𝑖=1
𝑛

‫آزمون‬
F
‫خطی‬
‫کلی‬

، ‫ها‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫دو‬ ‫از‬ ‫یک‬ ‫هر‬ ‫تطبیق‬ ‫از‬ ‫پس‬
‫مجموع‬
‫مربعات‬
‫خطا‬
‫کنیم‬ ‫می‬ ‫تعیین‬ ‫را‬
.

‫آزمون‬
‫خطی‬
‫کلی‬
‫بین‬ ‫مقایسه‬ ‫شامل‬
SSE(R)
‫و‬
SSE(F)
‫است‬
.

SSE(R)
‫هرگز‬
‫از‬ ‫کوچکتر‬ ‫تواند‬ ‫نمی‬
SSE(F)
‫باشد‬
(
SSE(R) ≥ SSE(F)
.)
•
‫اگر‬
SSE(F)
‫نزدیک‬
‫به‬
SSE(R)
‫باشد‬
:
‫کامل‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬ ‫در‬
‫اندازه‬ ‫به‬
‫در‬
‫اطراف‬
‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬
‫است‬
.
،‫حالت‬ ‫این‬ ‫در‬
‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫از‬ ‫استفاده‬
‫تر‬ ‫منطقی‬
‫است‬
.
•
‫اگر‬
SSE(F)
‫و‬
SSE(R)
‫داشته‬ ‫زیادی‬ ‫تفاوت‬
‫باشند‬
:
(
‫های‬
)
‫ای‬ ‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫کامل‬ ‫مدل‬ ‫در‬ ‫اضافی‬
‫پراکند‬
‫گی‬
‫دهد‬ ‫می‬ ‫کاهش‬ ‫را‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬
.
‫با‬ ‫که‬ ‫است‬ ‫منطقی‬ ،‫مورد‬ ‫این‬ ‫در‬
‫شوید‬ ‫همراه‬
.

‫آزمون‬
F
‫خطی‬
‫کلی‬

‫اختالف‬ ‫هرچقدر‬
SSE(R)
‫و‬
SSE(F)
‫استفاده‬ ‫میتوان‬ ‫تر‬ ‫راحت‬ ،‫باشد‬ ‫بیشتر‬
‫از‬
«
‫مدل‬
‫کامل‬
‫بزرگتر‬
»
‫توجیه‬ ‫را‬
‫کرد‬
.

‫آماره‬
F
:
• 𝐹∗ =
SSE R −SSE(F)
dfR−dfF
SSE(F)
dfF
•
‫اگر‬ ،‫کلی‬ ‫طور‬ ‫به‬
𝐹∗
‫بزرگ‬ ‫کافی‬ ‫اندازه‬ ‫به‬
‫باشد‬
‫رد‬ ‫صفر‬ ‫فرض‬
‫می‬
‫شود‬
.
•
‫دارد‬ ‫ارتباط‬ ‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫معناست‬ ‫این‬ ‫به‬ ‫صفر‬ ‫فرض‬ ‫رد‬
.

‫آزمون‬
F

‫آماره‬
F
‫آماره‬ ‫به‬ ‫را‬
F
‫واریانس‬ ‫تحلیل‬
(
ANOVA
)
‫دهیم‬ ‫می‬ ‫کاهش‬ ‫شدیم‬ ‫آشنا‬ ‫قبال‬ ‫که‬
:
• 𝐹∗ =
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SS𝑇−SSE
(𝑛−1)−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SS𝑅
𝑝
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
= 𝑀𝑆𝑅
𝑀𝑆𝐸

‫آزمون‬
F
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸

‫باشد‬ ‫درست‬ ‫خطی‬ ‫مدل‬ ‫مفروضات‬ ‫اگر‬
:
E MSE = 𝜎2

‫صفر‬ ‫فرض‬ ‫اگر‬
(
𝐻0
)
‫باشد‬ ‫درست‬
:
𝐸 𝑀𝑆𝑅 = 𝜎2

‫مقابل‬ ‫فرض‬ ‫اگر‬
(
𝐻𝑎
)
‫باشد‬ ‫درست‬
:
𝐸 𝑀𝑆𝑅 > 𝜎2
•
‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
(
𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
)
،
Fstatistic
‫باشد‬ ‫داشته‬ ‫یک‬ ‫به‬ ‫نزدیک‬ ‫مقداری‬
.
•
‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
(
𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0
)
،
Fstatistic
‫باشد‬ ‫بزرگتر‬ ‫یک‬ ‫از‬ ‫کافی‬ ‫اندازه‬ ‫به‬
.


‫نسبت‬
𝑀𝑆𝑅
𝑀𝑆𝐸
F
‫صورت‬
‫برابر‬
𝑝
(𝑛 − 𝑝 + 1 )
‫است‬
.
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸
•
‫ی‬ ‫محاسبه‬ ‫با‬
Fstatistic
‫از‬ ‫استفاده‬ ‫با‬ ‫و‬
‫توزیع‬
F
‫و‬ ‫صورت‬ ‫آزادی‬ ‫های‬ ‫درجه‬ ‫با‬ ‫مرتبط‬
‫میتوان‬ ‫مخرج‬
P_value
‫آورد‬ ‫بدست‬ ‫را‬
.
‫این‬ ‫اساس‬ ‫بر‬ ‫و‬
P_value
‫مورد‬ ‫در‬ ‫میتوان‬
‫گرفت‬ ‫تصمیم‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬
.

:
‫ضرایب‬ ‫از‬ ‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫قبل‬ ‫قسمت‬ ‫در‬
،
‫گذاشتیم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫همه‬ ‫میکرد‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬
:
𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0

‫بگذاری‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫میکند‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬ ‫بخواهیم‬ ‫است‬ ‫ممکن‬
‫م‬
:
𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0
•
‫شده‬ ‫انتخاب‬ ‫متغیرهای‬ ،‫کار‬ ‫راحتی‬ ‫برای‬
‫را‬ ‫حذف‬ ‫برای‬
‫ایم‬ ‫داده‬ ‫قرار‬ ‫لیست‬ ‫انتهای‬ ‫در‬
.
•
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫که‬ ‫است‬ ‫آن‬ ‫هدف‬
(
‫اینجا‬ ‫در‬
q
‫لیست‬ ‫انتهای‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬
)
‫پاسخ‬ ‫با‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫از‬ ‫یکی‬ ‫حداقل‬
Y
‫دارد‬ ‫ارتباط‬
.

:
‫ضرایب‬ ‫از‬ ‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

:
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
:
𝑦 = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝−𝑞𝑥(𝑝−𝑞) + 𝜖
• 𝐹∗ =
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SSE R −SSE
(𝑛−(𝑝−𝑞+1))−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SSE R −SSE
𝑞
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
•
𝐹∗
‫دارای‬
‫توزیع‬
F
‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬
𝑞
(𝑛 − 𝑝 − 1)
.

‫سوال‬
‫اول‬
:
‫مشخص‬ ‫ضریب‬ ‫یک‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬
Xj
‫پاسخ‬ ‫با‬
Y
‫؟‬ ‫دارد‬ ‫ارتباط‬
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0

:
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
:
𝑦 = 𝛽0 + 𝛽2𝑥2+ 𝛽3𝑥3 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖
• 𝐹∗
=
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SSE R −SSE
(𝑛−𝑝)−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SSE R −SSE
1
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
•
𝐹∗
F
‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬
1
(𝑛 − 𝑝 − 1)
.

:
‫مشخص‬ ‫ضریب‬ ‫یک‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫آزمون‬ ‫یک‬ ‫منفرد‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫روی‬ ‫بر‬ ‫میتوان‬
t
‫نه‬ ‫یا‬ ‫است‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫آیا‬ ‫شود‬ ‫مشخص‬ ‫تا‬ ‫داد‬ ‫انجام‬
.
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0

t − test
‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫برای‬
‫منفرد‬ ‫کننده‬
‫با‬ ‫ارز‬ ‫هم‬
F − test
‫مدل‬ ‫در‬ ‫را‬ ‫بقیه‬ ‫و‬ ‫کند‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ‫که‬ ‫است‬
‫باقی‬
‫گذارد‬‫می‬
.
‫کند‬‫می‬ ‫گزارش‬ ‫را‬ ‫مدل‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫کردن‬ ‫اضافه‬ ‫جزئی‬ ‫اثر‬
.
• 𝐻0 ∶ The reduced model

‫شرایط‬ ‫این‬ ‫در‬
P − value
‫آزمون‬ ‫برای‬
t
‫برابر‬
P − value
‫آزمون‬ ‫برای‬
𝐹
‫خواهد‬
‫بود‬
.

«
‫یک‬
F − test
»
‫یا‬
«
‫چند‬
t − test
»
!!

‫چرا‬
‫توانیم‬‫نمی‬
‫آیا‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬
‫ای‬‫زیرمجموعه‬
‫از‬
‫هستند‬ ‫صفر‬ ‫ضرایب‬
،
‫های‬‫تست‬ ‫سری‬ ‫یک‬ ‫فقط‬
t
‫انجام‬ ‫جداگانه‬
‫؟‬ ‫دهیم‬

‫به‬
‫نوع‬ ‫خطای‬ ‫افزایش‬ ‫عدم‬ ‫و‬ ‫سهولت‬ ‫دلیل‬
‫اول‬

‫آزمون‬ ‫انجام‬ ‫بار‬ ‫هر‬ ‫با‬
t
‫دهید‬ ‫انجام‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫شما‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫احتمال‬ ‫این‬
.
‫معموال‬ ‫خطا‬ ‫این‬
5%
‫در‬
‫می‬ ‫گرفته‬ ‫نظر‬
‫شود‬
.
‫با‬
‫آزمون‬ ‫چند‬ ‫یا‬ ‫دو‬ ‫اجرای‬
t
‫داده‬ ‫روی‬ ‫بر‬
‫دهید‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫احتمال‬ ،‫مشابه‬ ‫های‬
.
‫آزمون‬
F
‫این‬
‫می‬ ‫کنترل‬ ‫را‬ ‫خطا‬
‫کند‬
‫تا‬
‫سطح‬ ‫در‬ ‫اول‬ ‫نوع‬ ‫خطای‬
5%
‫بماند‬ ‫باقی‬
.

‫آزمون‬ ‫چند‬ ‫در‬ ‫اول‬ ‫نوع‬ ‫خطای‬
t

‫آماری‬ ‫آزمون‬ ‫یک‬ ‫برای‬
(
‫آزمون‬ ‫مانند‬
t
)
‫با‬
𝛼 = 0.05%
:
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬
:
0.05%
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬
:
0.95%

‫دو‬ ‫برای‬
‫آزمون‬
:
•
:
1 − .9025 = 0.0975%
•
:
0.95 ∗ 0.95 = .9025%

‫برای‬
n
‫آزمون‬
:
•
:
(1 − 0.95𝑛
)%
•
:
0.95𝑛
%


‫مهم‬ ‫نکته‬
:
•
‫ی‬ ‫آماره‬ ‫از‬ ‫میتوان‬ ‫زمانی‬ ‫تا‬
F
‫بین‬ ‫ارتباط‬ ‫آزمایش‬ ‫برای‬
«
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬
»
‫و‬
«
‫پاسخ‬
»
‫ک‬ ‫کرد‬ ‫استفاده‬
‫ه‬
𝑝 < 𝑛
‫باشد‬
.
•
‫اگر‬
𝑝 > 𝑛
‫ضرایب‬ ‫تعداد‬ ، ‫یعنی‬ ‫باشد‬
𝛽j
‫دارد‬ ‫وجود‬ ‫آنها‬ ‫تخمین‬ ‫برای‬ ‫مشاهدات‬ ‫به‬ ‫نسبت‬ ‫بیشتری‬
.
‫حتی‬ ‫مورد‬ ‫این‬ ‫در‬
‫دهیم‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫نمیتوانیم‬
(
‫یک‬
‫حداق‬ ‫ضریب‬ ‫تخمین‬
‫مربعات‬ ‫ل‬
‫وجود‬ ‫فرد‬ ‫به‬ ‫منحصر‬
‫ندارد‬
.)
‫آماره‬ ‫بنابراین‬
F
‫نیستند‬ ‫استفاده‬ ‫قابل‬ ‫کنون‬ ‫تا‬ ‫شده‬ ‫بیان‬ ‫مفاهیم‬ ‫از‬ ‫بسیاری‬ ‫و‬
.

‫دوم‬ ‫سوال‬

‫پیش‬ ‫متغیرهای‬ ‫همه‬ ‫آیا‬
‫بینی‬
‫کننده‬
‫توضیح‬ ‫به‬
Y
‫فقط‬ ‫یا‬ ‫کنند‬ ‫می‬ ‫کمک‬
‫زیرمجموعه‬
‫پیش‬ ‫از‬ ‫ای‬
‫مفید‬ ‫ها‬
‫هستند‬
‫؟‬
•
‫باشد‬ ‫می‬ ‫مهم‬ ‫متغیرهای‬ ‫کردن‬ ‫مشخص‬ ‫هدف‬
.

‫اساس‬ ‫بر‬ ‫چنانچه‬
Fstatistic
‫و‬
P − value
‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫مربوطه‬
Y
‫مرتبط‬
‫است‬
‫متغیر‬ ‫که‬ ‫است‬ ‫آن‬ ‫نوبت‬ ‫اکنون‬ ،
(
‫های‬
)
‫کنیم‬ ‫مشخص‬ ‫را‬ ‫پاسخ‬ ‫با‬ ‫مرتبط‬
.

‫بینی‬‫پیش‬ ‫آن‬ ‫فقط‬ ‫که‬ ‫واحد‬ ‫مدل‬ ‫یک‬ ‫برازش‬ ‫منظور‬ ‫به‬ ،‫هستند‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫کدام‬ ‫اینکه‬ ‫تعیین‬
‫شامل‬ ‫را‬ ‫ها‬‫کننده‬
‫عنوان‬ ‫به‬ ،‫شود‬‫می‬
«
‫متغیر‬ ‫انتخاب‬
»
‫شود‬‫می‬ ‫نامیده‬
.


‫از‬ ‫استفاده‬ ‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫چرا‬
p − values
‫ایده‬
‫است‬ ‫بدی‬
‫؟‬
!

‫از‬ ‫استفاده‬ ‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫روش‬
p − values
:
𝛽𝑖 − 0
𝑆𝐸[𝛽𝑖]
=
𝛽𝑖
𝑆𝐸[𝛽𝑖]
•
‫متغیرهای‬
‫دار‬‫معنی‬
‫گنجانده‬ ‫مدل‬ ‫در‬
‫متغیرهای‬ ،‫شوند‬‫می‬
‫اهمیت‬ ‫بدون‬
‫با‬ ‫متغیرهایی‬ ،‫شوند‬‫نمی‬ ‫گنجانده‬
p − values
‫تر‬‫کوچک‬
(
‫ی‬ ‫آماره‬
‫تر‬‫بزرگ‬ ‫آزمون‬
)
‫شدن‬ ‫انتخاب‬ ‫برای‬
‫باالتری‬ ‫های‬‫اولویت‬
‫نسبت‬
‫که‬ ‫مواردی‬ ‫به‬
‫است‬ ‫کوچکتر‬ ‫آنها‬ ‫آزمون‬ ‫ی‬ ‫آماره‬
،
‫دارند‬
.

𝛽𝑖
𝑆𝐸[𝛽𝑖]
=
𝛽𝑖
𝜎
𝑛𝑉𝑎𝑟 𝑋𝑖
𝑉𝐼𝐹𝑖
, 𝑉𝐼𝐹𝑖 =
1
1 − 𝑅𝑖
2
•
𝛽𝑖
‫صورت‬ ‫در‬
:
‫ضرایب‬
،‫بزرگتر‬
‫ی‬ ‫آماره‬ ، ‫یکسان‬ ‫شرایط‬ ‫در‬
‫بزرگتر‬ ‫آزمون‬
‫داشت‬ ‫خواهند‬ ‫دارتر‬ ‫معنی‬ ‫و‬
.
•
𝜎
‫مخرج‬ ‫در‬
:
‫کاهش‬
‫خط‬ ‫اطراف‬ ‫در‬ ‫نویز‬
،
‫تمام‬
‫های‬ ‫آماره‬
‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫میکند‬ ‫معنادارتر‬
.
•
𝑛
:
‫افزایش‬
‫حجم‬
‫نمونه‬
،
‫تمام‬
‫می‬ ‫دارتر‬ ‫معنی‬ ‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫کند‬
.
•
𝑉𝑎𝑟 𝑋𝑖
:
‫متغیر‬ ‫یک‬ ‫در‬ ‫بیشتر‬ ‫واریانس‬
، ‫کننده‬‫بینی‬‫پیش‬
‫یکسان‬ ‫شرایط‬ ‫در‬
‫ی‬ ‫آماره‬ ،
‫و‬ ‫دهد‬‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫را‬ ‫متغیر‬
‫معنادارتر‬
‫کند‬‫می‬
.
•
𝑉𝐼𝐹𝑖
‫مخرج‬ ‫در‬
:
‫بین‬ ‫بیشتر‬ ‫همبستگی‬
𝑋𝑖
‫و‬
‫یکسان‬ ‫شرایط‬ ‫در‬ ،‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬
‫ی‬ ‫آماره‬ ،
‫را‬ ‫متغیر‬ ‫و‬ ‫دهد‬‫می‬ ‫کاهش‬ ‫را‬ ‫آزمون‬
‫معنادار‬ ‫کمتر‬
‫کند‬‫می‬
.

•
‫با‬ ‫نداشته‬ ‫چندانی‬ ‫همبستگی‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬ ‫با‬ ‫و‬ ‫باشد‬ ‫داشته‬ ‫زیادی‬ ‫واریانس‬ ‫کننده‬‫بینی‬‫پیش‬ ‫اگر‬
ً‫ال‬‫کام‬ ‫متغیرهای‬ ،‫شد‬
‫باشند‬ ‫دار‬‫معنی‬ ‫بسیار‬ ‫ضرایب‬ ‫دارای‬ ‫توانند‬‫می‬ ‫اهمیت‬‫بی‬
.
•
‫مهم‬ ‫بسیار‬ ‫متغیرهای‬ ‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫استاندارد‬ ‫خطای‬ ‫اگر‬
(
‫بزرگ‬ ‫ضرایب‬ ‫دارای‬
)
‫این‬ ‫است‬ ‫ممکن‬ ،
‫باشند‬ ‫آماری‬ ‫اهمیت‬ ‫بدون‬ ‫متغیرها‬
.
•
‫نهایت‬ ‫در‬ ،‫نیست‬ ‫صفر‬ ً‫ا‬‫دقیق‬ ‫آن‬ ‫ضریب‬ ‫که‬ ‫متغیری‬ ‫هر‬
(𝑛 → ∞)
‫یک‬ ‫و‬ ‫بزرگ‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫یک‬
p − value
‫داشت‬ ‫خواهد‬ ‫کوچک‬
.


‫است‬ ‫بهترین‬ ‫مدل‬ ‫کدام‬ ‫که‬ ‫دهیم‬ ‫تشخیص‬ ‫چگونه‬
‫؟‬

‫از‬ ‫توان‬ ‫می‬ ‫مدل‬ ‫یک‬ ‫کیفیت‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬
‫استفاده‬ ‫مختلفی‬
‫کرد‬
:
• Mallow’s Cp
• Akaike information criterion (AIC)
• Bayesian information criterion (BIC)
• adjusted 𝑅2

‫مختل‬ ‫های‬‫مدل‬ ‫آزمایش‬ ‫با‬ ‫را‬ ‫متغیر‬ ‫انتخاب‬ ،‫آل‬‫ایده‬ ‫حالت‬ ‫در‬
‫ف‬
‫کن‬‫بینی‬‫پیش‬ ‫از‬ ‫متفاوت‬ ‫ای‬‫زیرمجموعه‬ ‫شامل‬ ‫کدام‬ ‫هر‬ ‫که‬
‫ها‬‫نده‬
‫دهیم‬ ‫می‬ ‫انجام‬ ‫هستند‬
.

‫اگر‬ ،‫مثال‬ ‫عنوان‬ ‫به‬
p = 2
‫در‬ ‫را‬ ‫مدل‬ ‫چهار‬ ‫توانیم‬‫می‬ ،‫باشد‬
‫بگیریم‬ ‫نظر‬
:
• y = 𝛽0 + 𝜖
• y = 𝛽0 + 𝛽1𝑥1𝜖
• y = 𝛽0+ 𝛽2𝑥2𝜖
• y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2𝜖
•
‫ن‬ ‫در‬ ‫که‬ ‫هایی‬‫مدل‬ ‫همه‬ ‫بین‬ ‫از‬ ‫را‬ ‫مدل‬ ‫بهترین‬ ‫توانیم‬‫می‬ ‫سپس‬
‫ظر‬
‫کنیم‬ ‫انتخاب‬ ‫ایم‬‫گرفته‬
.


‫متاسفانه‬ ،‫متغیر‬ ‫انتخاب‬ ‫برای‬
‫ازای‬ ‫به‬
p
‫کننده‬ ‫بینی‬ ‫متغیرپیش‬
‫در‬
‫مجموع‬
2𝑝
‫خواهیم‬ ‫مختلف‬ ‫مدل‬
‫داشت‬
.

‫داریم‬ ‫نیاز‬ ‫ها‬‫مدل‬ ‫از‬ ‫تری‬‫کوچک‬ ‫مجموعه‬ ‫انتخاب‬ ‫برای‬ ‫کارآمد‬ ‫و‬ ‫خودکار‬ ‫رویکرد‬ ‫یک‬ ‫به‬
.
.A
‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬
(
Forward selection
: )
•
‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬
-
‫که‬ ‫مدلی‬
‫شامل‬
𝛽0
‫است‬
‫ندارد‬ ‫ای‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫هیچ‬ ‫اما‬
.
•
‫سپس‬
p
‫را‬
‫متغیری‬ ‫و‬ ‫کنیم‬ ‫می‬ ‫برازش‬
‫که‬
‫کمترین‬
SSE
‫دارد‬ ‫را‬
‫کنیم‬ ‫می‬ ‫اضافه‬ ‫تهی‬ ‫مدل‬ ‫به‬
.
‫به‬ ‫را‬ ‫متغیری‬ ‫سپس‬
‫کمترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫مدل‬ ‫آن‬
SSE
‫را‬
‫کند‬ ‫می‬ ‫ایجاد‬ ‫جدید‬ ‫متغیره‬ ‫دو‬ ‫مدل‬ ‫برای‬
.
‫تا‬ ‫روش‬ ‫این‬
‫زمانی‬
‫برقرار‬ ‫توقف‬ ‫شرط‬ ‫که‬
‫شود‬
‫می‬ ‫ادامه‬
‫یابد‬
.
.B
‫عقبگرد‬ ‫انتخاب‬
(
Backward selection
: )
•
‫همه‬ ‫با‬
‫در‬ ‫متغیرها‬
‫شروع‬ ‫مدل‬
‫کنیم‬‫می‬
.
•
‫که‬ ‫متغیری‬
‫بیشترین‬
P − value
‫را‬
‫یعنی‬ ،‫کنیم‬‫می‬ ‫حذف‬ ‫دارد‬
‫حذف‬
‫را‬ ‫معنی‬ ‫کمترین‬ ‫آماری‬ ‫نظر‬ ‫از‬ ‫که‬ ‫متغیری‬
‫دارد‬
.
‫دارای‬ ‫جدید‬ ‫مدل‬
(𝑝 − 1)
‫است‬ ‫متغیر‬
.
‫شرط‬ ‫به‬ ‫رسیدن‬ ‫تا‬ ‫روش‬ ‫این‬
‫یابد‬ ‫می‬ ‫ادامه‬ ‫توقف‬
.
،‫مثال‬ ‫عنوان‬ ‫به‬
‫زمانی‬ ‫است‬ ‫ممکن‬
‫باق‬ ‫متغیرهای‬ ‫همه‬ ‫که‬
‫یمانده‬
‫دارای‬
P − value
‫کمتر‬
‫از‬
‫مقدار‬ ‫یک‬
‫آستانه‬
‫متوقف‬ ‫باشند‬
‫شویم‬
.

.C
‫انتخاب‬
‫مختلط‬
(
Mixed selection
)
:
•
‫و‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫ترکیبی‬
‫عقب‬
‫است‬
.
•
‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬
‫و‬
‫کند‬ ‫می‬ ‫فراهم‬ ‫را‬ ‫تناسب‬ ‫بهترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫را‬ ‫متغیری‬ ،‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫مانند‬
.
‫ب‬
‫ه‬
‫کردن‬ ‫اضافه‬
‫دهیم‬ ‫می‬ ‫ادامه‬ ‫یک‬ ‫به‬ ‫یک‬ ‫متغیرها‬
.
•
،‫البته‬
،‫مدل‬ ‫به‬ ‫جدید‬ ‫های‬‫کننده‬‫بینی‬‫پیش‬ ‫شدن‬ ‫اضافه‬ ‫با‬
P − values
‫شود‬ ‫تر‬‫بزرگ‬ ‫تواند‬‫می‬ ‫متغیرها‬ ‫برای‬
.
‫اگر‬ ،‫بنابراین‬
‫ای‬‫نقطه‬ ‫در‬
،
P − value
‫یک‬ ‫از‬ ‫مدل‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫برای‬
‫آستانه‬ ‫مقدار‬
‫کنیم‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ،‫رود‬ ‫باالتر‬ ‫خاص‬
.
•
‫دارای‬ ‫مدل‬ ‫متغیرهای‬ ‫همه‬ ‫که‬ ‫زمانی‬ ‫تا‬ ‫دهیم‬ ‫می‬ ‫ادامه‬ ‫عقب‬ ‫و‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫مراحل‬ ‫این‬ ‫انجام‬ ‫به‬
P − values
‫باشند‬ ‫پایین‬ ‫کافی‬ ‫اندازه‬ ‫به‬
،‫شوند‬ ‫اضافه‬ ‫مدل‬ ‫به‬ ‫اگر‬ ‫مدل‬ ‫از‬ ‫خارج‬ ‫متغیرهای‬ ‫همه‬ ‫و‬
P − values
‫داشت‬ ‫خواهند‬ ‫زیادی‬
.


‫مهم‬ ‫نکته‬
:
•
‫اگر‬
p > n
‫کرد‬ ‫استفاده‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫توان‬ ‫می‬ ‫همیشه‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫نمی‬ ‫استفاده‬ ‫عقبگرد‬ ‫انتخاب‬ ‫از‬
.
•
‫اگر‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫در‬
p > n
‫باشد‬
‫حداکثر‬ ‫با‬ ‫های‬ ‫زیرمدل‬ ‫میتوان‬ ‫تنها‬ ،
𝑛 − 1
‫روش‬ ‫با‬ ‫زیرمدل‬ ‫هر‬ ‫چون‬ ‫کرد‬ ‫درست‬ ‫متغیر‬
‫اگر‬ ‫و‬ ‫یابد‬ ‫می‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬
p ≥ 𝑛
‫آورد‬ ‫نخواهد‬ ‫دست‬ ‫به‬ ‫فردی‬ ‫به‬ ‫منحصر‬ ‫حل‬ ‫راه‬ ، ‫باشد‬
.
•
‫شوند‬ ‫می‬ ‫اضافی‬ ً‫ا‬‫بعد‬ ‫که‬ ‫باشد‬ ‫متغیرهایی‬ ‫شامل‬ ‫است‬ ‫ممکن‬ ‫و‬ ‫است‬ ‫حریصانه‬ ‫رویکرد‬ ‫یک‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬
.
‫ت‬ ‫انتخاب‬
‫می‬ ‫رکیبی‬
‫کند‬ ‫برطرف‬ ‫را‬ ‫مشکل‬ ‫این‬ ‫تواند‬
.

‫سوم‬ ‫سوال‬

‫است؟‬ ‫متناسب‬ ‫ها‬ ‫داده‬ ‫با‬ ‫چقدر‬ ‫مدل‬
•
،‫مدل‬ ‫برازش‬ ‫عددی‬ ‫معیارهای‬ ‫ترین‬‫رایج‬ ‫از‬ ‫مورد‬ ‫دو‬
RSE
‫و‬
R2
‫هستند‬
.
•
‫مشاهده‬ ‫بر‬ ‫عالوه‬
RSE
‫و‬
𝑅2
،
‫باشد‬ ‫مفید‬ ‫تواند‬ ‫می‬ ‫نیز‬ ‫ها‬ ‫داده‬ ‫ترسیم‬
.

.A
R2
:

𝑅2
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
:
‫متغیر‬ ‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬
(
𝐶𝑜𝑟(𝑋,𝑌)2
)
‫است‬
.

𝑅2
‫خطی‬ ‫رگرسیون‬ ‫در‬
‫چندگانه‬
:
‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬
‫شده‬ ‫برازش‬ ‫خطی‬ ‫مدل‬
(
𝐶𝑜𝑟(𝑌,𝑌)2
)
‫است‬
.
•
‫مقدار‬
𝑅2
‫نزدیک‬
‫به‬
1
‫از‬ ‫بزرگی‬ ‫بخش‬ ‫مدل‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫تغییرات‬
‫دهد‬ ‫می‬ ‫توضیح‬ ‫را‬ ‫پاسخ‬ ‫متغیر‬ ‫در‬
.
•
‫با‬
‫متغیرهای‬ ‫شدن‬ ‫اضافه‬
‫بیشتر‬
‫به‬
‫مدل‬
،
‫همواره‬
𝑅2
‫افزایش‬
‫یابد‬‫می‬
‫متغیرها‬ ‫آن‬ ‫اگر‬ ‫حتی‬
‫با‬
‫باشند‬ ‫داشته‬ ‫ضعیفی‬ ‫ارتباط‬ ‫پاسخ‬
.
‫چون‬
‫افزودن‬
‫مربعات‬ ‫حداقل‬ ‫معادالت‬ ‫به‬ ‫دیگری‬ ‫متغیر‬
‫به‬
‫اجازه‬ ‫ما‬
‫دهد‬ ‫می‬
‫آموزشی‬ ‫های‬‫داده‬ ‫که‬
‫را‬
‫کنیم‬ ‫برازش‬ ‫بیشتری‬ ‫دقت‬ ‫با‬
.
،‫بنابراین‬
‫آمار‬
‫ه‬
𝑅2
‫هم‬
‫که‬
‫آموزشی‬ ‫های‬ ‫داده‬ ‫روی‬ ‫بر‬
‫محاسبه‬
،‫شود‬ ‫می‬
‫یابد‬ ‫می‬ ‫افزایش‬
.
•
ً‫ا‬‫اساس‬
،
‫هیچ‬ ‫سبب‬ ‫دارد‬ ‫پاسخ‬ ‫با‬ ‫ضعیفی‬ ‫ارتباط‬ ‫که‬ ‫متغیری‬ ‫کردن‬ ‫اضافه‬
‫مدل‬ ‫در‬ ‫واقعی‬ ‫بهبود‬
‫نمیشود‬
‫گنجاندن‬ ‫و‬
‫احتماال‬ ‫آن‬
‫به‬
‫دلیل‬
‫برازش‬
‫حد‬ ‫از‬ ‫بیش‬
(
overfitting
)
،
‫منجر‬
‫مستقل‬ ‫آزمایشی‬ ‫های‬‫نمونه‬ ‫در‬ ‫ضعیف‬ ‫نتایج‬ ‫به‬
.

.B
RSE
:
• 𝑅𝑆𝐸 =
𝑅𝑆𝑆
𝑛−(𝑝+1)
•
‫اگر‬
‫کاهش‬
RSS
‫نسبت‬
‫افزایش‬ ‫به‬
p
‫کم‬
‫توانند‬‫می‬ ‫بیشتر‬ ‫متغیرهای‬ ‫با‬ ‫هایی‬‫مدل‬ ،‫باشد‬
RSE
‫باشند‬ ‫داشته‬ ‫باالتری‬
.

.C
‫ها‬ ‫داده‬ ‫ترسیم‬
:
•
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫نیستند‬ ‫مشاهده‬ ‫قابل‬ ‫عددی‬ ‫ی‬ ‫آماره‬ ‫از‬ ‫که‬ ‫مدل‬ ‫یک‬ ‫مشکالت‬ ‫از‬ ‫بعضی‬ ‫ها‬ ‫داده‬ ‫ترسیم‬
.
•
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫فروش‬ ‫مقابل‬ ‫در‬ ‫رادیو‬ ‫و‬ ‫تلویزیون‬ ‫بعدی‬ ‫سه‬ ‫نمودار‬ ‫شکل‬
.

•
‫از‬
‫دارد‬ ‫وجود‬ ‫ها‬ ‫داده‬ ‫در‬ ‫مشخص‬ ‫غیرخطی‬ ‫رابطه‬ ‫یک‬ ‫که‬ ‫دریافت‬ ‫توان‬ ‫می‬ ،‫ها‬ ‫باقیمانده‬ ‫الگوی‬
.
•
‫مثبت‬ ‫های‬ ‫باقیمانده‬
(
‫هستند‬ ‫مشاهده‬ ‫قابل‬ ‫سطح‬ ‫باالی‬ ‫در‬ ‫که‬ ‫آنهایی‬
)
‫خط‬ ‫امتداد‬ ‫در‬ ،
45
‫تلویزیون‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫دارند‬ ‫قرار‬ ‫درجه‬
‫شود‬ ‫می‬ ‫تقسیم‬ ‫مساوی‬ ‫طور‬ ‫به‬ ‫رادیو‬ ‫و‬
.
•
‫منفی‬ ‫های‬ ‫باقیمانده‬
(
‫اکثرا‬
‫نیستند‬ ‫مشاهده‬ ‫قابل‬
)
‫نابرابر‬ ‫ها‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫بگیرند‬ ‫فاصله‬ ‫خط‬ ‫این‬ ‫از‬ ‫دارند‬ ‫تمایل‬ ،
‫هستند‬ ‫تر‬
.
•
‫هم‬ ‫اثر‬ ‫یک‬ ‫این‬
‫افزایی‬
(
synergy
)
‫یا‬
‫تعاملی‬
(
interaction
)
‫ترکیب‬ ‫آن‬ ‫موجب‬ ‫به‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫تبلیغاتی‬ ‫های‬ ‫رسانه‬ ‫بین‬
‫با‬ ‫ها‬ ‫رسانه‬
، ‫هم‬
‫واحد‬ ‫رسانه‬ ‫هر‬ ‫از‬ ‫استفاده‬ ‫به‬ ‫نسبت‬
‫فروش‬ ‫افزایش‬ ‫به‬ ‫منجر‬
‫می‬
‫شود‬
.

‫چهارم‬ ‫سوال‬

‫کنیم‬ ‫بینی‬ ‫پیش‬ ‫باید‬ ‫را‬ ‫پاسخی‬ ‫مقدار‬ ‫چه‬ ،‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫به‬ ‫توجه‬ ‫با‬
‫ما‬ ‫بینی‬ ‫پیش‬ ‫و‬
‫است‬ ‫دقیق‬ ‫چقدر‬
‫؟‬
•
‫پاسخ‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫زیر‬ ‫رابطه‬ ‫از‬
Y
‫های‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫مقادیر‬ ‫مجموعه‬ ‫یک‬ ‫اساس‬ ‫بر‬
𝑋1
،
𝑋2
،
...
،
𝑋𝑝
.
𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝

‫دارد‬ ‫وجود‬ ‫بینی‬‫پیش‬ ‫این‬ ‫با‬ ‫مرتبط‬ ‫قطعیت‬ ‫عدم‬ ‫نوع‬ ‫سه‬
.
.I
‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬
‫ضرایب‬
(
‫پذیر‬ ‫کاهش‬ ‫خطای‬
)
.II
‫خطی‬ ‫مدل‬ ‫قطعیت‬ ‫عدم‬
(
)
.III
‫تصادفی‬ ‫خطای‬
(
‫کاهش‬ ‫غیرقابل‬ ‫خطای‬
)

.1

‫ضرایب‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫برای‬ ‫برآوردهایی‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫هستند‬
.
•
‫مربعات‬ ‫حداقل‬ ‫صفحه‬ ‫بنابرای‬
𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝
•
‫باشد‬ ‫می‬ ‫واقعی‬ ‫جمعیت‬ ‫رگرسیون‬ ‫ی‬ ‫صفحه‬ ‫برای‬ ‫برآوردی‬ ‫نیز‬
.
f(X) = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝

‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬
«
»
‫است‬
.

‫کنیم‬ ‫مشخص‬ ‫تا‬ ‫کنیم‬ ‫محاسبه‬ ‫را‬ ‫اطمینان‬ ‫فاصله‬ ‫یک‬ ‫توانیم‬ ‫می‬
𝑌
‫به‬
f(X)
‫چقدر‬
‫نزدیک‬
.

‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬

‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫فاصله‬
𝜇𝑌
‫که‬ ‫زمانی‬ ،
‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬
𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇
‫باشد‬
:
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫حاشیه‬
‫خطا‬
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error)
‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (t_multiplier × 𝑆𝐸(𝑦ℎ))
‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (𝑡𝛼
2
,𝑛− 𝑝+1 × 𝑀𝑆𝐸(𝑋ℎ
𝑇
(𝑋𝑇𝑋)−1𝑋ℎ))
•
𝑦ℎ
«
‫شده‬ ‫برازش‬ ‫مقدار‬
»
‫یا‬
«
»
‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬
𝑋ℎ
.
•
‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬
(
𝑀𝑆𝐸
)
‫آن‬ ‫مخرج‬ ‫که‬
𝑛 − 𝑝 + 1
‫است‬
، ‫میکند‬ ‫استفاده‬
t_multiplier
‫دارای‬
‫آزادی‬ ‫ی‬ ‫درجه‬
𝑛 − 𝑝 + 1
.


‫اعتماد‬ ‫سطح‬ ‫با‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬
95%
،
‫احتمال‬ ‫یعنی‬
95%
‫وجود‬
‫که‬ ‫دارد‬
‫واقعی‬ ‫خط‬
‫جمعیت‬
(
‫از‬ ‫یک‬ ‫هر‬ ‫مثال‬ ‫عنوان‬ ‫به‬
‫راست‬ ‫سمت‬ ‫شکل‬ ‫در‬ ‫خطوط‬
)
‫فاصله‬ ‫در‬
‫اطمینان‬
(
‫چین‬ ‫نقطه‬ ‫خط‬ ‫دو‬ ‫بین‬ ‫فضای‬
)
‫باشد‬ ‫داشته‬ ‫قرار‬
.


‫فاصله‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬
𝜇𝑌
‫است‬ ‫مناسب‬
‫؟‬
•
𝑋ℎ
‫در‬
‫محدوده‬
«
‫مدل‬
»
‫باشد‬
.
‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬
‫ندارد‬ ‫لزومی‬ ‫که‬
𝑋ℎ
‫یک‬
‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬
‫باشد‬ ‫داده‬
.
•
‫وقتی‬
‫شرایط‬
‫خطی‬
‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬
‫و‬ ‫نرمال‬
‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬
‫باشد‬ ‫برقرار‬
‫به‬ ‫فرمول‬
‫می‬ ‫کار‬ ‫خوبی‬
‫کند‬
.
•
‫توزیع‬ ‫اگر‬
‫باشد‬ ‫نرمال‬ ً‫ا‬‫تقریب‬ ‫خطا‬
‫و‬
‫عبارات‬ ، ‫نمونه‬ ‫بودن‬ ‫بزرگ‬ ‫صورت‬ ‫در‬ ‫حتی‬
‫خطا‬
‫میتوانند‬
‫ز‬ ‫حد‬ ‫تا‬
‫از‬ ‫یادی‬
‫حالت‬
‫نرمال‬
‫منحرف‬
‫شوند‬
.

.2
•
‫در‬
‫برای‬ ‫خطی‬ ‫مدل‬ ‫یک‬ ‫فرض‬ ‫عمل‬
f(X)
،
‫واقعیت‬ ‫از‬ ‫تقریبی‬ ‫همیشه‬
‫است‬
.
‫ق‬ ‫بالقوه‬ ‫خطای‬ ‫از‬ ‫اضافی‬ ‫منبع‬ ‫یک‬ ‫بنابراین‬
‫کاهش‬ ‫ابل‬
‫را‬ ‫آن‬ ‫ما‬ ‫که‬ ‫دارد‬ ‫وجود‬
«
‫مدل‬ ‫بایاس‬
»
‫نامیم‬ ‫می‬
.
•
‫برای‬ ‫را‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬ ‫واقع‬ ‫در‬ ،‫کنیم‬ ‫می‬ ‫استفاده‬ ‫خطی‬ ‫مدل‬ ‫یک‬ ‫از‬ ‫وقتی‬
‫ی‬ ‫رویه‬
‫زنیم‬ ‫می‬ ‫تخمین‬ ‫واقعی‬
.
‫در‬ ،‫حال‬ ‫این‬ ‫با‬
‫این‬ ‫ما‬ ‫اینجا‬
‫است‬ ‫درست‬ ‫خطی‬ ‫مدل‬ ‫گویی‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫گونه‬ ‫به‬ ‫و‬ ‫گیریم‬ ‫می‬ ‫نادیده‬ ‫را‬ ‫اختالف‬
.
.3
•
f(X)
‫دانستیم‬ ‫می‬ ‫را‬
-
‫مقادیر‬ ‫اگر‬ ‫حتی‬ ‫یعنی‬
‫واقعی‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫دانستیم‬ ‫می‬ ‫را‬
-
، ‫مدل‬ ‫در‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬
‫مقدار‬
‫طور‬ ‫به‬ ‫توان‬ ‫نمی‬ ‫را‬ ‫پاسخ‬
‫پیش‬ ‫دقیق‬
‫بینی‬
‫کرد‬
.
‫این‬
«
‫ناپذیر‬ ‫کاهش‬ ‫خطای‬
»
‫است‬
.
•
Y
‫چقدر‬
‫از‬
𝑌
‫متفاوت‬
‫از‬ ‫سوال‬ ‫این‬ ‫به‬ ‫پاسخ‬ ‫برای‬ ‫بود؟‬ ‫خواهد‬
«
‫فواصل‬
‫پیش‬
‫بینی‬
»
‫کنیم‬ ‫می‬ ‫استفاده‬
.

‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬

‫جدید‬ ‫پاسخ‬ ‫بینی‬‫پیش‬ ‫بازه‬
𝑦𝑛𝑒𝑤
،
‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬ ‫که‬ ‫زمانی‬
𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇
‫هستند‬
:
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫خطا‬ ‫حاشیه‬
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error)
‫فاصله‬
‫اطمینان‬ = 𝑦ℎ ± (𝑡𝛼
2
,𝑛− 𝑝+1 × 𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2)
•
𝑦ℎ
«
‫شده‬ ‫برازش‬ ‫مقدار‬
»
‫یا‬
«
»
‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬
𝑋ℎ
.
•
‫ی‬ ‫فاصله‬
‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬
(
𝑀𝑆𝐸
)
‫آن‬ ‫مخرج‬ ‫که‬
𝑛 − 𝑝 + 1
‫میکند‬ ‫استفاده‬ ، ‫است‬
.
t_multiplier
‫دارای‬
‫آزادی‬ ‫ی‬ ‫درجه‬
𝑛 − 𝑝 + 1
.
•
𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2
«
‫بینی‬ ‫پیش‬ ‫استاندارد‬ ‫خطای‬
»
، ‫است‬
‫شبیه‬ ‫بسیار‬ ‫که‬
«
‫برازش‬ ‫استاندارد‬ ‫خطای‬
»
‫برآورد‬ ‫هنگام‬
𝜇𝑌
.

«
‫فاصله‬
‫پیش‬
‫بینی‬
»
𝑣𝑠
«
‫اطمینان‬ ‫ی‬ ‫فاصله‬
»

‫ارتباط‬
«
‫خطای‬
‫بینی‬‫پیش‬
»
‫با‬
«
‫خطای‬
‫برازش‬
»
:
•
‫تغییرپذیری‬
‫بستگی‬ ‫جزء‬ ‫دو‬ ‫به‬ ‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫بینی‬ ‫پیش‬ ‫در‬
‫دارد‬
:

‫برآورد‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬
𝜇𝑌
‫با‬ ‫را‬ ‫آن‬ ‫که‬
𝜎2
(𝑌ℎ)
‫میدهیم‬ ‫نشان‬
(
‫کمیت‬ ‫این‬
«
‫خطای‬
‫برازش‬
»
‫اطمینان‬ ‫فاصله‬ ‫فرمول‬ ‫در‬ ‫که‬ ‫است‬
‫می‬ ‫ظاهر‬
‫شود‬
.)

‫که‬ ‫تصادفی‬ ‫خطای‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬
‫را‬ ‫آن‬
‫با‬
𝜎2
‫دهیم‬‫می‬ ‫نشان‬
(
‫خطای‬ ‫مربعات‬ ‫میانگین‬ ‫با‬
MSE
‫تخمین‬
‫شود‬ ‫می‬ ‫زده‬
.)
•
‫مولفه‬ ‫دو‬ ‫کردن‬ ‫اضافه‬ ‫با‬
‫تغییرات‬
:
𝜎2 + 𝜎2 𝑌ℎ = MSE + [𝑆𝐸(𝑦ℎ)]2

«
‫بینی‬ ‫پیش‬ ‫فاصله‬
»
𝑣𝑠
«
‫اطمینان‬ ‫ی‬ ‫فاصله‬
»

‫توجه‬
‫روی‬ ‫بر‬ ‫بازه‬ ‫دو‬ ‫هر‬ ‫که‬ ‫باشید‬ ‫داشته‬
𝑦
(
‫شده‬ ‫برازش‬ ‫رگرسیون‬ ‫خط‬
)
‫متمرکز‬
‫اط‬ ‫فاصله‬ ‫از‬ ‫تر‬‫وسیع‬ ‫ای‬‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫اما‬ ،‫اند‬‫شده‬
‫مینان‬
‫است‬
.

‫حاوی‬ ‫احتماال‬ ‫اطمینان‬ ‫فاصله‬
«
‫واقعی‬ ‫مقدار‬
f(X)
»
‫است‬
،
‫پیش‬ ‫فاصله‬ ‫که‬ ‫حالی‬ ‫در‬
‫حاوی‬ ‫احتماال‬ ‫بینی‬
«
‫واقعی‬ ‫مقدار‬
y
»
‫است‬
.

‫خطا‬ ‫هم‬ ‫زیرا‬ ،‫هستند‬ ‫اطمینان‬ ‫فواصل‬ ‫از‬ ‫تر‬‫وسیع‬ ‫همیشه‬ ‫بینی‬‫پیش‬ ‫فواصل‬
‫در‬
‫تخمین‬
f(X)
(
)
‫نقطه‬ ‫یک‬ ‫اینکه‬ ‫مورد‬ ‫در‬ ‫قطعیت‬ ‫عدم‬ ‫هم‬ ‫و‬
‫داشت‬ ‫خواهد‬ ‫تفاوت‬ ‫جمعیت‬ ‫رگرسیون‬ ‫صفحه‬ ‫با‬ ‫چقدر‬ ‫منفرد‬
(
‫ناپ‬‫کاهش‬ ‫خطای‬
‫ذیر‬
)
‫گیرد‬‫می‬ ‫بر‬ ‫در‬ ‫را‬
.

‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬

‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬
‫برای‬ ‫بینی‬ ‫پیش‬ ‫بازه‬
𝑦𝑛𝑒𝑤
‫است؟‬ ‫مناسب‬

‫دراستفاده‬
‫هستند‬ ‫اطمینان‬ ‫فاصله‬ ‫به‬ ‫مربوط‬ ‫موارد‬ ‫از‬ ‫محدودتر‬ ‫کمی‬ ‫اما‬ ،‫مشابه‬ ‫شروط‬ ‫بینی‬ ‫پیش‬ ‫ی‬ ‫فاصله‬ ‫از‬
.
•
𝑋ℎ
‫محدوده‬ ‫در‬
«
‫مدل‬
»
‫باشد‬
.
‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬
‫ندارد‬ ‫لزومی‬ ‫که‬
𝑋ℎ
‫یک‬
‫داده‬ ‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬
‫باشد‬
.
•
‫ک‬ ‫خوبی‬ ‫به‬ ‫فرمول‬ ‫باشد‬ ‫برقرار‬ ‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬ ‫و‬ ‫نرمال‬ ‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬ ‫خطی‬ ‫شرایط‬ ‫وقتی‬
‫ار‬
‫کند‬ ‫می‬
.
•
‫برخالف‬
‫به‬ ‫شدت‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫فرمول‬ ،‫اطمینان‬ ‫فاصله‬ ‫فرمول‬
‫نرمال‬ ‫توزیع‬ ‫شرط‬
‫خطا‬ ‫عبارات‬
‫بستگی‬
‫دارد‬
.

1_LR.pptx

More Related Content

Similar to 1_LR.pptx

1_LR.pptx