‫خطی‬ ‫رگرسیون‬
‫فاطمه‬ ‫مهندس‬
‫فرجی‬
‫خطی‬ ‫رگرسیون‬

‫رگرسیون‬
:
•
‫ابزاری‬
‫کمی‬ ‫مقادیر‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫مفید‬
‫است‬
.
•
‫یک‬
‫دیگر‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫روی‬ ‫از‬ ‫متغیر‬ ‫یک‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫ست‬‫آماری‬ ‫مدل‬ ‫نوع‬
.
•
‫برای‬ ‫ساده‬ ‫بسیار‬ ‫روش‬ ‫یک‬
«
‫شده‬ ‫نظارت‬ ‫یادگیری‬
»
‫میشود‬ ‫محسوب‬
.

‫رگرسیون‬ ‫تحلیل‬
:
•
‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫بین‬ ‫ی‬ ‫رابطه‬ ‫برآورد‬ ‫برای‬ ‫آماری‬ ‫فرایندهای‬ ‫از‬ ‫ای‬ ‫مجموعه‬
(
‫پاسخ‬
)
‫مستقل‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫و‬
(
‫پیش‬
‫بینی‬
‫کننده‬
‫ها‬
)
‫باشد‬ ‫می‬
.
•
‫رگرسیونی‬ ‫تحلیل‬
‫تکنیکی‬
‫سازی‬‫مدل‬ ‫و‬ ‫بررسی‬ ‫برای‬ ‫آماری‬
‫است‬ ‫متغیرها‬ ‫بین‬ ‫ارتباط‬
.
‫روابط‬
‫بین‬
‫متغیرها‬
.B
‫تصادفی‬ ‫رابطه‬
:
•
‫هیچ‬
‫وجود‬ ‫متغیرها‬ ‫بین‬ ‫ای‬ ‫رابطه‬
‫ندارد‬
!!
.A
‫قطعی‬ ‫رابطه‬
:
•
‫متغیرهای‬ ‫از‬ ‫غیر‬ ‫دیگری‬ ‫عوامل‬ ‫به‬ ‫وابسته‬ ‫متغیر‬
‫مستقل‬
‫طبقه‬
‫نیست‬ ‫وابسته‬ ‫رابطه‬ ‫در‬ ‫شده‬ ‫بندی‬
‫؛‬
‫قطعی‬ ‫رابطه‬ ‫رو‬ ‫این‬ ‫از‬
‫به‬
‫شود‬ ‫می‬ ‫نامیده‬ ‫نیز‬ ‫متغیرها‬ ‫بین‬ ‫دقیق‬ ‫رابطه‬ ‫عنوان‬
.
‫متغیرها‬ ‫بین‬ ‫روابط‬
.C
‫آماری‬ ‫رابطه‬
:
•
‫یک‬ ،‫است‬ ‫تصادفی‬ ‫و‬ ‫قطعی‬ ‫روابط‬ ‫از‬ ‫ترکیبی‬
‫است‬ ‫رابطه‬
‫قسمتی‬ ‫که‬
‫قطعی‬
‫و‬ ‫است‬
‫قسمتی‬
‫تصادفی‬ ‫نیز‬
‫است‬
.
•
‫آن‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬ ‫رابطه‬
«
‫روند‬
»
‫دار‬ ‫وجود‬ ‫پاسخ‬ ‫و‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬
‫د‬
(
‫قطعی‬ ‫قسمت‬
)
‫اما‬ ،
«
‫پراکندگی‬
»
‫دارد‬ ‫وجود‬ ‫نیز‬
(
‫تصادفی‬ ‫قسمت‬
.)

‫م‬ ‫آماری‬ ‫روابط‬ ‫تخمین‬ ‫در‬ ‫رگرسیون‬ ‫تحلیل‬ ‫کاربرد‬ ‫بیشترین‬
‫تغیرها‬
‫است‬
.
‫آماری‬ ‫روابط‬
‫خطی‬ ‫رگرسیون‬

‫خطی‬ ‫رگرسیون‬
:
•
‫آن‬ ‫در‬ ‫که‬ ‫است‬ ‫رگرسیون‬ ‫تحلیل‬ ‫های‬‫روش‬ ‫از‬ ‫یکی‬
‫متغیر‬ ،
‫مستق‬ ‫متغیرهای‬ ‫از‬ ‫خطی‬ ‫ترکیبی‬ ‫صورت‬ ‫به‬ ‫وابسته‬
‫بینی‬‫پیش‬ ‫ل‬
‫است‬ ‫خطی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫تابع‬ ‫یعنی‬ ‫شود‬‫می‬
.
•
‫مجموع‬ ‫نهائی‬ ‫جواب‬ ‫شود؛‬‫می‬ ‫ضرب‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫برای‬ ‫که‬ ‫ضریبی‬ ‫در‬ ‫مستقل‬ ‫متغیرهای‬ ‫از‬ ‫کدام‬ ‫هر‬
‫بود‬ ‫خواهد‬ ‫ثابت‬ ‫مقدار‬ ‫یک‬ ‫عالوه‬ ‫به‬ ‫ها‬‫ضرب‬‫حاصل‬
.

‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬
:
•
،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫خالف‬ ‫بر‬ ‫که‬ ‫است‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ،‫خطی‬ ‫رگرسیون‬ ‫نوع‬ ‫ترین‬‫ساده‬
‫وابست‬ ‫متغیر‬
‫تنها‬ ‫تابع‬ ‫ه‬
‫یک‬
‫مستقل‬ ‫متغیر‬
‫باشد‬ ‫می‬
.
‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬
‫مرحله‬
1
:
‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مرحله‬
4
:
‫مدل‬ ‫از‬ ‫استفاده‬
‫مرحله‬
3
:
‫مدل‬ ‫ارزیابی‬
‫مرحله‬
2
:
‫مدل‬ ‫برآورد‬
‫مدل‬ ‫بندی‬ ‫فرمول‬
‫ساده‬ ‫خطی‬ ‫رگرسیون‬

‫سازی‬ ‫فرمول‬
«
‫آماری‬ ‫رابطه‬
»
‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیرهای‬ ‫بین‬
:
•
‫بین‬ ‫ی‬ ‫رابطه‬ ‫فرم‬
X
‫و‬
Y
:
𝑌𝑖 = f 𝑋𝑖 + 𝜖𝑖

𝜖
،
‫خطا‬ ‫عبارت‬
،
‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬
X
‫باشد‬ ‫می‬
.

‫انحراف‬ ‫دهنده‬ ‫نشان‬ ‫خطا‬ ‫عبارت‬
Y
‫رگرسیون‬ ‫تابع‬ ‫از‬
‫و‬ ‫است‬
‫متغیر‬ ٔ
‫ه‬‫وسیل‬ ‫به‬ ‫که‬ ،‫است‬ ‫وابسته‬ ‫متغیر‬ ‫از‬ ‫تغییراتی‬ ‫شامل‬
‫مستقل‬
‫شود‬‫نمی‬ ‫داده‬ ‫توضیح‬
.
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
•
‫رگرسیون‬ ‫مدل‬ ‫سازی‬ ‫فرمول‬ ‫در‬ ‫گام‬ ‫نخستین‬
،
‫فرم‬ ‫تعیین‬
«
‫قطعی‬ ‫قسمت‬
»
‫است‬ ‫رابطه‬
.

‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
،
f
‫یک‬
«
‫خطی‬ ‫تابع‬
»
‫تنها‬ ‫با‬
«
‫مستقل‬ ‫متغیر‬ ‫یک‬
»
‫باشد‬ ‫می‬
:
𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مدل‬ ‫مفروضات‬
𝜖𝑖 = 𝜖 Xi
𝜖𝑖 ~𝑁(0, 𝜎2)
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مدل‬ ‫مفروضات‬

𝜖𝑖
‫ندارند‬ ‫خودهمبستگی‬ ‫ها‬
(
‫هستند‬ ‫مستقل‬ ‫هم‬ ‫از‬
)
:
‫مقدار‬ ‫یعنی‬
𝜖𝑖+1
،
‫مقدار‬ ‫از‬ ‫مستقل‬
𝜖𝑖
‫است‬
.
•
‫مثال‬
:
‫عالمت‬ ‫اگر‬
𝜖2
‫باشد‬ ‫مثبت‬
،
‫عالمت‬
𝜖3
‫نیست‬ ‫حدس‬ ‫قابل‬
.

𝑦𝑖
‫ها‬
‫ندارند‬ ‫خودهمبستگی‬
(
‫از‬
‫مستقل‬ ‫هم‬
‫هستند‬
)
:
‫اینکه‬ ‫تبع‬ ‫به‬
𝜖𝑖
‫خودهمبستگی‬ ‫ها‬
‫ندارند‬
،
𝑦𝑖
‫ها‬
‫بود‬ ‫خواهند‬ ‫مستقل‬ ‫هم‬ ‫از‬
.
•
‫موقعیت‬
𝑦𝑖
‫رگرسیون‬ ‫خط‬ ‫به‬ ‫نسبت‬
‫نیست‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
.
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬

‫رگرسیون‬ ‫تابع‬
:
•
‫هر‬ ‫در‬
Xi
،
‫توزیعی‬
‫از‬
𝑌
‫دارد‬ ‫وجود‬
‫؛‬
‫شرطی‬ ‫توزیع‬
𝑌 Xi
.
•
‫تابع‬
‫رگرسیون‬
‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫صورت‬ ‫به‬ ‫را‬
Y
‫از‬ ‫تابعی‬ ‫عنوان‬ ‫به‬
X
‫میکنیم‬ ‫تعریف‬
‫؛‬
‫که‬ ‫دهد‬ ‫می‬ ‫دست‬ ‫به‬ ‫را‬ ‫تصور‬ ‫این‬
Y
‫روش‬ ‫با‬
‫به‬ ‫معینی‬
‫از‬ ‫تابعی‬ ‫عنوان‬
X
‫می‬ ‫تغییر‬
‫کند‬
.
𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝐸 𝛽0 + 𝛽1𝑋 + 𝜖 𝑋𝑖
= 𝛽0 + 𝛽1𝑋𝑖 + 𝐸(𝜖𝑖)
𝐸 𝜖𝑖 = 0 → 𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖
•
‫توجه‬
:
‫که‬ ‫میشود‬ ‫مشاهده‬
𝐸 𝑌 𝑋
‫به‬ ‫خطی‬ ‫وابسته‬
X
‫است‬
.
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
𝑌 Xi = 𝛽0 + 𝛽1𝑋 + 𝜖 Xi = 𝛽0 + 𝛽1𝑋𝑖 + )𝜖|𝑋𝑖(
= 𝐶𝑜𝑛𝑠𝑡𝑎𝑛𝑡_𝑉𝑎𝑙𝑢𝑒 + )𝜖|𝑋𝑖(

‫توزیع‬ ‫میشود‬ ‫ثابت‬
𝑌 Xi
:

‫نرمال‬
‫است‬
.

𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖

𝜎𝑌|𝑋𝑖
‫برابر‬ ‫و‬ ‫ثابت‬
𝜎𝜖
‫است‬
.
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
𝑌𝑖 = 𝐸 𝑌 𝑋𝑖 + 𝜖𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫بندی‬ ‫فرمول‬
•
‫بین‬ ‫رابطه‬
X
‫و‬
Y
‫نیست‬ ‫قطعی‬
‫؛‬
‫رابطه‬ ‫که‬ ‫حالی‬ ‫در‬
𝑋
‫و‬
𝐸 𝑌 𝑋
‫است‬ ‫راست‬ ‫خط‬ ‫یک‬
.
•
‫معادله‬
‫ی‬
(𝐸 𝑌 𝑋 = 𝛽0 + 𝛽1𝑋)
‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬
X
‫و‬
Y
‫را‬ ‫آن‬ ‫و‬ ‫است‬
«
‫خط‬
‫رگرسیون‬
‫جامعه‬
»
‫مینامیم‬
.
•
𝛽0
(
‫مبدا‬ ‫از‬ ‫عرض‬
)
‫و‬
𝛽1
(
‫زاویه‬ ‫ضریب‬ ‫یا‬ ‫شیب‬
)
،
‫هستند‬ ‫مدل‬ ‫پارامترهای‬
.
•
‫اگر‬
𝛽0
‫و‬
𝛽1
‫باشند‬ ‫مشخص‬
،
‫میتوان‬
𝑦
‫از‬ ‫استفاده‬ ‫با‬ ‫را‬
«
‫برای‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬
Y
‫مشخص‬ ‫مقدار‬ ‫اساس‬ ‫بر‬
X
»
‫بینی‬ ‫پیش‬
‫کرد‬
:
𝐸 𝑌 𝑋 = 𝑥𝑖 = 𝐸(𝑌𝑖) = 𝛽0 + 𝛽1𝑥𝑖

𝛽0
:
‫عرض‬ ‫توان‬‫می‬
‫گرفت‬ ‫نظر‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫حذف‬ ‫ازاء‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫متوسط‬ ‫مقدار‬ ‫را‬ ‫مبدا‬ ‫از‬
.

𝛽1
:
‫میزان‬
‫مستقل‬ ‫متغیر‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫حساسیت‬
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬
،
‫معنی‬ ‫این‬ ‫به‬
‫در‬ ‫تغییرات‬ ‫متوسط‬ ‫که‬
Y
‫واحد‬ ‫هر‬ ‫ازای‬ ‫به‬
‫در‬ ‫تغییر‬
X
‫است‬ ‫چقدر‬
.
‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬
‫مرحله‬
1
:
‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مرحله‬
4
:
‫مدل‬ ‫از‬ ‫استفاده‬
‫مرحله‬
3
:
‫مدل‬ ‫ارزیابی‬
‫مرحله‬
2
:
‫مدل‬ ‫برآورد‬
‫مدل‬ ‫برآورد‬

‫واقعی‬ ‫کاربردهای‬ ‫در‬ ‫معموال‬
،
‫مشخص‬ ‫جمعیت‬ ‫کل‬
‫نمونه‬ ‫فقط‬ ‫و‬ ‫نیست‬
‫را‬ ‫جمعیت‬ ‫از‬ ‫ای‬
‫داریم‬
.
‫بنابراین‬
،
‫رگرس‬ ‫خط‬
‫یون‬
‫است‬ ‫نامشخص‬ ‫جمعیت‬
.

‫ضرایب‬
‫میزنیم‬ ‫تخمین‬ ‫آموزشی‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫مدل‬
‫بنابراین‬ ‫و‬
Y
‫مشخص‬ ‫مقادیر‬ ‫اساس‬ ‫بر‬
X
‫بینی‬ ‫پیش‬ ‫قابل‬
‫بود‬ ‫خواهد‬
.
𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖
•
‫از‬
‫نماد‬
«
»
‫دادن‬ ‫نشان‬ ‫برای‬
«
‫برآورد‬
»
‫استفاده‬
‫کرده‬
‫ایم‬
:

𝛽0
:
‫برآوردگر‬
𝛽0

𝛽1
:
‫برآوردگر‬
𝛽1

𝑦𝑖
:
‫برآوردگر‬
𝐸 𝑌 𝑋 = 𝑥𝑖
،
‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬
‫مدل‬ ‫برآورد‬
‫مدل‬ ‫برآورد‬

‫معمولی‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬
(
Ordinary Least Squares
: )
•
‫رگرسیون‬ ‫خط‬ ‫که‬ ‫است‬ ‫آن‬ ‫آل‬ ‫ایده‬
،
‫بینی‬ ‫پیش‬ ‫دقیق‬ ‫طور‬ ‫به‬ ‫را‬ ‫وابسته‬ ‫متغیر‬ ‫مقادیر‬
‫کند‬
:
𝑦𝑖 = 𝑦𝑖 for 𝑖 = 1, … , 𝑛
•
‫باشد‬ ‫خطا‬ ‫با‬ ‫همراه‬ ‫بینی‬ ‫پیش‬ ‫است‬ ‫ممکن‬ ‫عمل‬ ‫در‬
‫؛‬
𝜖𝑖 = 𝑦𝑖 − 𝑦𝑖
‫معادل‬
«
‫پیش‬ ‫خطای‬
‫بینی‬
»
‫است‬
.
•
‫آوردن‬ ‫بدست‬ ‫هدف‬
‫ضرایب‬
𝛽0
‫و‬
𝛽1
‫به‬
‫ای‬ ‫گونه‬
‫پیش‬ ‫خطای‬ ‫حداقل‬ ‫کلی‬ ‫طور‬ ‫به‬ ‫که‬ ‫است‬
‫باشیم‬ ‫داشته‬ ‫را‬ ‫بینی‬
:
min(
𝑖=1
𝑛
𝜖𝑖
2
=
𝑖=1
𝑛
𝑦𝑖 − 𝑦𝑖
2
=
𝑖=1
𝑛
𝑦𝑖 − 𝛽0 + 𝛽1𝑥𝑖
2
)
•
‫توجه‬
:
‫میکنند‬ ‫خنثی‬ ‫را‬ ‫یکدیگر‬ ‫منفی‬ ‫و‬ ‫مثبت‬ ‫خطاهای‬ ‫اینکه‬ ‫دلیل‬ ‫به‬
،
‫مربعات‬ ‫از‬
‫خطا‬
‫می‬ ‫استفاده‬
‫کنیم‬
.
‫مدل‬ ‫برآورد‬

‫هدف‬
OLS
‫معرفی‬
‫باشد‬ ‫داشته‬ ‫ها‬‫آن‬ ‫از‬ ‫را‬ ‫فاصله‬ ‫کمترین‬ ‫یا‬ ‫عبورکند‬ ‫موجود‬ ‫های‬‫داده‬ ‫یا‬ ‫ها‬‫نقطه‬ ‫بیشتر‬ ‫از‬ ‫که‬ ‫است‬ ‫تابعی‬ ‫یا‬ ‫خط‬
.

‫پارامترهای‬
𝛽0
‫و‬
𝛽1
‫کردن‬ ‫کمینه‬ ‫با‬ ‫را‬
RSS
‫آورد‬ ‫می‬ ‫دست‬ ‫به‬
:
 RSS (Residual Sum of Squares) :
𝑅𝑆𝑆 = 𝜖1
2
+ 𝜖2
2
+ ⋯ + 𝜖𝑛
2
𝑅𝑆𝑆 = (𝑦1 − (𝛽0 + 𝛽1𝑥1))2
+(𝑦2 − (𝛽0 + 𝛽1𝑥2))2
+ ⋯ + (𝑦𝑛 − (𝛽0 + 𝛽1𝑥𝑛))2
𝛽1 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝑦𝑖−𝑦)
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 , 𝛽0 = 𝑦 − 𝛽1𝑥
•
‫های‬ ‫فرمول‬ ‫که‬ ‫آنجا‬ ‫از‬
𝛽0
‫و‬
𝛽1
‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬
‫حاصل‬ ‫خط‬ ،
(
𝑦 = 𝛽0 + 𝛽1x
)
‫عنوان‬ ‫به‬ ‫غالبا‬
«
‫خط‬
‫مربعات‬ ‫حداقل‬
»
‫میشود‬ ‫یاد‬
.
‫مدل‬ ‫برآورد‬
‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽1
•
𝑑
𝑑𝛽1
𝑅𝑆𝑆 = −2 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 −𝛽0𝑥𝑖 −𝛽1𝑥𝑖
2
)
• −2 𝑖=1
𝑛
𝑦𝑖𝑥𝑖 − 𝑦 −𝛽1𝑥 𝑥𝑖−𝛽1𝑥𝑖
2
= 0
• 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖 +𝛽1𝑥𝑥𝑖 −𝛽1𝑥𝑖
2
) = 0
• 𝛽1= 𝑖=1
𝑛
(𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖)
𝑖=1
𝑛
(𝑥𝑖
2 − 𝑥𝑥𝑖)
 𝛽1= 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝑦𝑖−𝑦)
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
•
‫راهنمایی‬
:
• 𝑖=1
𝑛
(𝑥𝑦𝑖 − 𝑥𝑦) = 𝑥 𝑖=1
𝑛
(𝑦𝑖 − 𝑦) = 0
• 𝑖=1
𝑛
(𝑥2
− 𝑥𝑥𝑖) = 𝑥 𝑖=1
𝑛
(𝑥−𝑥𝑖) = 0
‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
• 𝑅𝑆𝑆 = 𝑖=1
𝑛
(𝑦𝑖 − 𝛽0 − 𝛽1𝑥𝑖)2
•
𝑑
𝑑𝛽0
𝑅𝑆𝑆 = −2 𝑖=1
𝑛
𝑦𝑖 −𝛽0 − 𝛽1𝑥𝑖 = 0
• 𝑖=1
𝑛
𝑦𝑖 − 𝑛𝛽0 − 𝛽1 i=1
n
xi = 0
 𝛽0= 𝑦 − 𝛽1𝑥
‫مدل‬ ‫برآورد‬

‫رگرسیون‬ ‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برازش‬
«
‫فروش‬ ‫تعداد‬
»
‫ی‬
‫ک‬
‫حسب‬ ‫بر‬ ‫خاص‬ ‫محصول‬
«
‫در‬ ‫تبلیغات‬ ‫هزینه‬
TV
»
:
•
‫خط‬ ‫هر‬
‫خاکستری‬
‫قائم‬
‫میدهد‬ ‫نشان‬ ‫را‬ ‫خطا‬ ‫یک‬
.
sales = 𝛽0 + 𝛽1 ∗ TV + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥
sales = β0 + β1 ∗ TV
‫مدل‬ ‫برآورد‬

‫بعدی‬ ‫سه‬ ‫ی‬ ‫نقشه‬
RSS
‫مشخص‬ ‫ی‬ ‫داده‬ ‫نمونه‬ ‫یک‬ ‫برای‬
:
•
‫معادل‬ ‫قرمز‬ ‫ی‬ ‫نقطه‬
(
𝛽0
‫و‬
𝛽1
)
‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫با‬ ‫که‬ ‫است‬
‫است‬ ‫آمده‬
.
•
‫مقدار‬ ‫که‬ ‫میشود‬ ‫مشاهده‬
RSS
‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬ ‫در‬
.
‫مدل‬ ‫برآورد‬

‫مثال‬
:
•
𝛽0 = 7.03
‫و‬
𝛽1 = 0.0475
‫است‬ ‫آمده‬ ‫دست‬ ‫به‬
‫؛‬
‫کردن‬ ‫اضافه‬ ‫با‬ ‫صورت‬ ‫این‬ ‫در‬
1000
$
‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫به‬
‫تلویزیونی‬
،
‫میکند؟‬ ‫تغییری‬ ‫چه‬ ‫محصول‬ ‫فروش‬ ‫میزان‬
𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖
sale𝑖 = 𝛽0 + 𝛽1TV𝑖
𝑦𝑖 = 7.03 + 0.0475𝑥𝑖
𝑦𝑛𝑒𝑤 = 7.03 + 0.0475𝑥𝑛𝑒𝑤 = 7.03 + 0.0475 𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 1000 =
7.03 + 0.0475𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5 = 𝑦𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5

‫محصول‬ ‫فروش‬
47.5
‫یابد‬ ‫می‬ ‫افزایش‬ ‫واحد‬
.
‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬
‫مرحله‬
1
:
‫مدل‬ ‫بندی‬ ‫فرمول‬
‫مرحله‬
4
:
‫مدل‬ ‫از‬ ‫استفاده‬
‫مرحله‬
3
:
‫مدل‬ ‫ارزیابی‬
‫مرحله‬
2
:
‫مدل‬ ‫برآورد‬
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫بین‬ ‫ی‬ ‫رابطه‬ ‫دقیق‬ ‫فرم‬
𝑋
‫و‬
𝑌
:
Y = f X + ϵ
•
‫توجه‬
:
‫تابع‬
f
‫و‬ ‫است‬ ‫نامشخص‬ ‫و‬ ‫ثابت‬
𝜖
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫عبارت‬
.

‫اگر‬
f
‫باشد‬ ‫خطی‬ ‫تابع‬ ‫یک‬
،
‫بنویسیم‬ ‫زیر‬ ‫صورت‬ ‫به‬ ‫را‬ ‫رابطه‬ ‫میتوانیم‬
:
Y = 𝛽0 + 𝛽1X + 𝜖

‫جمعیت‬ ‫رگرسیون‬ ‫خط‬
(
𝑦 = 𝛽0 + 𝛽1𝑥
)
‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫واقعی‬ ‫کاربردهای‬ ‫در‬ ‫معموال‬
،
‫است‬ ‫ثابت‬ ‫و‬ ‫نامشخص‬ ‫جامعه‬ ‫رگرسیون‬ ‫خط‬
.

‫میتوان‬
‫دیتای‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬
‫موجود‬
،
‫ضرایب‬
𝛽0
‫و‬
𝛽1
‫را‬
‫آورد‬ ‫بدست‬
.
‫حاصل‬ ‫خط‬
(
y
= 𝛽0 + 𝛽1𝑥
)
‫گوییم‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫را‬
.
•
‫خط‬
‫حداقل‬
‫نیست‬ ‫یکتا‬ ‫مربعات‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫مثال‬
:

‫خط‬
‫بین‬ ‫واقعی‬ ‫ی‬ ‫رابطه‬ ‫قرمز‬
X
‫و‬
𝑌
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬
،
f(x) = 2 + 3x
،
‫را‬ ‫آن‬ ‫که‬
‫نامیم‬ ‫می‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬
.

‫مشاهده‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫است‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬ ‫آبی‬ ‫خط‬
‫است‬ ‫شده‬ ‫محاسبه‬ ‫شده‬
.

‫دیتاست‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬
𝑦 = 2 + 3x + 𝜖
‫است‬ ‫شده‬ ‫سازی‬ ‫شبیه‬
‫؛‬
‫این‬ ‫به‬
‫که‬ ‫صورت‬
100
‫عدد‬
𝑥𝑖
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫کردیم‬ ‫ایجاد‬ ‫تصادفی‬
،
𝑦𝑖
‫را‬ ‫متناظر‬ ‫های‬
‫حساب‬
‫کردیم‬
،
𝜖𝑖
‫ها‬
‫دست‬ ‫به‬ ‫صفر‬ ‫میانگین‬ ‫با‬ ‫نرمال‬ ‫توزیع‬ ‫یک‬ ‫از‬
‫اند‬ ‫آمده‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫مثال‬ ‫ادامه‬
:

‫است‬ ‫شده‬ ‫داده‬ ‫نشان‬ ‫قرمز‬ ‫رنگ‬ ‫با‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫همچنان‬
.

‫است‬ ‫نامشخص‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫معموال‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
.

‫خطوط‬
‫آبی‬
‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬
‫مربعات‬ ‫حداقل‬
‫هستند‬
‫و‬
‫متفاوت‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬
‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬
.

‫نیست‬ ‫یکتا‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬
‫و‬
‫چون‬ ‫میکند‬ ‫تغییر‬ ‫کمی‬ ‫دیتا‬ ‫تغییر‬ ‫اساس‬ ‫بر‬
‫های‬ ‫نمونه‬
‫مختلف‬
،
‫میکنند‬ ‫فراهم‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫مختلفی‬ ‫های‬ ‫مجموعه‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫سوال‬
:
‫بین‬ ‫ی‬ ‫رابطه‬ ‫تعریف‬ ‫برای‬ ‫متفاوت‬ ‫خط‬ ‫دو‬ ‫دیتاست‬ ‫یک‬ ‫فقط‬ ‫وجود‬ ‫با‬ ‫چرا‬
𝑋
‫و‬
𝑌
‫دارد؟‬ ‫وجود‬
(a
y = β0 + β1x
:
‫رگرسیون‬ ‫خط‬
‫جمعیت‬
(b
y = β0 + β1x
:
‫حداقل‬ ‫خط‬
‫مربعات‬

‫جواب‬
:
•
‫این‬
‫خط‬ ‫دو‬
،
‫مصداق‬
‫بزرگ‬ ‫جمعیت‬ ‫یک‬ ‫خصوصیات‬ ‫برآورد‬ ‫برای‬ ‫نمونه‬ ‫یک‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬ ‫استاندارد‬ ‫آماری‬ ‫رویکرد‬
‫تر‬
‫هستند‬
.
•
‫مثال‬
:
‫جمعیت‬ ‫میانگین‬ ‫برآورد‬
(
𝜇
)
‫تصادفی‬ ‫متغیر‬
Y
‫از‬ ‫استفاده‬ ‫با‬
n
‫ی‬ ‫مشاهده‬
𝑦𝑛 , … , 𝑦2 , 𝑦1
:
𝜇 = 𝑦 =
1
𝑛 𝑖=1
𝑛
𝑦𝑖

‫میکنیم‬ ‫سعی‬ ‫مشابه‬ ‫صورت‬ ‫به‬
‫از‬ ‫استفاده‬ ‫با‬
𝛽0
‫و‬
𝛽1
‫محاسبه‬
‫روش‬ ‫با‬ ‫شده‬
‫حداقل‬
‫مربعات‬
،
‫نامشخص‬ ‫پارامترهای‬
𝛽0
‫و‬
𝛽1
‫را‬
‫کنیم‬ ‫برآورد‬
.
‫یعنی‬
‫هستند‬ ‫قرمز‬ ‫خط‬ ‫برای‬ ‫برآوردی‬ ‫آبی‬ ‫خطوط‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫برآوردگر‬
:
•
‫تقریبی‬ ‫و‬ ‫است‬ ‫وابسته‬ ‫نمونه‬ ‫اطالعات‬ ‫به‬ ‫که‬ ‫است‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬ ، ‫جمعیت‬ ‫پارامتر‬ ‫یک‬ ‫برآوردگر‬
‫مقدار‬ ‫از‬
‫ایجاد‬ ‫را‬ ‫پارامتر‬ ‫این‬ ‫نامشخص‬
‫میکند‬
.

𝜇 = 𝑦
:
‫برآوردگر‬
𝜇

𝛽0
:
‫برآوردگر‬
𝛽0

𝛽1
:
‫برآوردگر‬
𝛽1
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
•
‫معیاری‬ ‫اریبی‬
‫میزان‬ ‫دادن‬ ‫نشان‬ ‫برای‬
‫مقدار‬ ‫نزدیکی‬
‫برآوردگر‬ ‫انتظار‬ ‫مورد‬
‫است‬ ‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬
:
• 𝐵𝑖𝑎𝑠𝑒 𝜃 = 𝐸 𝜃 − 𝜃
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
•
‫باشد‬ ‫نااریب‬ ‫یا‬ ‫اریب‬ ‫است‬ ‫ممکن‬ ‫برآوردگر‬
.
•
‫برآوردگر‬
𝜃
‫نااریب‬
‫است‬
‫؛‬
‫اگر‬ ‫فقط‬ ‫و‬ ‫اگر‬
:
• 𝐸 𝜃 = 𝜃
•
‫میانگین‬
𝛽0
‫و‬
𝛽1
‫زیادی‬ ‫تعداد‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شده‬ ‫محاسبه‬ ‫های‬
‫داده‬ ‫مجموعه‬
‫متفاوت‬
،
‫به‬ ‫نزدیک‬ ‫بسیار‬
𝛽0
‫و‬
𝛽1
‫خواهد‬
‫بود‬
(
‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫چندین‬ ‫میانگین‬
‫است‬ ‫نزدیک‬
.)
•
‫برآوردگرهای‬
𝛽0
‫و‬
𝛽1
‫هستند‬ ‫نااریب‬
:
• 𝐸 𝛽0 = 𝛽0
• 𝐸 𝛽1 = 𝛽1
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫برآوردگر‬ ‫نااریبی‬ ‫اثبات‬
𝛽1
:
• 𝛽1= 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝑦𝑖−𝑦)
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)𝑦𝑖
𝑖=1
𝑛
(𝑥𝑖−𝑥)2 −
𝑦 𝑖=1
𝑛
𝑥𝑖−𝑥
𝑖=1
𝑛
𝑥𝑖−𝑥 2 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)𝑦𝑖
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
 (becaus𝑒 𝑖=1
𝑛
𝑥𝑖 − 𝑥 = 0)
• 𝛽1 = 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝛽0+𝛽1𝑥𝑖+𝜖𝑖)
𝑖=1
𝑛 (𝑥𝑖−𝑥)2 =
1
𝑖=1
𝑛 𝑥𝑖−𝑥 2
(𝛽0 𝑖=1
𝑛
𝑥𝑖 − 𝑥 + 𝛽1 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝑥𝑖
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫اثبات‬ ‫ادامه‬
‫برآوردگر‬ ‫نااریبی‬
𝛽1
:
• 𝐸 𝛽1 𝑋
• = 𝐸 𝛽1 𝑋 + 𝐸 𝑖=1
𝑛
𝑥𝑖−𝑥 𝜖𝑖
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝐸 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝜖𝑖 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛
𝑥𝑖−𝑥 2 𝑖=1
𝑛
𝐸 𝑥𝑖 − 𝑥 𝜖𝑖 𝑋
• = 𝛽1 +
1
𝑖=1
𝑛 𝑥𝑖−𝑥 2 𝑖=1
𝑛
𝑥𝑖 − 𝑥 𝐸 𝜖𝑖 𝑋
• = 𝛽1

𝛽1
‫است‬ ‫نااریب‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫اثبات‬
‫برآوردگر‬ ‫نااریبی‬
𝛽0
:
• 𝑖=1
𝑛
𝑦𝑖 = 𝑛𝛽0 + 𝛽1 𝑖=1
𝑛
𝑥𝑖 + 𝑖=1
𝑛
𝜖𝑖
• 𝑦 = 𝛽0 + 𝛽1𝑥 + 𝜖 (divide by n)
• 𝛽0= 𝑦 − 𝛽1𝑥 = 𝛽0 + 𝛽1𝑥 + 𝜖 − 𝛽1𝑥 = 𝛽0 + (𝛽1 − 𝛽1)𝑥 + 𝜖
• 𝐸 𝛽0|𝑋 = 𝐸 𝛽0|𝑋 + 𝐸 𝛽1 − 𝛽1 𝑥|𝑋 + 𝐸 𝜖|𝑋 = 𝛽0 + 𝑥 𝛽1 − 𝐸 𝛽1|𝑋 = 𝛽0 + 𝑥 𝛽1 − 𝛽1
= 𝛽0
 (because 𝐸 𝜖|𝑋 = 𝐸 𝑖=1
𝑛
𝜖𝑖
𝑛
|𝑋 =
1
𝑛 𝑖=1
𝑛
𝐸 𝜖𝑖 𝑋 = 0)

𝛽0
‫است‬ ‫نااریب‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
•
‫است‬ ‫کارآمدتر‬ ‫چپ‬ ‫سمت‬ ‫برآوردگر‬
‫؛‬
‫چون‬
‫برای‬
‫کمتری‬ ‫مشاهدات‬ ‫به‬ ، ‫معین‬ ‫عملکرد‬ ‫یک‬ ‫به‬ ‫دستیابی‬
‫نیاز‬
‫دارد‬
.
•
‫اگر‬
‫شده‬ ‫برآورد‬ ‫مقادیر‬
،
‫مت‬ ‫بسیار‬ ‫دیگر‬ ‫نمونه‬ ‫به‬ ‫نمونه‬ ‫یک‬ ‫از‬
‫فاوت‬
‫​اری‬​ ‫متوسط‬ ‫طور‬ ‫به‬ ‫برآوردگر‬ ‫یک‬ ‫اینکه‬ ‫دانستن‬ ‫صرفا‬ ، ‫باشد‬
‫ب‬
‫نیست‬ ‫کافی‬ ، ‫نیست‬
.

‫مهم‬ ‫سوال‬
:
•
‫؟‬ ‫است‬ ‫دقیق‬ ‫چقدر‬ ‫تصادفی‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫برآورد‬
•
‫دیگر‬ ‫عبارت‬ ‫به‬
،
‫تص‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫شده‬ ‫برآورد‬ ‫مقدار‬
‫ادفی‬
،
‫است؟‬ ‫نزدیک‬ ‫جمعیت‬ ‫پارامتر‬ ‫به‬ ‫چقدر‬
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫معیار‬ ‫انحراف‬
(
Standard Deviation
: )
•
‫دهد‬‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫پراکندگی‬ ‫های‬ ‫شاخص‬ ‫از‬ ‫یکی‬
‫طور‬ ‫به‬
‫مقدار‬ ‫از‬ ‫مقدار‬ ‫چه‬ ‫ها‬‫داده‬ ‫میانگین‬
‫متوسط‬
‫دارند‬ ‫فاصله‬
.
𝜎 = 𝑉𝑎𝑟𝑃𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛 = 𝑖=1
𝑁 (𝑌𝑖−𝜇)2
𝑁
, 𝜇 = 𝑖=1
𝑁
𝑌𝑖
𝑁
•
‫معیار‬ ‫انحراف‬ ‫برآوردگر‬
:
S = 𝑉𝑎𝑟𝑆𝑎𝑚𝑝𝑙𝑒 = 𝑖=1
𝑛 (𝑌𝑖−𝑌)2
𝑛−1
, 𝑌 = 𝑖=1
𝑛
𝑌𝑖
𝑛

𝑌
‫جمعیت‬ ‫میانگین‬ ‫برای‬ ‫برآوردی‬ ،
(
‫یعنی‬
𝜇
)
‫است‬
.

‫جای‬ ‫به‬
𝑛
‫بر‬
(𝑛 − 1)
‫تقسیم‬
، ‫است‬ ‫شده‬
‫زیرا‬
‫شده‬ ‫برآورد‬ ‫جمعیت‬ ‫میانگین‬
‫و‬
‫کار‬ ‫این‬ ‫انجام‬
«
‫آزادی‬ ‫درجه‬ ‫یک‬
»
‫هزینه‬ ‫ما‬ ‫برای‬
‫دارد‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
‫میانگین‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬ 
‫استاندارد‬ ‫خطای‬
(
(Standard Error
:
•
‫انحراف‬
‫نمونه‬ ‫توزیع‬ ‫یک‬ ‫معیار‬
‫برداری‬
(
‫آماره‬ ‫توزیع‬
)
‫اس‬
‫ت‬
.
•
‫خطای‬
‫انحراف‬ ‫و‬ ‫استاندارد‬
‫معیار‬
‫برای‬ ‫معیارهای‬ ‫دو‬ ‫هر‬
‫هستند‬ ‫تغییر‬ ‫توصیف‬
.
‫انحراف‬
‫معیار‬
‫تغیی‬ ‫دهنده‬ ‫نشان‬
‫موجود‬ ‫ر‬
‫استاندارد‬ ‫خطای‬ ‫که‬ ‫حالی‬ ‫در‬ ، ‫است‬ ‫نمونه‬ ‫یک‬ ‫در‬
‫جمعیت‬ ‫یک‬ ‫های‬ ‫نمونه‬ ‫در‬ ‫تغییرموجود‬
‫مشخص‬ ‫را‬
‫کند‬ ‫می‬
.
•
‫که‬ ‫نااریب‬ ‫برآوردگرهای‬ ‫در‬
𝐸 𝜃 = 𝜃
‫باشد‬ ‫می‬
،
‫برای‬
‫برآورد‬
‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬ ‫برآوردگر‬ ‫نزدیکی‬ ‫میزان‬
‫شود‬‫می‬ ‫استفاده‬
.
•
‫است‬ ‫برآوردگر‬ ‫دقت‬ ‫برای‬ ‫معیاری‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬
𝑌
:
Var Y = Var(
1
n i=1
n
Yi) =
1
n2 𝑖=1
𝑛
𝑉𝑎𝑟(𝑌𝑖) =
𝑛𝜎2
𝑛2 =
𝜎2
𝑛
SE(𝑌) = Var(𝑌) =
𝜎
𝑛
•
𝜎
‫معیار‬ ‫انحراف‬
‫آن‬ ‫نبودن‬ ‫مشخص‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫جمعیت‬
،
‫یعنی‬ ‫آن‬ ‫برآوردگر‬ ‫از‬
S
‫میکنیم‬ ‫استفاده‬
.
•
‫به‬
‫میتوان‬ ‫مشابه‬ ‫صورت‬
‫دقت‬
𝛽0
‫و‬
𝛽1
‫برآورد‬ ‫در‬ ‫را‬
𝛽0
‫و‬
𝛽1
‫کرد‬ ‫بررسی‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬
𝛽0
‫و‬
𝛽1
:
• 𝑆𝐸 𝛽0
2
= Var 𝛽0 = 𝜎2(
1
𝑛
+
𝑥2
𝑖=1
𝑛
(𝑥𝑖−𝑥)2)
• 𝑆𝐸 𝛽1
2
= Var 𝛽1 =
𝜎2
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
•
‫توجه‬
:
𝜎2
= Var(𝜖)
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫باقیمانده‬ ‫استاندارد‬ ‫خطای‬
(residual standard error)
:
•
‫مقدار‬ ‫بودن‬ ‫نامشخص‬ ‫صورت‬ ‫در‬
𝜎
،
‫کنیم‬ ‫برآورد‬ ‫را‬ ‫آن‬ ‫زیر‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫میتوانیم‬
.
• RSE =
𝑅𝑆𝑆
𝑛−2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
𝑛−2
=
𝜖1
2
+𝜖2
2
+⋯+𝜖𝑛
2
𝑛−2
•
‫بر‬ ‫را‬ ‫مجموع‬
(𝑛 − 2)
‫تقسیم‬
‫می‬
‫کنیم‬
‫استفاده‬ ‫در‬ ‫زیرا‬ ،
‫از‬
𝑦𝑖
،
‫کنیم‬ ‫می‬ ‫برآورد‬ ‫را‬ ‫پارامتر‬ ‫دو‬ ‫ما‬
-
𝛽0
(
‫مبدا‬ ‫از‬ ‫عرض‬
)
‫و‬
𝛽1
(
‫شیب‬
)
-
‫یعنی‬
«
‫آزادی‬ ‫درجه‬ ‫دو‬
»
‫دهیم‬ ‫می‬ ‫دست‬ ‫از‬ ‫را‬
.
•
‫فرمول‬ ‫در‬ ‫چنانچه‬
𝑆𝐸 𝛽𝑖
2
‫مقدار‬ ‫از‬
𝜎
‫کنیم‬ ‫استفاده‬ ‫شده‬ ‫برآورد‬
،
‫صورت‬ ‫به‬ ‫را‬ ‫آن‬ ‫باید‬
𝑆𝐸 𝛽𝑖
2
‫دهیم‬ ‫نشان‬
.
‫سادگی‬ ‫برای‬ ‫اما‬
‫عالمت‬ ‫این‬ ‫از‬
«
hat
»
‫میکنیم‬ ‫صرفنظر‬ ‫اضافی‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫استاندارد‬ ‫خطای‬ ‫ی‬ ‫اندازه‬ ‫بر‬ ‫موثر‬ ‫عوامل‬
:
.A
‫نمونه‬ ‫حجم‬
n
:
•
‫مخرج‬
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
‫به‬
n
‫دارد‬ ‫بستگی‬
.
‫بزرگتر‬ ‫نمونه‬ ‫حجم‬ ‫چه‬ ‫هر‬
‫میشود‬ ‫اضافه‬ ‫مجموع‬ ‫این‬ ‫به‬ ‫بیشتری‬ ‫عبارات‬ ،‫باشد‬
.
•
‫نم‬ ‫اندازه‬ ‫افزایش‬ ‫با‬ ‫رگرسیون‬ ‫خطوط‬ ‫ابر‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
‫ونه‬
‫شود‬ ‫می‬ ‫تر‬ ‫فشرده‬
.
‫م‬ ‫در‬ ‫مدل‬ ‫بیشتر‬ ‫اطمینان‬ ‫از‬ ‫حاصل‬ ‫نتیجه‬ ‫این‬
‫ورد‬
‫مکان‬
‫است‬ ‫وسط‬
.
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬
.C
‫مقادیر‬ ‫پراکندگی‬
𝑥
:
𝑖=1
𝑛
(𝑥𝑖−𝑥)2
.B
‫خط‬ ‫اطراف‬ ‫در‬ ‫پراکندگی‬
‫رگرسیون‬
:
𝑆𝜖 = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦𝑖)2
𝑛 − 2
‫ضرایب‬ ‫برآورد‬ ‫دقت‬ ‫ارزیابی‬

‫استنباط‬
‫پارامترهای‬
‫جمعیت‬
:
•
‫در‬
‫نهایت‬
‫عالقه‬
‫ایم‬ ‫کرده‬ ‫مشاهده‬ ‫که‬ ‫خاصی‬ ‫نمونه‬ ‫نه‬ ، ‫هستیم‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫نتیجه‬ ‫به‬ ‫مند‬
.
•
‫مورد‬ ‫در‬ ‫مندیم‬ ‫عالقه‬ ، ‫ساده‬ ‫رگرسیون‬ ‫تنظیم‬ ‫در‬
𝛽0
‫و‬
𝛽1
‫بگیریم‬ ‫یاد‬
.
•
«
‫اطمینان‬ ‫فواصل‬
»
‫و‬
«
‫فرضیه‬ ‫آزمونهای‬
»
‫جمعیت‬ ‫پارامترهای‬ ‫مقادیر‬ ‫درباره‬ ‫یادگیری‬ ‫برای‬ ، ‫متفاوت‬ ‫اما‬ ، ‫مرتبط‬ ‫روش‬ ‫دو‬
‫هستند‬
.
•
‫کردن‬ ‫محاسبه‬ ‫برای‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫میتوان‬
‫اطمینان‬ ‫فواصل‬
‫انجام‬ ‫یا‬ ،
‫فرض‬ ‫آزمونهای‬
‫کرد‬ ‫استفاده‬ ‫ضرایب‬ ‫روی‬ ‫بر‬
.
‫آمار‬ ‫علم‬ ‫های‬ ‫شاخه‬

‫آمار‬
‫توصیفی‬
:
•
‫نتایج‬ ‫توصیف‬ ‫برای‬
‫و‬
‫می‬ ‫استفاده‬ ‫ها‬ ‫داده‬ ‫در‬ ‫موجود‬ ‫های‬ ‫ویژگی‬
‫شود‬
.
•
‫اطالعات‬
‫یک‬ ‫از‬ ‫حاصل‬
، ‫گروه‬
‫و‬ ‫کند‬‫می‬ ‫توصیف‬ ‫را‬ ‫گروه‬ ‫همان‬
‫شود‬‫نمی‬ ‫داده‬ ‫تعمیم‬ ‫مشابه‬ ‫جات‬‫دسته‬ ‫به‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬
.

‫استنباطی‬ ‫آمار‬
:
•
‫براساس‬ ‫آماری‬ ‫جامعه‬ ‫شناخت‬ ، ‫هدف‬
‫مقادیر‬
‫های‬‫نمونه‬ ‫از‬ ‫حاصل‬
‫است‬ ‫تصادفی‬
.
•
‫کل‬ ‫به‬ ‫را‬ ‫نمونه‬ ‫مطالعه‬ ‫از‬ ‫حاصل‬ ‫نتایج‬
‫جمعیت‬
‫میدهد‬ ‫تعمیم‬
.
•
‫در‬
‫از‬ ‫گذر‬
‫به‬ ‫نمونه‬
‫جامعه‬
،
‫شروع‬ ‫احتمال‬ ‫نقش‬ ‫و‬ ‫بحث‬
‫شود‬‫می‬
‫؛‬
‫نتایج‬ ‫واقع‬ ‫در‬
‫صورت‬ ‫به‬ ‫را‬ ‫نهایی‬
‫احتمالی‬
‫دهد‬‫می‬ ‫ارائه‬
.
•
«
‫کردن‬ ‫برآورد‬
»
‫و‬
«
‫آماری‬ ‫فرض‬ ‫آزمون‬
»
‫استنباطی‬ ‫آمار‬ ‫روشهای‬
‫هستند‬
.
‫برآورد‬
‫کردن‬

‫برآورد‬ ‫روشهای‬
‫پارامتر‬
‫جمعیت‬
،
‫از‬ ‫استفاده‬ ‫با‬
‫نمونه‬
:
.A
‫نقطه‬ ‫برآورد‬
:
‫م‬ ‫به‬ ‫جمعیت‬ ‫پارامتر‬ ‫برآورد‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫واحدی‬ ‫مقدار‬
‫ا‬
‫میدهد‬
،
‫نمونه‬ ‫میانگین‬ ‫مثال‬ ‫برای‬
.
.B
‫اطمینان‬ ‫فاصله‬ ‫برآورد‬
:
‫پار‬ ‫شامل‬ ‫احتماال‬ ‫که‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫طیفی‬
‫امتر‬
‫میدهد‬ ‫ما‬ ‫به‬ ‫است‬ ‫جمعیت‬
.

‫احتمال‬
‫را‬ ‫باشد‬ ‫جمعیت‬ ‫پارامتر‬ ‫شامل‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫آنکه‬
«
‫سطح‬
‫اعتماد‬
»
‫گویند‬
.

‫ضرایب‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫داریم‬ ‫قصد‬
𝛽0
‫و‬
𝛽1
‫استاندارد‬ ‫خطای‬ ‫و‬
‫آنها‬
،
‫بازه‬
‫شامل‬ ‫مشخص‬ ‫احتمال‬ ‫با‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫هایی‬
‫پارامترهای‬
𝛽0
‫و‬
𝛽1
‫هستند‬
.
‫برداری‬ ‫نمونه‬ ‫توزیع‬
𝛽1
‫نمونه‬ ‫توزیع‬
‫برداری‬
𝛽0
‫نرمال‬ ‫توزیع‬

‫توزیع‬
‫مرکز‬ ‫از‬ ‫فاصله‬ ‫و‬ ‫نرمال‬
،
‫انحراف‬ ‫برحسب‬
‫معیار‬
:
•
‫ی‬ ‫محدوده‬ ‫در‬
2
±
‫واحد‬
‫معیار‬ ‫انحراف‬
(
‫برداری‬ ‫نمونه‬ ‫توزیع‬ ‫در‬ ‫استاندارد‬ ‫خطای‬
)
‫از‬
‫میانگین‬
،
‫حدود‬
95
%
‫اند‬ ‫گرفته‬ ‫قرار‬ ‫ها‬ ‫داده‬
.
‫نرمال‬ ‫توزیع‬

‫به‬
‫احتمال‬
95
%
‫در‬ ‫جمعیت‬ ‫پارامتر‬
‫فاصله‬
±2
𝜎
𝑛
‫قرار‬ ‫برآوردگر‬ ‫از‬
‫دارد‬
.

‫اطمینان‬ ‫سطح‬
:
95
%

‫بازه‬
‫اطمینان‬
:
(𝑋 − 2
𝜎
𝑛
, 𝑋 + 2
𝜎
𝑛
)
‫توزیع‬
z

‫توزیع‬
z
‫یا‬
«
‫استاندارد‬ ‫نرمال‬ ‫توزیع‬
»
:
𝑧 =
𝑥 − 𝜇
𝜎

‫میانگین‬
:
0

‫معیار‬ ‫انحراف‬
:
1
•
‫نرمال‬ ‫توزیع‬ ‫به‬ ‫میتوان‬ ‫را‬ ‫نرمال‬ ‫توزیع‬ ‫هر‬
‫کرد‬ ‫تبدیل‬ ‫استاندارد‬
.
‫توزیع‬
t
•
‫مواقع‬ ‫اکثر‬ ‫در‬
،
‫برای‬
‫فواصل‬ ‫محاسبه‬
‫توزیع‬ ‫جای‬ ‫به‬ ‫اطمینان‬
z
‫های‬‫توزیع‬ ‫از‬
t
‫میکنیم‬ ‫استفاده‬
.
•
‫برای‬
‫ایجاد‬ ‫چندانی‬ ‫تفاوت‬ ،‫بزرگ‬ ‫های‬‫نمونه‬
‫کند‬‫نمی‬
(
‫با‬
‫بزرگتر‬
‫شدن‬
‫های‬ ‫درجه‬
،‫آزادی‬
‫های‬ ‫توزیع‬
𝑡
‫به‬
‫توزیع‬
𝑧
‫نزدیکتر‬
‫شود‬‫می‬
)
‫اما‬ ،
‫های‬‫نمونه‬ ‫برای‬
‫کوچکتر‬
‫کند‬ ‫ایجاد‬ ‫زیادی‬ ‫تفاوت‬ ‫تواند‬‫می‬
.
‫پارامتر‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫برآورد‬
•
‫بازه‬
‫اطمینان‬ ‫ی‬
‫مشخص‬ ‫اعتماد‬ ‫سطح‬ ‫با‬
،
‫دامنه‬
‫با‬ ‫که‬ ‫میکند‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬
‫اعتماد‬ ‫سطح‬ ‫با‬ ‫برابر‬ ‫احتمالی‬
،
‫نامش‬ ‫مقدار‬
‫خص‬
‫پارامتر‬
‫بود‬ ‫خواهد‬ ‫دامنه‬ ‫این‬ ‫در‬
.
‫اطمینان‬ ‫فاصله‬ = ‫مقدار‬
‫شده‬ ‫برآورد‬ ± ‫حاشیه‬
‫خطا‬
•
‫میگردد‬ ‫تعیین‬ ‫اطمینان‬ ‫سطح‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫ضریبی‬ ‫خطا‬ ‫حاشیه‬
.

‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬
𝛽1
:
‫مشخص‬ ‫احتمال‬ ‫با‬
(
1 − 𝛼
)
،
𝛽1
‫بازه‬ ‫در‬
[𝛽1 − 𝑡𝛼
2
, 𝑛−2
* SE(𝛽1) , 𝛽1+ 𝑡𝛼
2
, 𝑛−2
* SE(𝛽1)]
‫خواهد‬
‫بود‬
.

‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬
𝛽0
:
‫مشخص‬ ‫احتمال‬ ‫با‬
(
1 − 𝛼
)
،
𝛽0
‫بازه‬ ‫در‬
[𝛽0 − 𝑡𝛼
2
, 𝑛−2
* SE(𝛽0) , 𝛽0+ 𝑡𝛼
2
, 𝑛−2
* SE(𝛽0)]
‫خواهد‬
‫بود‬
.
•
‫مقدار‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
t
‫آزادی‬ ‫ی‬ ‫درجه‬ ‫و‬ ‫اعتماد‬ ‫سطح‬ ‫اساس‬ ‫بر‬
،
‫توزیع‬ ‫جدول‬ ‫از‬
t
‫آید‬ ‫می‬ ‫دست‬ ‫به‬
.
‫پارامتر‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫برآورد‬

‫کم‬ ‫اطمینان‬ ‫های‬‫فاصله‬ ،‫کلی‬ ‫طور‬ ‫به‬
‫تر‬ ‫عرض‬
‫هستند‬ ‫مفیدتر‬
.

‫عرض‬ ‫بر‬ ‫موثر‬ ‫عوامل‬
‫فاصله‬
‫برای‬ ‫اطمینان‬
𝛽
:
.A
‫استاندارد‬ ‫خطای‬
:
‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬
.
•
‫عوامل‬
‫شده‬ ‫بیان‬ ‫قبال‬ ‫استاندارد‬ ‫خطای‬ ‫بر‬ ‫موثر‬
‫است‬
.
.B
‫اطمینان‬ ‫سطح‬
:
‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬
.
•
‫واضح‬
‫که‬ ‫است‬
‫نمی‬
‫دهیم‬ ‫کاهش‬ ‫خیلی‬ ‫را‬ ‫اطمینان‬ ‫سطح‬ ‫خواهیم‬
.
‫زیر‬ ‫هرگز‬ ‫اطمینان‬ ‫سطح‬ ،‫معمول‬ ‫طور‬ ‫به‬
90
‫تنظیم‬ ٪
‫شود‬ ‫نمی‬
.

‫مثال‬
:
•
‫دیتاست‬ ‫در‬
advertising
‫اطمینان‬ ‫ی‬ ‫بازه‬
95
%
‫برای‬
𝛽0
[6.130 , 7.935]
‫و‬
‫اطمینان‬ ‫ی‬ ‫بازه‬
95
%
‫برای‬
𝛽1
[0.042 , 0.053]
‫است‬ ‫آمده‬ ‫دست‬ ‫به‬
.
•
‫گرفت‬ ‫نتیجه‬ ‫توان‬ ‫می‬
‫که‬
:

‫در‬
،‫فروش‬ ،‫تبلیغات‬ ‫هرگونه‬ ‫وجود‬ ‫عدم‬ ‫صورت‬
‫احتمال‬ ‫به‬
95
%
‫مقداری‬ ‫به‬
‫بین‬
6130
‫تا‬
7935
‫کند‬ ‫می‬ ‫سقوط‬ ‫واحد‬
.

‫هر‬ ‫ازای‬ ‫به‬
1000
‫احتمال‬ ‫به‬ ،‫تلویزیونی‬ ‫تبلیغات‬ ‫در‬ ‫افزایش‬ ‫دالر‬
95
%
‫بین‬ ‫فروش‬
42
‫تا‬
53
‫واحد‬
‫داشت‬ ‫خواهد‬ ‫افزایش‬
.

‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬ ‫روش‬
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬
X
‫پاسخ‬ ‫و‬
Y
‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬

‫آیا‬
𝛽1 ≠ 0
‫است‬
‫؟‬
•
‫اطمینان‬ ‫فاصله‬
‫محدوده‬
‫واقعی‬ ‫مقدار‬ ‫حاوی‬ ً‫ال‬‫احتما‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ما‬ ‫به‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬
‫نامشخص‬ ‫و‬
𝛽1
‫است‬
.

‫فاصله‬
‫برای‬ ‫اطمینان‬
𝛽1
‫حاوی‬
0
‫باشد‬
:
‫هیچ‬
‫خطی‬ ‫رابطه‬ ‫وجود‬ ‫بر‬ ‫مبنی‬ ‫مدرکی‬
‫بین‬
‫پیش‬
‫کننده‬ ‫بینی‬
𝑋
‫پاسخ‬ ‫و‬
𝑌
‫جمعیت‬ ‫در‬
‫ندارد‬ ‫وجود‬
.

‫فاصله‬
‫برای‬ ‫اطمینان‬
𝛽1
‫حاوی‬
0
‫نباشد‬
:
‫شواهدی‬
‫پیش‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬
‫کننده‬ ‫بینی‬
𝑋
‫و‬
‫پاسخ‬
𝑌
‫دارد‬ ‫وجود‬ ‫جمعیت‬ ‫در‬
.
‫ضرایب‬ ‫روی‬ ‫بر‬ ‫فرض‬ ‫آزمون‬

‫آزمون‬
t
‫برای‬
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬
X
‫پاسخ‬ ‫و‬
Y
‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬

‫آیا‬
𝛽1 ≠ 0
‫؟‬ ‫است‬
•
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫وجود‬
𝑋
‫پاسخ‬ ‫و‬
𝑌
‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬
‫گذاریم‬ ‫می‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ساده‬
:
• (𝐻0: 𝛽1 = 0) VS (𝐻𝑎: 𝛽1 ≠ 0)
•
‫بین‬ ‫رگرسیون‬ ‫خط‬
X
‫و‬
Y
‫آزمون‬ ‫از‬ ‫سپس‬ ‫و‬ ‫میکنیم‬ ‫برآورد‬ ‫را‬
t
‫رگرسی‬ ‫خط‬ ‫شیب‬ ‫است‬ ‫بعید‬ ‫آیا‬ ‫که‬ ‫ببینیم‬ ‫تا‬ ‫میکنیم‬ ‫استفاده‬
‫ون‬
‫جمعیت‬
(
𝛽1
)
‫خیر‬ ‫یا‬ ‫باشد‬ ‫صفر‬ ‫برابر‬
.
‫آماری‬ ‫فرض‬ ‫آزمون‬

‫فرض‬
‫آماری‬
:
•
‫حدس‬
‫ی‬ ‫درباره‬ ‫ادعایی‬ ‫یا‬
‫ویژگی‬
‫بررسی‬ ‫مورد‬ ‫جمعیت‬ ‫چند‬ ‫یا‬ ‫یک‬
‫ممکن‬ ‫و‬ ‫است‬
‫باشد‬ ‫نادرست‬ ‫یا‬ ‫درست‬ ‫است‬
.

‫فرض‬ ‫آزمون‬
‫آماری‬
:
•
‫هدف‬
‫قابل‬ ‫تقریبا‬ ‫آماری‬ ‫فرض‬ ،‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫موضوع‬ ‫این‬ ‫تعیین‬ ‫آماری‬ ‫فرض‬ ‫آزمون‬
‫تایید‬
‫خیر‬ ‫یا‬ ‫است‬
.
•
‫فرضیه‬
‫نمونه‬ ‫های‬ ‫داده‬ ‫با‬ ‫اما‬ ، ‫هستند‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫ها‬
‫بررسی‬ ‫آنها‬ ‫اعتبار‬
‫می‬
‫شود‬
.
•
‫هدف‬
‫آزمودن‬ ،
‫آن‬ ‫اثبات‬ ‫نه‬ ‫است‬ ‫فرض‬ ‫كردن‬ ‫آزمایش‬ ‫و‬
.

‫اثبات‬ ‫و‬ ‫فرضیه‬ ‫آزمون‬ ‫تفاوت‬
‫فرضیه‬
:
•
‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫غلط‬ ‫یا‬ ‫درست‬ ‫اثبات‬ ‫برای‬
‫باید‬
‫شکی‬ ‫هیچ‬ ‫بدون‬ ‫آید‬ ‫می‬ ‫بدست‬ ‫که‬ ‫ای‬ ‫نتیجه‬ ‫و‬ ‫کنیم‬ ‫بررسی‬ ‫را‬ ‫جمعیت‬ ‫کل‬
‫است‬ ‫برقرار‬
.
•
‫نیست‬ ‫قطعی‬ ‫نتیجه‬ ‫و‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫محتمل‬ ‫ارزیابی‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
.
‫آماری‬ ‫فرض‬ ‫آزمون‬

‫هستند‬ ‫یکدیگر‬ ‫نقیض‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫فرض‬ ‫دو‬ ‫همواره‬ ‫آزمون‬ ‫یک‬ ‫انجام‬ ‫در‬
:
.A
‫صفر‬ ‫فرض‬
(𝐻0)
:
‫شود‬ ‫آزمایش‬ ‫است‬ ‫قرار‬ ‫که‬ ‫آماری‬ ‫فرض‬
.
.B
‫مقابل‬ ‫فرض‬
(𝐻𝑎)
:
‫صفر‬ ‫فرض‬ ‫جایگزین‬
.
•
‫فرض‬
‫قوی‬ ‫ها‬ ‫داده‬ ‫آنکه‬ ‫مگر‬ ، ‫کند‬ ‫می‬ ‫پیروی‬ ‫صفر‬ ‫فرضیه‬ ‫از‬ ‫که‬ ‫است‬ ‫فرضی‬ ‫جمعیت‬ ‫یک‬ ‫ما‬ ‫جمعیت‬ ‫یعنی‬ ‫است‬ ‫صحیح‬ ‫صفر‬
‫آن‬ ‫برخالف‬ ‫ا‬
‫کنند‬ ‫حکم‬
.
•
‫غیرمحتمل‬ ‫و‬ ‫بعید‬ ‫کامال‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫ها‬ ‫داده‬ ‫اگر‬
‫باشند‬
،
‫را‬ ‫صفر‬ ‫فرض‬
‫رد‬
‫میکنیم‬
.
•
‫آزمون‬
‫برای‬ ،‫صریحی‬ ‫قواعد‬ ‫ی‬ ‫مجموعه‬ ‫گرفتن‬ ‫کار‬ ‫به‬ ‫از‬ ‫عبارتست‬ ‫آماری‬ ‫فرض‬ ‫یک‬
‫آنکه‬
‫که‬ ‫بگیریم‬ ‫تصمیم‬
‫آیا‬
‫صف‬ ‫فرض‬
‫ر‬
‫به‬ ‫را‬
‫نفع‬
‫رد‬ ‫مقابل‬ ‫فرض‬
‫ندارد‬ ‫وجود‬ ‫آن‬ ‫رد‬ ‫برای‬ ‫کافی‬ ‫شواهد‬ ‫یا‬ ‫کنیم‬
.
•
‫جم‬ ‫کل‬ ‫اساس‬ ‫بر‬ ‫نه‬ ، ‫است‬ ‫نمونه‬ ‫اطالعات‬ ‫اساس‬ ‫بر‬ ‫تصمیم‬ ‫زیرا‬ ‫است‬ ‫نشده‬ ‫اثبات‬ ‫آن‬ ‫جایگزین‬ ‫یا‬ ‫صفر‬ ‫فرضیه‬ ‫موردی‬ ‫هیچ‬ ‫در‬
‫عیت‬
.
‫اما‬
‫دارد‬ ‫وجود‬ ‫فرضیه‬ ‫بودن‬ ‫درست‬ ‫بر‬ ‫مبنی‬ ‫شواهدی‬ ‫که‬ ‫کرد‬ ‫اعالم‬ ‫اطمینان‬ ‫درجه‬ ‫با‬ ‫میتوان‬
.
‫آماری‬ ‫فرض‬ ‫آزمون‬ ‫مراحل‬
‫مرحله‬
1
:
‫صفر‬ ‫فرض‬ ‫کردن‬ ‫بیان‬
(H0)
‫مقابل‬ ‫فرض‬ ‫و‬
(Ha)
‫مرحله‬
4
:
‫معناداری‬ ‫سطح‬ ‫تعیین‬
𝛼
‫مرحله‬
3
:
‫آزمون‬ ‫ی‬ ‫دنباله‬ ‫کردن‬ ‫مشخص‬
‫مرحله‬
2
:
‫تعیین‬
«
‫آزمون‬ ‫ی‬ ‫آماره‬
»
‫آن‬ ‫توزیع‬ ‫و‬ ‫مناسب‬
‫مرحله‬
5
:
‫رد‬ ‫ناحیه‬ ‫کردن‬ ‫مشخص‬
‫مرحله‬
5
:
‫کردن‬ ‫مشخص‬
P_Value
‫مرحله‬
6
:
‫آن‬ ‫رد‬ ‫در‬ ‫شکست‬ ‫یا‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬
‫مقابل‬ ‫فرض‬ ‫و‬ ‫صفر‬ ‫فرض‬
𝐻0
‫نمون‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫است‬ ‫ادعایی‬ ‫نفی‬
‫آن‬ ‫ه‬
‫کنیم‬ ‫تایید‬ ‫را‬
‫؛‬
‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬
.
= ‫یا‬ ≤ ‫یا‬ ≥
𝐻𝑎
‫اطالعات‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫ادعایی‬ ‫خود‬
‫کنیم‬ ‫تایید‬ ‫را‬ ‫آن‬ ‫نمونه‬ ‫از‬ ‫حاصل‬
.
≠ ‫یا‬ < ‫یا‬ >
‫فرض‬ ‫و‬ ‫صفر‬ ‫فرض‬
‫مقابل‬
• 𝐻0: 𝛽1 = 0
• 𝐻𝑎: 𝛽1 ≠ 0

‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫میزنیم‬ ‫حدس‬
X
‫و‬
Y
‫دارد‬ ‫وجود‬
‫؛‬
‫هستیم‬ ‫موضوع‬ ‫این‬ ‫تایید‬ ‫دنبال‬ ‫به‬
.

‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫موضوع‬ ‫این‬
X
‫و‬
Y
‫میگذاریم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ندارد‬ ‫وجود‬
‫؛‬
‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬

‫فرض‬ ‫با‬ ‫نمونه‬ ‫سازگاری‬ ‫در‬ ‫موثر‬ ‫عوامل‬
‫صفر‬
:
.A
‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫تفاوت‬
(
‫آماره‬
)
،
‫صفر‬ ‫فرض‬ ‫در‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫با‬
(
‫صفر‬ ‫فرض‬ ‫تحت‬ ‫جمعیت‬ ‫پارامتر‬
: )
•
‫آیا‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫باید‬ ‫صفر‬ ‫فرض‬ ‫آزمون‬ ‫برای‬
𝛽1
‫به‬
، ‫است‬ ‫دور‬ ‫صفر‬ ‫از‬ ‫کافی‬ ‫ی‬ ‫اندازه‬
‫مطمئن‬ ‫توانیم‬ ‫می‬ ‫که‬ ‫چنان‬ ‫آن‬
‫که‬ ‫باشیم‬
𝛽1
‫غیرصفر‬
‫است‬
(
‫صفر‬ ‫فرض‬ ‫رد‬
)
‫یا‬ ،
‫نه‬
.
.B
‫خطای‬
‫استاندارد‬
‫آماره‬
:
•
‫سوال‬
:
‫ی‬ ‫فاصله‬ ‫اندازه‬ ‫چه‬
𝛽1
‫صفر‬ ‫از‬
،
‫شود؟‬ ‫رد‬ ‫صفر‬ ‫فرض‬ ‫تا‬ ‫است‬ ‫کافی‬
•
‫جواب‬
:
‫بستگی‬
‫دقت‬ ‫به‬
𝛽1
‫دارد‬
:

‫اگر‬
SE(𝛽1)
‫باشد‬ ‫کوچک‬
،
‫کوچک‬ ‫نسبتا‬ ‫مقادیر‬ ‫حتی‬
𝛽1
‫که‬ ‫باشد‬ ‫این‬ ‫از‬ ‫حاکی‬ ‫است‬ ‫ممکن‬ ‫نیز‬
𝛽1 ≠ 0

‫اگر‬
SE(𝛽1)
‫باشد‬ ‫بزرگ‬
،
‫باید‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
𝛽1
‫باشد‬ ‫بزرگ‬ ‫کامال‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬

‫آزمون‬ ‫ی‬ ‫آماره‬
:
•
‫است‬ ‫صفر‬ ‫فرض‬ ‫با‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫سازگاری‬ ‫میزان‬ ‫ارزیابی‬ ‫برای‬ ‫معیاری‬
.
•
‫ارزشی‬
‫شود‬ ‫می‬ ‫محاسبه‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫که‬ ‫است‬ ‫عددی‬
.

‫آزمون‬ ‫ی‬ ‫آماره‬
t
:
:
‫فرمول‬
‫آماره‬ − ‫پارامتر‬
‫جمعیت‬
‫با‬
‫قبول‬
‫فرض‬
‫صفر‬
‫خطای‬
‫استاندارد‬
‫آماره‬
•
‫برابر‬
‫که‬ ‫است‬ ‫معیارهایی‬ ‫انحراف‬ ‫تعداد‬
𝛽1
‫از‬
(𝛽1 = 0)
‫دارد‬ ‫فاصله‬
:
 𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 =
𝛽1− 𝛽1
SE(𝛽1)
‫آزمون‬ ‫ی‬ ‫آماره‬

‫کند‬ ‫می‬ ‫مقایسه‬ ‫رود‬ ‫می‬ ‫انتظار‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫آنچه‬ ‫با‬ ‫را‬ ‫نمونه‬ ‫های‬ ‫داده‬ ، ‫آزمون‬ ‫آماره‬
.
.A
‫صفر‬ ‫آزمون‬ ‫آماره‬
:
‫باشد‬ ‫داشته‬ ‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬
،
‫براب‬ ‫آزمون‬ ‫آماره‬
‫با‬ ‫ر‬
‫است‬ ‫صفر‬
.
.B
‫کوچک‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬
:
‫فرض‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬
‫صفر‬ ‫یه‬
‫ندارد‬ ‫وجود‬
.
.C
‫بزرگ‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬
:
‫نظ‬ ‫به‬ ‫بعید‬ ، ‫صفر‬ ‫فرض‬ ‫صحت‬ ‫تحت‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ارائه‬ ‫را‬ ‫نتایجی‬ ، ‫نمونه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫می‬ ‫ر‬
‫رسد‬
.
•
‫باشد‬ ‫بزرگ‬ ‫آزمون‬ ‫آماره‬ ‫اندازه‬ ‫است‬ ‫مطلوب‬ ، ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬ ‫توزیع‬
•
‫است‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬
.
•
‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬
‫داشته‬
‫بود‬ ‫خواهد‬ ‫جمعیت‬ ‫پارامتر‬ ‫با‬ ‫برابر‬ ‫نمونه‬ ‫آماره‬ ، ‫باشد‬
.
•
‫ش‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬
‫انس‬
‫است‬
.
•
‫ص‬ ‫فرض‬ ‫تحت‬ ‫بیشتری‬ ‫وقوع‬ ‫احتمال‬ ،‫پارامتر‬ ‫مقدار‬ ‫به‬ ‫نزدیک‬ ‫های‬ ‫داده‬
‫فر‬
‫دارند‬
.
، ‫دیگر‬ ‫طرف‬ ‫از‬
‫احتمال‬ ، ‫دورتر‬ ‫فاصله‬ ‫در‬ ‫واقع‬ ‫های‬ ‫داده‬ ‫برای‬
‫است‬ ‫کمتر‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫وقوع‬
.
‫آماره‬ ‫توزیع‬
‫آزمون‬ ‫ی‬
‫داریم‬ ‫انتظار‬
‫آماره‬
t
‫توزیع‬ ‫دارای‬
t
‫آزادی‬ ‫درجه‬ ‫با‬
(𝑛 − 2)
‫باشد‬
.
‫آزمون‬ ‫ی‬ ‫دنباله‬

‫ناحیه‬
‫مبنای‬ ‫بر‬ ، ‫آزمون‬ ‫یک‬ ‫رد‬
‫فرض‬ ‫جهت‬
‫مقابل‬
(
𝐻1
)
‫میگردد‬ ‫تعیین‬
.

‫دار‬ ‫جهت‬ ‫فرض‬
:
‫یک‬ ‫آزمون‬
_
‫دنباله‬
•
‫میتواند‬ ‫آزمون‬ ، ‫فرض‬ ‫جهت‬ ‫به‬ ‫بسته‬
«
‫راست‬
_
‫دنباله‬
»
‫ی‬
‫ا‬
«
‫چپ‬
_
‫دنباله‬
»
‫باشد‬
.

‫فرض‬
‫جهت‬ ‫بدون‬
:
‫آزمون‬
‫دو‬
_
‫دنباله‬

‫فرض‬
(𝐻𝑎: 𝛽1 ≠ 0)
‫یک‬ ‫آن‬ ‫آزمون‬ ‫و‬ ‫است‬ ‫جهت‬ ‫بدون‬
‫دو‬ ‫آزمون‬
_
‫بود‬ ‫خواهد‬ ‫دنباله‬
.
‫معناداری‬ ‫سطح‬
𝛼

‫هنگام‬
‫درباره‬ ‫تصمیم‬ ‫اتخاذ‬
‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬
‫ممکن‬
‫پیش‬ ‫خطا‬ ‫نوع‬ ‫دو‬ ‫است‬
‫آید‬
:
.A
‫اول‬ ‫نوع‬ ‫خطای‬
:
‫فرض‬ ‫کردن‬ ‫رد‬
، ‫صفر‬
‫که‬ ‫حالی‬ ‫در‬
‫است‬ ‫درست‬
.
.B
‫نوع‬ ‫خطای‬
‫دوم‬
:
‫رد‬
‫نکردن‬
‫که‬ ‫حالی‬ ‫در‬ ، ‫صفر‬ ‫فرض‬
‫نادرست‬
‫است‬
.
• α = P(‫صفر‬ ‫فرض‬ ‫کردن‬ ‫رد‬ | ‫فرض‬
‫باشد‬ ‫درست‬ ‫صفر‬ )
• 𝛽 = P(‫صفر‬ ‫فرض‬ ‫نکردن‬ ‫رد‬ | ‫فرض‬
‫باشد‬ ‫نادرست‬ ‫صفر‬ )
‫معناداری‬ ‫سطح‬
𝛼

𝛼
‫مقدار‬
‫که‬ ‫است‬ ‫اول‬ ‫نوع‬ ‫خطای‬
‫در‬
‫آن‬ ‫تحمل‬ ‫به‬ ‫حاضر‬ ‫فرض‬ ‫آزمون‬
‫هستیم‬
.
•
‫از‬ ، ‫معمول‬ ‫طور‬ ‫به‬
𝛼 = 0.05
‫شود‬ ‫می‬ ‫استفاده‬
(
‫مانند‬ ‫سطوح‬ ‫سایر‬ ‫از‬ ‫است‬ ‫ممکن‬ ‫اگرچه‬
𝛼 = 0.01
‫شود‬ ‫استفاده‬
.)
‫بدان‬ ‫این‬
‫مایلیم‬ ‫ما‬ ‫که‬ ‫است‬ ‫معنی‬
0.05
‫که‬ ‫پذیریم‬ ‫می‬ ‫را‬ ‫واقعیت‬ ‫این‬ ‫یعنی‬ ، ‫کنیم‬ ‫تحمل‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫از‬
1
‫مورد‬
‫از‬
‫هر‬
20
، ‫نمونه‬
‫باشد‬ ‫درست‬ ‫اگر‬ ‫حتی‬ ‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬
.

𝛼
،
‫آزمون‬ ‫بودن‬ ‫دار‬ ‫معنی‬ ‫سطح‬
،
‫یک‬
‫بودن‬ ‫دار‬ ‫معنی‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬ ‫که‬ ‫است‬ ‫آستانه‬ ‫مقدار‬
‫آماره‬
‫آزمون‬
‫شود‬ ‫می‬ ‫استفاده‬
.
•
‫آماری‬ ‫معنادار‬
:
‫زیا‬ ‫احتمال‬ ‫به‬ ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫و‬ ‫باشد‬ ‫بوده‬ ‫اندک‬ ‫بسیار‬ ‫تصادفی‬ ‫صورت‬ ‫به‬ ‫اتفاقی‬ ‫وقوع‬ ‫احتمال‬ ‫گاه‬ ‫هر‬
‫دارای‬ ‫د‬
‫گویند‬ ‫معنادار‬ ‫آماری‬ ‫لحاظ‬ ‫به‬ ‫را‬ ‫آن‬ ،‫است‬‫بوده‬ ‫شانس‬ ‫از‬ ‫غیر‬ ‫دلیلی‬
.
•
‫ندارد‬ ‫وجود‬ ‫معناداری‬ ‫تفاوت‬ ‫یعنی‬ ‫صفر‬ ‫فرض‬
.
‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬
‫رد‬ ‫ی‬ ‫ناحیه‬ ‫روش‬
‫روش‬
P_Value
‫ناحیه‬
‫رد‬ ‫ی‬

‫برای‬ ‫رد‬ ‫ناحیه‬
𝐻0
‫می‬ ‫نظر‬ ‫به‬ ‫بعید‬ ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫مقادیر‬ ‫شامل‬ ،
‫رسند‬
.

‫مقادیر‬
‫استفاده‬ ‫با‬ ‫میتوان‬ ‫را‬ ‫بحرانی‬
‫مقدار‬ ‫از‬
𝛼
‫مربوطه‬ ‫توزیع‬ ‫جدول‬ ‫از‬ ،
(
‫توزیع‬ ‫اینجا‬ ‫در‬
t
‫آزادی‬ ‫درجه‬ ‫با‬
(𝑛 − 2)
)
‫آورد‬ ‫دست‬ ‫به‬
.
‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬
‫رد‬ ‫ی‬ ‫ناحیه‬ ‫روش‬
‫روش‬
P_Value
P_Value
•
P_Value
:
‫آنکه‬ ‫احتمال‬ ‫از‬ ‫است‬ ‫عبارت‬
‫صفر‬ ‫فرض‬ ‫تحت‬
(
𝛽1 = 0
)
‫آماره‬ ،
‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫برابر‬ ، ‫رد‬ ‫ناحیه‬ ‫جهت‬ ‫در‬ ‫آزمون‬
‫یا‬
‫از‬ ‫تر‬ ‫غیرمعمول‬ ‫حتی‬
‫آن‬
‫باشد‬
.
• two_tailed → P_Value = P((t ≥ |𝑡𝑐|)| 𝛽1 = 0 )
• left_tailed → P_Value = P((t ≤ −𝑡𝑐)| 𝛽1 = 0 )
• right_tailed → P_Value = P((t ≥ 𝑡𝑐)| 𝛽1 = 0 )
•
P_Value
‫صفر‬ ‫فرض‬ ‫تحت‬ ‫که‬ ‫میدهد‬ ‫نشان‬ ‫کوچک‬
(
𝛽1 = 0
)
،
‫چنین‬ ‫مشاهده‬
‫ای‬ ‫نتیجه‬
(
𝛽1
)
‫دلیل‬ ‫به‬
‫شانس‬
،
‫است‬ ‫بعید‬
.
•
‫شانس‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬
‫است‬
.
•
‫اگر‬
P_Value
‫باشد‬ ‫کوچک‬ ‫کافی‬ ‫اندازه‬ ‫به‬
،
‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬
.
P_Value

‫حد‬
P_Value
‫را‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
‫معناداری‬ ‫سطح‬ ‫برابر‬
𝛼
‫میگیریم‬ ‫نظر‬ ‫در‬
:
.A
‫اگر‬
P − Value ≥ α
‫گزینه‬ ‫باشد‬
𝐻0
‫بگیرید‬ ‫نتیجه‬ ‫را‬
:
P − Value
‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬ ‫بزرگ‬
‫ندارد‬ ‫وجود‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫هیچ‬
.
.B
‫اگر‬
P − Value ≤ α
‫گزینه‬ ‫باشد‬
𝐻1
‫بگیرید‬ ‫نتیجه‬ ‫را‬
:
P − Value
‫کوچک‬
‫اتفاق‬ ‫تصادفی‬ ‫طور‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫نتیجه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫باشد‬ ‫نیفتاده‬
‫و‬
‫گیرد‬ ‫می‬ ‫بر‬ ‫در‬ ‫را‬ ‫خاصی‬ ‫علت‬ ‫عوض‬ ‫در‬
.
«
‫رد‬ ‫ناحیه‬ ‫روش‬
»
‫و‬
«
‫روش‬
p − value
»
‫می‬ ‫منجر‬ ‫تصمیم‬ ‫یک‬ ‫به‬ ‫همیشه‬
‫شوند‬
.
‫چرا؟‬
‫تصمیم‬ ‫خطای‬
‫گیری‬
‫صفر‬ ‫فرض‬ ‫ما‬ ‫وقتی‬
‫به‬ ‫را‬
‫نفع‬
‫جایگزین‬ ‫فرض‬
(𝛽1 ≠ 0)
‫رد‬
، ‫میکنیم‬
‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬ ‫سه‬ ‫از‬ ‫یک‬ ‫هر‬
‫است‬
:
‫صفر‬ ‫فرض‬ ‫ما‬ ‫وقتی‬
(𝛽1 = 0)
‫را‬
‫رد‬
‫نکنیم‬
،
‫سه‬ ‫از‬ ‫یک‬ ‫هر‬
‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬
‫است‬
:
‫خطای‬
‫نوع‬
I
‫است‬ ‫داده‬ ‫رخ‬
.
‫واقعیت‬ ‫در‬ ‫یعنی‬
(𝛽1 = 0)
، ‫است‬
‫اما‬
‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫داریم‬ ‫غیرمعمول‬ ‫نمونه‬ ‫یک‬ ‫ما‬
(𝛽1 ≠ 0)
‫است‬
.
‫خطای‬
‫نوع‬
II
‫است‬ ‫داده‬ ‫رخ‬
.
‫یعنی‬
‫واقعیت‬ ‫در‬
(𝛽1 ≠ 0)
‫است‬
،
‫اما‬
‫ما‬ ‫نمونه‬ ‫های‬ ‫داده‬
‫شواهد‬
‫گیری‬ ‫نتیجه‬ ‫برای‬ ‫کافی‬
‫ارائه‬ ‫آن‬
‫نک‬
‫رده‬
‫اند‬
.
‫رابطه‬
‫بین‬
X
‫و‬
Y
،
‫خطی‬ ‫درستی‬ ‫به‬
‫است‬
. ‫زیادی‬ ‫رابطه‬ ‫واقع‬ ‫در‬
‫بین‬
X
‫و‬
Y
‫ندارد‬ ‫وجود‬
.
‫ب‬ ‫منحنی‬ ‫تابع‬ ‫یک‬ ‫اما‬ ، ‫است‬ ‫متناسب‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خطی‬ ‫تابع‬ ‫یک‬
‫داده‬ ‫ا‬
‫بود‬ ‫خواهد‬ ‫تر‬ ‫متناسب‬ ‫ها‬
.
‫بین‬
X
‫و‬
Y
، ‫دارد‬ ‫وجود‬ ‫رابطه‬
‫اما‬
‫نیست‬ ‫خطی‬
.

‫مثال‬
:
Sales = 𝛽0 + 𝛽1 ∗ TV + 𝜖
o 𝐻0 : 𝛽1 = 0
o 𝐻𝑎: 𝛽1 ≠ 0
• 𝑡 =
𝛽1− 𝛽1
SE(𝛽1)
=
0.0475 − 0
0.0027
= 17.59
•
‫معموال‬
‫حد‬
P_Value
‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
1
%
‫یا‬
5
%
‫در‬
‫میشود‬ ‫گرفته‬ ‫نظر‬
.
‫وقتی‬
n = 30
، ‫باشد‬
‫آماره‬
𝑡
‫با‬ ‫مطابق‬
‫تقریبا‬ ‫ترتیب‬ ‫به‬ ، ‫آنها‬
2.75
‫و‬
2
‫خواهد‬
‫بود‬
.
•
‫رد‬ ‫صفر‬ ‫فرض‬
‫میشود‬
.
‫ضرایب‬ ‫روی‬ ‫بر‬ ‫فرض‬ ‫آزمون‬

‫روش‬
‫آزمون‬
F
‫واریانس‬ ‫تحلیل‬
(
ANOVA
)
‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬ ‫برای‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬
X
‫پاسخ‬ ‫و‬
Y
‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬

‫آیا‬
𝛽1 ≠ 0
‫است‬
‫؟‬
•
‫فرض‬
‫صفر‬
‫فرض‬ ‫و‬
‫مقابل‬
:
𝐻0 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0
‫آزمون‬ ‫ی‬ ‫آماره‬
•
𝑦
:
‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
•
𝑦
:
‫خط‬
‫برآورد‬ ‫رگرسیون‬
‫در‬ ‫شده‬
‫بین‬ ‫ای‬ ‫رابطه‬ ‫که‬ ‫حالتی‬
X
‫و‬
Y
‫نداشته‬ ‫وجود‬
‫باشد‬

‫اگر‬
‫بین‬
X
‫و‬
Y
‫پس‬ ، ‫باشد‬ ‫داشته‬ ‫وجود‬ ‫خطی‬ ‫رابطه‬
«
‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
»
‫از‬ ‫باید‬
«
‫رابطه‬ ‫عدم‬ ‫خط‬
»
‫دور‬
‫باشد‬ ‫داشته‬
.

‫این‬ ‫کمی‬ ‫سنجش‬ ‫برای‬ ‫راهی‬ ‫به‬
‫دور‬
‫داریم‬ ‫نیاز‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬
.I
‫مربعات‬ ‫مجموع‬
:
•
‫مجموع‬
‫کل‬ ‫مربعات‬
:
‫میزان‬
‫پاسخهای‬ ‫پراکندگی‬
‫مشاهده‬
‫می‬ ‫را‬ ‫شده‬
‫سن‬
‫جد‬
.
 SST = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
•
‫رگرسیون‬ ‫مربعات‬ ‫مجموع‬
:
‫میزان‬
‫فاصله‬
«
‫رگرسیون‬ ‫خط‬
‫برآورد‬
‫ش‬
‫ده‬
»
‫از‬
«
‫رابطه‬ ‫عدم‬ ‫خط‬
»
‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬
.
 SSR = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
•
‫خطا‬ ‫مربعات‬ ‫مجموع‬
:
‫اطراف‬ ‫در‬ ‫نقاط‬ ‫پراکندگی‬
«
‫برآو‬ ‫رگرسیون‬ ‫خط‬
‫رد‬
‫شده‬
»
‫میکند‬ ‫کمیت‬ ‫را‬
.
 SSE = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦𝑖)2
‫آزمون‬ ‫ی‬ ‫آماره‬
(𝑦𝑖−𝑦) = (𝑦𝑖−𝑦𝑖) + (𝑦𝑖 − 𝑦)
𝑖=1
𝑛
(𝑦𝑖−𝑦)2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
+ 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
Proof : 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)(𝑦𝑖 − 𝑦) = 0
SST = SSR + SSE

‫در‬ ‫کل‬ ‫تغییرات‬
Y
(
SST
)
‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬
:
.A
‫در‬ ‫تغییرات‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬
X
‫است‬
(
SSR
.)
.B
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬
(
SSE
.)
•
‫اگر‬
SSR
‫جزء‬ ‫یک‬
«
‫بزرگ‬
»
‫از‬
SST
‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ، ‫باشد‬
‫بین‬
X
‫و‬
Y
‫دارد‬ ‫وجود‬ ‫خطی‬ ‫ارتباط‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬
.II
‫مربعات‬ ‫میانگین‬
:
•
‫واریانس‬ ‫برآورد‬
‫است‬
‫آزادی‬ ‫درجه‬ ‫آن‬ ‫در‬ ‫که‬ ،
‫برای‬
‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫برآورد‬ ‫و‬ ‫محاسبه‬
.
‫مربعات‬ ‫میانگین‬ =
‫مربعات‬ ‫مجموع‬
‫آزادی‬ ‫درجه‬
‫آزمون‬ ‫ی‬ ‫آماره‬
.III
‫مقدار‬
‫مربعات‬ ‫میانگین‬ ‫انتظار‬ ‫مورد‬
:
 𝐸 𝑀𝑆𝐸 = 𝜎2
 𝐸 𝑀𝑆𝑅 = 𝜎2
+ 𝛽1
2
𝑖=1
𝑛
(𝑋𝑖 − 𝑋)2
 Proof :
• 𝑦𝑖 − 𝑦 = 𝛽1(𝑥𝑖 − 𝑥)
• 𝑦𝑖 − 𝑦 2
= 𝛽1
2
𝑥𝑖 − 𝑥 2
• 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
= 𝛽1
2
𝑖=1
𝑛
(𝑥𝑖 − 𝑥)2
• E 𝑖=1
𝑛
𝑦𝑖 − 𝑦 2
= E MSR = E 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
= 𝑉𝑎𝑟 𝛽1 + E 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
=
•
𝜎2
𝑖=1
𝑛
𝑥𝑖−𝑥 2 + 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
= 𝜎2
+ 𝛽1
2
𝑖=1
𝑛
𝑥𝑖 − 𝑥 2
‫آزمون‬ ‫ی‬ ‫آماره‬

‫نسبت‬ ‫از‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫آزمودن‬ ‫برای‬
(𝐻0 ∶ 𝛽1 = 0)
‫برابر‬ ‫در‬
(𝐻𝑎 ∶ 𝛽1 ≠ 0)
‫کنیم‬ ‫می‬ ‫استفاده‬
:

‫اگر‬
𝛽1 = 0
‫داریم‬ ‫انتظار‬ ، ‫باشد‬
𝑀𝑆𝑅
𝑀𝑆𝐸
= 1
‫باشد‬
.

‫اگر‬
𝛽1 ≠ 0
‫داریم‬ ‫انتظار‬ ، ‫باشد‬
𝑀𝑆𝑅
𝑀𝑆𝐸
> 1
‫باشد‬
.
•
‫توجه‬
:
‫چون‬
𝛽1
‫در‬
𝐸 𝑀𝑆𝑅
‫از‬ ‫نمیتوانیم‬ ، ‫است‬ ‫دو‬ ‫توان‬ ‫دارای‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫آزمودن‬ ‫برای‬
(𝐻0 ∶ 𝛽1 = 0)
‫برابر‬ ‫در‬
(𝐻𝑎 ∶ 𝛽1 > 0)
‫یا‬
𝐻𝑎 ∶ 𝛽1 < 0
‫کنیم‬ ‫استفاده‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬ ‫توزیع‬

،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
‫نسبت‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫توزیع‬ ‫دارای‬
F
‫آزادی‬ ‫درجه‬ ‫با‬
‫صورت‬
‫برابر‬
1
‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬
(𝑛 − 2)
‫است‬
.
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸
•
‫را‬ ‫آماره‬ ‫این‬ ‫بر‬ ‫مبتنی‬ ‫آزمون‬
‫آزمون‬
F
‫گویند‬ ‫واریانس‬ ‫تحلیل‬
.
‫آزمون‬ ‫ی‬ ‫دنباله‬
‫صورت‬ ‫به‬ ‫ما‬ ‫آزمون‬ ‫برای‬ ‫مقابل‬ ‫فرض‬
(𝐻𝑎 ∶ 𝐹𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 > 1)
‫بود‬ ‫خواهد‬
.
‫مقایسه‬
F_test
‫با‬
t_test
𝐻0 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0

‫آزمون‬
F
‫دنباله‬ ‫یک‬

‫آزمون‬
t
‫دنباله‬ ‫دو‬

‫سوال‬
:
‫چه‬
‫زمانی‬
‫آزمون‬ ‫از‬
F
‫و‬
‫از‬ ‫زمانی‬ ‫چه‬
‫آزمون‬
t
‫کنیم؟‬ ‫می‬ ‫استفاده‬
•
‫آزمون‬
F
‫فقط‬
‫آزمایش‬ ‫برای‬
(𝛽1 ≠ 0)
‫مناسب‬
‫است‬
.
•
‫از‬
‫آزمون‬
𝑡
‫برای‬
‫شیب‬ ‫بودن‬ ‫مثبت‬ ‫تست‬
(𝛽1 > 0)
‫شیب‬ ‫بودن‬ ‫منفی‬ ‫یا‬
(𝛽1 < 0)
‫شود‬ ‫می‬ ‫استفاده‬ ‫نیز‬
.
‫شرایط‬
‫استنباط‬
‫آماری‬

‫ی‬ ‫چهارگانه‬ ‫مفروضات‬
«
‫رابطه‬ ‫بودن‬ ‫خطی‬
»
،
«
‫خطا‬ ‫استقالل‬
»
،
«
‫خطا‬ ‫توزیع‬ ‫بودن‬ ‫نرمال‬
»
‫و‬
«
‫برابر‬ ‫واریانس‬
»
‫باید‬
‫آزمون‬ ‫های‬‫روش‬ ‫از‬ ‫بتوان‬ ‫تا‬ ‫شوند‬ ‫رعایت‬
‫و‬ ‫فرضیه‬
‫اطمینان‬ ‫فاصله‬ ‫های‬‫فرمول‬
‫برای‬
𝛽0
‫و‬
𝛽1
‫استفاده‬
‫کرد‬
.

‫خطا‬ ‫عبارات‬ ‫اگر‬
(
‫ها‬ ‫پاسخ‬ ‫نتیجه‬ ‫در‬ ‫و‬
)
ً‫ا‬‫تقریب‬
‫نرمال‬
‫نیست‬ ‫بزرگی‬ ‫مشکل‬ ،‫باشند‬
.
‫د‬ ‫بزرگی‬ ‫نمونه‬ ‫اگر‬
،‫ارید‬
‫عبارات‬
‫حالت‬ ‫از‬ ‫حدودی‬ ‫تا‬ ‫تواند‬ ‫می‬ ‫حتی‬ ‫خطا‬
‫نرمال‬
‫منحرف‬
‫شوند‬
.
‫مدل‬ ‫دقت‬ ‫ارزیابی‬
•
‫است‬ ‫خوب‬ ‫چقدر‬ ‫ما‬ ‫تخمینی‬ ‫مدل‬ ‫برازش‬ ‫که‬ ‫بدانیم‬ ‫مایلیم‬ ،‫شد‬ ‫کامل‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫برآورد‬ ‫که‬ ‫هنگامی‬
.
‫دیگ‬ ‫عبارت‬ ‫به‬
‫مایلیم‬ ،‫ر‬
‫داده‬ ‫با‬ ‫چقدر‬ ‫تخمینی‬ ‫خط‬ ‫که‬ ‫بدانیم‬
‫ها‬
/
‫مطابقت‬ ‫شده‬ ‫مشاهده‬ ‫های‬ ‫نمونه‬
‫دارد‬
.
•
«
‫میزان‬
‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬
‫ها‬
»
‫نشان‬
‫دهنده‬
«
‫میزان‬
‫بینی‬ ‫پیش‬ ‫دقت‬
‫مدل‬
»
‫باشد‬ ‫می‬
.
•
‫بر‬
‫است‬ ‫تر‬ ‫سخت‬ ‫کمی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫دقت‬ ‫دادن‬ ‫نشان‬ ، ‫بندی‬ ‫طبقه‬ ‫خالف‬
.
•
‫اکنون‬
‫ریاضی‬ ‫مدل‬ ‫یک‬ ‫که‬
(
‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫خط‬
)
‫می‬ ،‫کنیم‬ ‫استفاده‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫آن‬ ‫از‬ ‫توانیم‬‫می‬ ‫که‬ ‫داریم‬
‫خواهیم‬
‫بدانیم‬
:
‫این‬
‫توانیم‬‫می‬ ‫چگونه‬ ‫و‬ ‫هستند‬ ‫خوب‬ ‫چقدر‬ ‫ها‬‫بینی‬‫پیش‬
‫گیری‬‫اندازه‬ ‫را‬ ‫مدل‬ ‫بینی‬ ‫پیش‬ ‫خطای‬
‫کنیم‬
‫؟‬
•
‫دهد‬ ‫می‬ ‫انجام‬ ‫اصلی‬ ‫های‬ ‫داده‬ ‫با‬ ‫مقایسه‬ ‫در‬ ‫مدل‬ ‫که‬ ‫است‬ ‫اشتباهی‬ ‫خطا‬
.
‫مدل‬ ‫دقت‬ ‫ارزیابی‬

‫ابزارهای‬
‫میزان‬ ‫سنجش‬
‫ها‬ ‫داده‬ ‫با‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫تناسب‬
:
.A
‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬
(
RSE
)
.B
، ‫تعیین‬ ‫ضریب‬
𝑅2
•
‫استفاده‬ ‫تناسب‬ ‫معیار‬ ‫کدام‬ ‫اینکه‬
‫شود‬
‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬ ‫مدل‬ ‫خطای‬ ‫محاسبه‬ ‫نحوه‬ ،
.
‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬

‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬
(
RSE
)
:
Y = 𝛽0 + 𝛽1X + 𝜖
•
‫اگر‬ ‫حتی‬
𝛽0
‫و‬
𝛽1
‫نمیتوان‬ ، ‫باشند‬ ‫مشخص‬
Y
‫از‬ ‫دقیق‬ ‫صورت‬ ‫به‬ ‫را‬
X
‫کرد‬ ‫بینی‬ ‫پیش‬
.

‫انحراف‬ ‫از‬ ‫برآوردی‬
‫معیار‬
𝜖
‫است‬
.

‫رگرسیون‬ ‫خط‬ ‫از‬ ‫پاسخ‬ ‫که‬ ‫متوسطی‬ ‫مقدار‬
‫منحرف‬ ‫جمعیت‬
‫میکند‬ ‫توصیف‬ ‫را‬ ‫شود‬ ‫می‬
.
• RSE =
𝜖1
2
+𝜖2
2
+⋯+𝜖𝑛
2
𝑛−2
= 𝑖=1
𝑛 (𝑦𝑖−𝑦𝑖)2
𝑛−2
‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬

‫مقدار‬ ‫چرا‬
RSE
‫؟‬ ‫است‬ ‫مهم‬ ‫ما‬ ‫برای‬
•
‫برای‬
‫پیش‬ ‫دقت‬ ‫میزان‬ ‫مورد‬ ‫در‬ ‫ای‬ ‫ایده‬ ‫آوردن‬ ‫دست‬ ‫به‬
‫اهمیت‬ ‫آینده‬ ‫های‬ ‫بینی‬
‫دارد‬
.
•
‫اندازه‬ ‫اگر‬
RSE
‫باشد‬ ‫بزرگ‬
،
‫حتی‬
‫اگر‬
𝛽0
‫و‬
𝛽1
‫نمیتوان‬ ، ‫باشد‬ ‫مشخص‬
𝑌
‫را‬
‫از‬ ‫خوبی‬ ‫دقت‬ ‫با‬
𝑋
‫کرد‬ ‫بینی‬ ‫پیش‬
.
‫خطای‬
‫مانده‬ ‫باقی‬ ‫استاندارد‬

RSE
‫میشود‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫ها‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬ ‫عدم‬ ‫برای‬ ‫معیاری‬ ‫عنوان‬ ‫به‬
.

‫شود‬ ‫تلقی‬ ‫بزرگ‬ ، ‫قبول‬ ‫قابل‬ ‫غیر‬ ‫طور‬ ‫به‬ ‫آن‬ ‫مقدار‬ ‫اگر‬
‫از‬
‫استفاده‬ ‫خطی‬ ‫رگرسیون‬ ‫از‬ ‫غیر‬ ‫مدلی‬
‫کنید‬
.

‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
‫برای‬
‫تفسیر‬
RSE
،
‫نیاز‬
‫ها‬ ‫مقیاس‬ ‫و‬ ‫ها‬ ‫اندازه‬ ‫کلی‬ ‫شناخت‬ ‫به‬
‫داریم‬
.
‫ضریب‬
‫تعیین‬

‫تعیین‬ ‫ضریب‬
،
𝑅2
:

‫اول‬ ‫موقعیت‬
:
‫بین‬ ‫ضعیف‬ ‫خطی‬ ‫رابطه‬
X
‫و‬
Y

‫شیب‬
«
‫خط‬
‫برآورد‬ ‫رگرسیون‬
‫شده‬
»
‫پ‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫این‬ ، ‫نیست‬ ‫تند‬ ‫خیلی‬
‫بینی‬ ‫یش‬
‫کننده‬
𝑥
،
‫پاسخ‬ ‫متوسط‬ ‫در‬ ‫چندانی‬ ‫تغییر‬
𝑦
‫شود‬ ‫نمی‬ ‫ایجاد‬
.

‫ذاتی‬ ‫خطای‬
‫بزرگ‬
،
‫یعنی‬
ߪ
2
= 𝑉𝑎𝑟(𝜖)
‫بزرگ‬ ‫اندازه‬ ‫با‬

‫دوم‬ ‫موقعیت‬
:
‫بین‬ ‫قوی‬ ‫خطی‬ ‫رابطه‬
X
‫و‬
Y

‫شیب‬
‫پی‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫و‬ ‫است‬ ‫شدیدتر‬ ‫بسیار‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
‫بینی‬ ‫ش‬
‫کننده‬
𝑥
‫تغییر‬ ،
ً‫ا‬‫نسبت‬
‫پاسخ‬ ‫در‬ ‫توجهی‬ ‫قابل‬
𝑦
‫دارد‬ ‫وجود‬
.

‫ذاتی‬ ‫خطای‬
‫کوچک‬
(
‫خط‬ ، ‫داده‬ ‫نقاط‬
𝑦
‫آغوش‬ ‫در‬ ‫را‬
‫می‬
‫گیرند‬
.)
•
‫بتواند‬ ‫که‬ ‫هستیم‬ ‫معیاری‬ ‫دنبال‬ ‫به‬
، ‫متفاوت‬ ‫بسیار‬ ‫موقعیت‬ ‫دو‬ ‫این‬ ‫بین‬
‫تمایز‬
‫قائل‬
‫شود‬
.
‫ضریب‬
‫تعیین‬

𝑦
:
«
‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬
»
• 𝑦 = 𝛽0 + 𝛽1𝑥

𝑦
:
«
‫عدم‬ ‫خط‬
‫رابطه‬
»
،
‫دهنده‬ ‫نشان‬
«
‫برآورد‬ ‫رگرسیون‬ ‫خط‬
‫شده‬
»
‫در‬
‫ک‬ ‫حالتی‬
‫ه‬
‫بین‬ ‫ای‬ ‫رابطه‬
X
‫و‬
Y
‫نداشته‬ ‫وجود‬
‫باشد‬
• 𝑦 = 𝑖=1
𝑛
𝑦𝑖
𝑛
‫ضریب‬
‫تعیین‬
(𝑦𝑖−𝑦) = (𝑦𝑖−𝑦𝑖) + (𝑦𝑖 − 𝑦)
𝑖=1
𝑛
(𝑦𝑖−𝑦)2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
+
𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2
SST = SSE + SSR
•
‫در‬ ‫تغییر‬
y
(
‫یعنی‬
𝑦𝑖 − 𝑦
)
‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬
:

𝑦𝑖 − 𝑦
:
‫متغیرمستقل‬ ‫با‬ ‫که‬ ‫بخشی‬
x
‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
(
‫قابل‬ ‫بخش‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬
.)

𝑦𝑖 − 𝑦𝑖
:
‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخشی‬
(
‫غیرقابل‬ ‫بخش‬
‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬
.)
•
𝑅2
‫تغییرات‬ ‫از‬ ‫کسری‬
Y
‫که‬ ‫است‬
‫توسط‬
‫داده‬ ‫توضیح‬ ‫مدل‬
‫میشود‬
(
‫با‬
‫متغیرمستقل‬
‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬
: )
𝑅2
=
‫توضیح‬ ‫قابل‬ ‫تغییرات‬
‫کل‬ ‫تغییرات‬
𝑅2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
𝑖=1
𝑛 (𝑦𝑖−𝑦)2 = 1 − 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
𝑖=1
𝑛 (𝑦𝑖−𝑦)2
‫ضریب‬
‫تعیین‬
• 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
: SST
• 𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
: SSE
 R2 =
𝑆𝑆𝑅
𝑆𝑆𝑇
=
SST −SSE
SST
= 1 −
SSE
SST
‫تعیین‬ ‫ضریب‬
0 ≤ R2 ≤ 1
•
R2
‫بین‬ ‫مقداری‬ ‫همیشه‬
0
‫تا‬
1
، ‫دارد‬
‫از‬ ‫مستقل‬ ‫آن‬ ‫تفسیر‬ ‫که‬ ‫معنی‬ ‫این‬ ‫به‬
‫داده‬ ‫معیار‬
‫هاست‬
.

R2
= 1
:
‫این‬ ‫به‬
‫که‬ ‫معناست‬
‫هیچ‬
‫در‬ ‫خطایی‬
‫ندارد‬ ‫وجود‬ ‫رگرسیون‬ ‫خط‬
(
𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
= 0
)
.

R2
= 0
:
‫به‬
‫که‬ ‫معناست‬ ‫این‬
‫بهتر‬ ‫رگرسیون‬ ‫خط‬
‫​نیست‬​ ‫متوسط‬ ‫اندازه‬ ‫از‬
(
𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2
= 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
)
،
‫از‬ ‫یعنی‬
‫اطالعات‬
‫استفاده‬ ‫متغیرمستقل‬
‫نمی‬
‫شود‬
.

R2
‫بزرگ‬
(
‫یک‬ ‫به‬ ‫نزدیک‬
)
:
‫تغییرات‬ ‫از‬ ‫زیادی‬ ‫بخش‬ ‫که‬ ‫میدهد‬ ‫نشان‬
Y
‫میشود‬ ‫داده‬ ‫توضیح‬ ‫مدل‬ ‫توسط‬
(
‫از‬ ‫استفاده‬ ‫با‬
X
‫بخش‬ ‫میتوان‬
‫رفتار‬ ‫از‬ ‫زیادی‬
Y
‫کرد‬ ‫بینی‬ ‫پیش‬ ‫را‬
.)

R2
‫کوچک‬
(
‫صفر‬ ‫به‬ ‫نزدیک‬
)
:
‫تغییرات‬ ‫نمیتواند‬ ‫رگرسیون‬ ‫مدل‬ ‫که‬ ‫میدهد‬ ‫نشان‬
Y
‫دهد‬ ‫توضیح‬ ‫خوبی‬ ‫به‬ ‫را‬
(
‫مدل‬ ‫بینی‬ ‫پیش‬ ‫به‬ ‫توان‬ ‫نمی‬
‫کرد‬ ‫اعتماد‬
)
‫؛‬
‫مدل‬ ‫است‬ ‫ممکن‬
‫اشتباه‬
‫خطای‬ ‫یا‬ ‫باشد‬
‫ذاتی‬
𝜎2
= Var(𝜖)
‫بزرگ‬
، ‫باشد‬
‫دو‬ ‫هر‬ ‫یا‬
.
•
‫نیست‬ ‫معلولی‬ ‫و‬ ‫علت‬ ‫رابطه‬ ‫وجود‬ ‫ضامن‬ ‫باال‬ ‫تعیین‬ ‫ضریب‬
.
‫ضریب‬
‫تعیین‬

‫است‬ ‫ممکن‬ ‫آیا‬
R2
‫منفی‬
‫باشد؟‬
(
𝑖=1
𝑛
(𝑦𝑖−𝑦𝑖)2 > 𝑖=1
𝑛
(𝑦𝑖−𝑦)2
)
•
‫اگر‬
‫مقدار‬ ، ‫باشد‬ ‫میانگین‬ ‫مقدار‬ ‫از‬ ‫استفاده‬ ‫از‬ ‫بدتر‬ ‫رگرسیون‬ ‫خط‬
R2
‫خواهد‬ ‫منفی‬ ‫شده‬ ‫محاسبه‬
‫بود‬
.
•
‫کمترین‬ ، ‫عملی‬ ‫کاربردهای‬ ‫در‬
R2
‫است‬ ‫صفر‬ ‫کنید‬ ‫دریافت‬ ‫توانید‬ ‫می‬ ‫که‬
.
•
‫معمولی‬ ‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫کار‬ ‫نحوه‬
(
OLS regression
)
‫مشخصی‬ ‫نقطه‬ ‫از‬ ‫که‬ ‫میکند‬ ‫ایجاد‬ ‫خط‬ ‫یک‬ ‫که‬ ‫است‬ ‫صورت‬ ‫این‬ ‫به‬
‫است‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬ ، ‫حالت‬ ‫این‬ ‫در‬ ‫و‬ ‫میگذرد‬
.
•
‫از‬ ‫رگرسیون‬ ‫معادالت‬ ، ‫فرض‬ ‫پیش‬ ‫طور‬ ‫به‬
(𝑥,𝑦)
‫آمده‬ ‫بدست‬ ‫خط‬ ، ‫میکنند‬ ‫استفاده‬ ‫گذرد‬ ‫می‬ ‫آن‬ ‫از‬ ‫رگرسیون‬ ‫خط‬ ‫که‬ ‫ای‬ ‫نقطه‬ ‫عنوان‬ ‫به‬
‫مقدار‬ ‫باالترین‬ ‫و‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬
R2
‫است‬ ‫ممکن‬
.
‫برای‬ ‫منفی‬ ‫مقدار‬ ‫یک‬ ‫توانید‬ ‫نمی‬ ‫شرایط‬ ‫این‬ ‫در‬
R2
‫بدست‬
‫آورید‬
.
•
‫ا‬ ‫گذر‬ ‫با‬ ‫را‬ ‫خطا‬ ‫کمترین‬ ‫که‬ ‫کنید‬ ‫می‬ ‫دریافت‬ ‫را‬ ‫خطی‬ ‫همچنان‬ ، ‫کنید‬ ‫مشخص‬ ‫رگرسیون‬ ‫خط‬ ‫عبور‬ ‫برای‬ ‫را‬ ‫متفاوتی‬ ‫نقطه‬ ‫اگر‬
‫نقطه‬ ‫آن‬ ‫ز‬
‫است‬ ‫خوب‬ ‫خط‬ ‫آن‬ ‫که‬ ‫نیست‬ ‫معنا‬ ‫آن‬ ‫به‬ ‫این‬ ‫اما‬ ، ‫کند‬ ‫می‬ ‫ایجاد‬
!!
•
‫به‬ ‫باعث‬ ‫است‬ ‫ممکن‬ ‫که‬ ‫راههایی‬ ‫از‬ ‫یکی‬
‫دست‬
‫آمدن‬
‫مقدار‬
‫برای‬ ‫منفی‬
R2
‫است‬ ‫این‬ ‫شود‬
‫رگرسیون‬ ‫خط‬ ‫که‬
‫را‬
‫خاص‬ ‫نقطه‬ ‫یک‬ ‫از‬ ‫عبور‬ ‫به‬
‫کنید‬ ‫الزام‬
(
‫از‬ ‫عرض‬ ‫تنظیم‬ ‫با‬ ً‫ال‬‫معمو‬
‫مبدا‬
.)
‫ضریب‬
‫تعیین‬
‫ضریب‬
‫تعیین‬

‫مثال‬
:
•
‫عرض‬
‫خط‬ ‫دو‬ ‫هر‬ ‫برای‬ ‫مبدا‬ ‫از‬
‫رگرسیون‬
‫تعیین‬ ‫صفر‬
‫است‬ ‫شده‬
.
•
‫برای‬
‫نقاط‬
‫ز‬ ‫ممکن‬ ‫رگرسیون‬ ‫خط‬ ‫بهترین‬ ‫از‬ ‫فاصله‬ ‫این‬ ، ‫آبی‬
‫یاد‬
‫مقدار‬ ‫بنابراین‬ ‫و‬ ، ‫نیست‬
R2
‫است‬ ‫مثبت‬
.
•
‫برای‬
‫نقاط‬
، ‫قرمز‬
‫مبدا‬ ‫از‬ ‫عرض‬
‫حدود‬ ‫در‬ ‫باید‬ ‫واقعی‬
120
، ‫باشد‬
‫رگرسیون‬ ‫خط‬ ‫بنابراین‬
‫باش‬ ‫باید‬ ‫که‬ ‫جایی‬ ‫از‬ ‫دورتر‬ ‫بسیار‬
، ‫د‬
‫تنظیم‬
‫است‬ ‫شده‬
.
‫که‬ ‫است‬ ‫این‬ ‫نتیجه‬
‫رگرسیون‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬
‫م‬ ‫بنابراین‬ ‫و‬ ‫است‬ ‫میانگین‬ ‫از‬ ‫شده‬ ‫استفاده‬ ‫مقدار‬ ‫از‬ ‫بیشتر‬
‫قدار‬
R2
‫منفی‬
‫است‬
.
•
‫که‬ ‫زمانی‬
R2
‫است‬ ‫منفی‬
‫هر‬ ‫میتوانید‬
‫اس‬ ‫که‬ ‫رگرسیونی‬ ‫محاسبه‬
‫تفاده‬
‫کنار‬ ‫را‬ ‫کنید‬ ‫می‬
‫و‬ ‫بگذارید‬
‫پیش‬ ‫متوسط‬ ‫مقدار‬ ‫با‬ ‫فقط‬
‫برو‬
‫ید‬
!!
‫همبستگی‬ ‫ضریب‬ ‫و‬ ‫تعیین‬ ‫ضریب‬
•
‫تعیین‬ ‫ضریب‬
،
‫قدرت‬
‫مدل‬ ‫دهندگی‬ ‫توضیح‬
‫را‬
‫دهد‬‫می‬ ‫نشان‬
.
•
‫یک‬ ‫تعیین‬ ‫ضریب‬
‫آماری‬ ‫مقیاس‬
‫رویداد‬ ‫یک‬ ‫نتیجه‬ ‫بینی‬ ‫پیش‬ ‫هنگام‬ ‫کند‬ ‫می‬ ‫بررسی‬ ‫که‬ ‫است‬
‫معین‬
،
‫چگونه‬
‫ت‬
‫یک‬ ‫در‬ ‫فاوت‬
‫در‬ ‫تفاوت‬ ‫با‬ ‫توان‬ ‫می‬ ‫را‬ ‫متغیر‬
‫متغیر‬
(
‫های‬
)
‫داد‬ ‫توضیح‬ ‫کننده‬ ‫بینی‬ ‫پیش‬
.
•
‫با‬ ‫آن‬ ‫ارتباط‬ ‫از‬ ‫ناشی‬ ‫تواند‬ ‫می‬ ‫عامل‬ ‫یک‬ ‫بودن‬ ‫متغیر‬ ‫چقدر‬ ‫اینکه‬ ‫توضیح‬ ‫برای‬ ‫تعیین‬ ‫ضریب‬
‫عوامل‬
‫ب‬ ‫دیگر‬
‫می‬ ‫استفاده‬ ‫اشد‬
‫شود‬
.
•
‫وقتی‬
‫بینی‬ ‫پیش‬ ‫یک‬ ‫فقط‬
‫در‬ ‫کننده‬
‫آماره‬ ،‫شود‬ ‫گنجانده‬ ‫مدل‬
𝑅2
‫معیاری‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫همبستگی‬ ‫ضریب‬
،
𝑟
،
‫همچنین‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬ ‫معیاری‬
𝑋
‫و‬
𝑌
‫است‬
.
•
‫در‬
‫خطی‬ ‫رگرسیون‬ ‫تنظیم‬
‫ساده‬
،
𝑅2
= 𝑟2
‫باشد‬ ‫می‬
.
•
‫از‬ ‫میتوانیم‬
𝑟 = 𝐶𝑜𝑟(𝑋,𝑌)
‫به‬
‫جای‬
𝑅2
‫برای‬
‫مدل‬ ‫برازش‬ ‫ارزیابی‬
‫ساده‬ ‫خطی‬
‫کنیم‬ ‫استفاده‬
.
‫ضریب‬
‫همبستگی‬

‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬
(
𝑟
)
:
•
‫کردن‬ ‫ی‬ّ‫م‬‫ک‬ ‫برای‬
‫خطی‬ ‫رابطه‬
‫بین‬
‫متغیر‬ ‫دو‬
‫استفاده‬
‫میشود‬
.
•
‫رابطه‬ ‫جهت‬ ‫همچنین‬ ‫و‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫ی‬ ‫رابطه‬ ‫شدت‬
(
‫معکوس‬ ‫یا‬ ‫مستقیم‬
)
‫دهد‬‫می‬ ‫نشان‬ ‫را‬
.

‫کوواریانس‬
:
•
‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫معیاری‬
‫با‬ ‫چگونه‬
‫هم‬
‫کنند‬ ‫می‬ ‫پیدا‬ ‫تغییر‬
.
•
‫متغیر‬ ‫دو‬ ‫هر‬ ‫برای‬ ‫همزمان‬ ‫طور‬ ‫به‬ ‫را‬ ‫میانگین‬ ‫از‬ ‫انحراف‬ ‫کوواریانس‬ ‫در‬ ‫ولی‬ ‫است‬ ‫واریانس‬ ‫مشابه‬ ‫کوواریانس‬
𝑋
‫و‬
𝑌
‫کنیم‬‫می‬ ‫محاسبه‬
.
• 𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 − 𝐸 𝑋
2
=
1
𝑛−1 𝑖=1
𝑛
(𝑥𝑖 − 𝑥)2
• 𝐶𝑜𝑣 𝑋, 𝑌 = 𝐸 𝑋 − 𝐸 𝑋 𝑌 − 𝐸 𝑌 =
1
𝑛−1 𝑖=1
𝑛
(𝑥𝑖 − 𝑥)(𝑦𝑖 − 𝑦)
•
‫مقدار‬
‫مت‬ ‫دو‬ ‫بین‬ ‫منفی‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫منفی‬ ‫مقدار‬ ‫که‬ ‫حالی‬ ‫در‬ ‫است‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫مثبت‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫کواریانس‬ ‫مثبت‬
‫است‬ ‫غیر‬
.
‫ضریب‬
‫همبستگی‬
‫تغییرپذیری‬
‫توأم‬
𝑋
‫و‬
𝑌 ‫تغییرپذیری‬
𝑋
‫ضریب‬
‫همبستگی‬
•
‫خطی‬ ‫رابطه‬ ‫در‬ ‫گرایش‬ ‫نوع‬ ‫دهنده‬‫نشان‬ ‫کوواریانس‬ ‫عالمت‬
‫است‬ ‫متغیرها‬ ‫بین‬
:

‫کوواریانس‬
‫مثبت‬
(
‫دارد‬ ‫غلبه‬ ‫قرمز‬ ‫بر‬ ‫آبی‬
)
:
‫دو‬
‫د‬ ‫تمایل‬ ‫متغیر‬
‫ارند‬
‫کنند‬ ‫حرکت‬ ‫جهت‬ ‫یک‬ ‫در‬
.

‫کوواریانس‬
‫منفی‬
(
‫دارد‬ ‫غلبه‬ ‫آبی‬ ‫بر‬ ‫قرمز‬
)
:
‫د‬ ‫تمایل‬ ‫متغیر‬ ‫دو‬
‫ارند‬
‫حرکت‬ ‫معکوس‬ ‫جهت‬ ‫در‬
‫کنند‬
.

‫کوواریانس‬
‫صفر‬
:
‫ندارند‬ ‫هم‬ ‫به‬ ‫خطی‬ ‫وابستگی‬ ‫متغیرها‬
.
‫ضریب‬
‫همبستگی‬
•
‫بست‬ ‫متغیرها‬ ‫معیار‬ ‫به‬ ‫رو‬ ‫این‬ ‫از‬ ،‫است‬‫نشده‬ ‫سازی‬‫نرمال‬ ‫کوواریانس‬ ‫زیرا‬ ‫نیست‬ ‫ساده‬ ‫کوواریانس‬ ‫اندازه‬ ‫تفسیرکردن‬
‫دارد‬ ‫گی‬
.

‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬
(
𝑟
: )
• 𝑟 = 𝐶𝑜𝑟𝑟 𝑋, 𝑌 =
𝐶𝑜𝑣(𝑋,𝑌)
𝜎𝑋𝜎𝑌
=
𝐸[(𝑋−𝐸(𝑋))(𝑌−𝐸(𝑌))]
𝜎𝑋𝜎𝑌
= 𝑖=1
𝑛
(𝑥𝑖−𝑥)(𝑦𝑖−𝑦)
𝑖=1
𝑛 (𝑥𝑖−𝑥)2
𝑖=1
𝑛 (𝑦𝑖−𝑦)2

‫یکی‬
‫مزایای‬ ‫از‬
𝑟
‫واحد‬ ‫بدون‬ ‫که‬ ‫است‬ ‫این‬
‫است‬
.

‫می‬ ‫توصیف‬ ‫را‬ ‫دیگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫متغیر‬ ‫یک‬ ‫حرکت‬ ‫نحوه‬ ‫همبستگی‬ ‫ضریب‬
‫کند‬
.

‫سنجد‬‫می‬ ‫را‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫همبستگی‬ ‫میزان‬
.

‫منظور‬
‫است‬ ‫دیگری‬ ‫برحسب‬ ‫یکی‬ ‫مقدار‬ ‫بینی‬‫پیش‬ ‫قابلیت‬ ،‫متغیر‬ ‫دو‬ ‫بین‬ ‫همبستگی‬ ‫ضریب‬ ‫از‬
.
‫ضریب‬
‫همبستگی‬

‫از‬
‫می‬ ‫استفاده‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫رابطه‬ ‫قدرت‬ ‫گیری‬ ‫اندازه‬ ‫برای‬ ‫همبستگی‬ ‫ضرایب‬
‫شود‬
.
‫کلی‬ ‫بطور‬
:

‫اگر‬
𝑟 = −1
‫باشد‬
‫بین‬ ،
𝑋
‫و‬
𝑌
‫دارد‬ ‫وجود‬ ‫کامل‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ‫یک‬
.

‫اگر‬
𝑟 = 1
‫باشد‬
‫بین‬ ،
𝑋
‫و‬
𝑌
‫دارد‬ ‫وجود‬ ‫کامل‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ‫یک‬
.

‫اگر‬
𝑟 = 0
‫باشد‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ،
𝑋
‫و‬
𝑌
‫ندارد‬ ‫وجود‬
.

‫دیگر‬ ‫مقادیر‬ ‫همه‬
𝑟
‫بین‬ ‫رابطه‬ ‫که‬ ‫گویند‬ ‫می‬ ‫ما‬ ‫به‬
𝑋
‫و‬
𝑌
‫نیست‬ ‫کامل‬
.
‫هرچه‬
𝑟
‫به‬
0
‫است‬ ‫تر‬ ‫ضعیف‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
.
‫هرچه‬
r
‫به‬
−1
‫است‬ ‫تر‬ ‫قوی‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
.
‫هرچه‬ ‫و‬
𝑟
‫به‬
1
‫تر‬ ‫قوی‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬
‫است‬
.

‫مهم‬ ‫نکات‬
:

‫برای‬ ‫تنها‬
«
‫خطی‬ ‫رابطه‬
»
‫بین‬
«
‫متغیر‬ ‫دو‬
»
‫معنا‬
‫دارد‬
(
‫چندگانه‬ ‫رگرسیون‬ ‫در‬
R2
‫میکند‬ ‫پر‬ ‫را‬ ‫نقش‬ ‫این‬
.)

‫همبستگی‬
‫نمی‬ ‫نتیجه‬ ‫را‬ ‫علیت‬
‫دهد‬
.

‫شود‬ ‫قائل‬ ‫تفاوت‬ ‫مستقل‬ ‫و‬ ‫وابسته‬ ‫متغیرهای‬ ‫بین‬ ‫تواند‬ ‫نمی‬
.
‫همبستگی‬ ‫ضریب‬

‫نکته‬
:
‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫اگر‬
𝑋
‫و‬
𝑌
‫است‬ ‫صفر‬ ‫آنها‬ ‫کواریانس‬ ‫آنگاه‬ ‫باشند‬ ‫مستقل‬
.
‫م‬ ‫این‬ ‫به‬ ،‫نیست‬ ‫صحیح‬ ‫موضوع‬ ‫این‬ ‫عکس‬
‫که‬ ‫عنا‬
‫نباشند‬ ‫هم‬ ‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫آن‬ ً‫ا‬‫الزام‬ ‫ولی‬ ‫باشد‬ ‫صفر‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫کواریانس‬ ‫است‬ ‫ممکن‬
.
‫تفسیر‬ ‫در‬ ‫احتیاط‬
𝑅2

‫شماره‬ ‫احتیاط‬
1
:
•
‫ضریب‬
‫تعیین‬
𝑅2
‫همبستگی‬ ‫ضریب‬ ‫و‬
𝑟
‫یک‬ ‫قدرت‬
«
‫خطی‬ ‫رابطه‬
»
‫کنند‬ ‫می‬ ‫کمی‬ ‫را‬
.
•
‫است‬ ‫ممکن‬
𝑟 = 0
‫و‬
𝑅2
= 0
‫دهد‬ ‫نشان‬
‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ‫که‬
𝑥
‫و‬
𝑦
‫وجود‬
‫یک‬ ‫حال‬ ‫عین‬ ‫در‬ ‫و‬ ،‫ندارد‬
«
‫منحنی‬ ‫رابطه‬
»
‫باشد‬ ‫داشته‬ ‫وجود‬
.
•
‫معیارها‬ ‫است‬ ‫ممکن‬ ‫رو‬ ‫روبه‬ ‫مثال‬ ‫در‬
‫تفسیر‬ ‫اشتباه‬ ‫را‬
‫کنید‬
‫نتیجه‬ ‫این‬ ‫به‬ ‫و‬
‫ب‬
‫رسید‬
‫که‬
‫بین‬ ‫ای‬ ‫رابطه‬ ‫هیچ‬
𝑥
‫و‬
𝑦
‫ندارد‬ ‫وجود‬
.
‫این‬ ،‫اما‬
‫درست‬
‫نیست‬
!
‫رابطه‬ ‫یک‬ ‫واقع‬ ‫در‬
‫بین‬ ‫کامل‬ ‫منحنی‬
𝑥
‫و‬
𝑦
‫دارد‬ ‫وجود‬
-
‫فقط‬
‫نیست‬ ‫خطی‬
.

‫پایین‬ ‫نمودار‬ ‫در‬
:

𝑅2
= 100%
‫تغییرات‬ ‫تمام‬ ‫که‬ ‫میدهد‬ ‫نشان‬
𝑦
‫داد‬ ‫توضیح‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫توسط‬
‫ه‬
‫میشود‬
.

𝑟 = 0
‫که‬ ‫میدهد‬ ‫نشان‬
‫ای‬ ‫رابطه‬ ‫اگر‬
‫بین‬
𝑥
‫و‬
𝑦
‫وجود‬
‫نیست‬ ‫خطی‬ ،‫باشد‬ ‫داشته‬
.
‫تفسیر‬ ‫در‬ ‫احتیاط‬
𝑅2

‫شماره‬ ‫احتیاط‬
2
:
•
‫مقدار‬ ‫یک‬
𝑅2
‫رگ‬ ‫خط‬ ‫که‬ ‫شود‬ ‫تفسیر‬ ‫معنا‬ ‫این‬ ‫به‬ ‫نباید‬ ‫بزرگ‬
‫رسیون‬
‫دارد‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خوبی‬ ‫به‬ ‫شده‬ ‫زده‬ ‫تخمین‬
.
‫مم‬ ‫دیگری‬ ‫تابع‬
‫کن‬
‫کند‬ ‫توصیف‬ ‫بهتر‬ ‫را‬ ‫ها‬ ‫داده‬ ‫روند‬ ‫است‬
.
•
‫مقدار‬
𝑅2
‫بزرگ‬
‫که‬ ‫میدهد‬ ‫نشان‬
‫ر‬ ‫وابسته‬ ‫متغیر‬ ‫خواهید‬ ‫می‬ ‫اگر‬
‫ا‬
‫بگی‬ ‫نظر‬ ‫در‬ ‫را‬ ‫متغیرمستقل‬ ‫است‬ ‫بهتر‬ ، ‫کنید‬ ‫بینی‬ ‫پیش‬
‫تا‬ ‫رید‬
‫نه‬
.
‫اما‬
‫هنوز‬ ‫آیا‬ ‫که‬ ‫نمیدهد‬ ‫نشان‬
‫می‬ ‫هم‬
‫توان‬
‫عمل‬ ‫بهتر‬
‫کرد‬
.
•
‫است‬ ‫ممکن‬ ‫منحنی‬ ‫کردن‬ ‫رسم‬
‫ساده‬ ‫خالصه‬ ‫معیار‬ ‫یک‬ ‫از‬ ‫بیشتر‬
‫مانند‬
𝑟
‫یا‬
𝑅2
‫باشد‬ ‫کننده‬ ‫کمک‬
.
‫تفسیر‬ ‫در‬ ‫احتیاط‬
𝑅2

‫شماره‬ ‫احتیاط‬
3
:
•
‫تعیین‬ ‫ضریب‬
𝑅2
‫همبستگی‬ ‫ضریب‬ ‫و‬
𝑟
‫تأثیر‬ ‫تحت‬ ‫شدت‬ ‫به‬ ‫توانند‬ ‫می‬ ‫دو‬ ‫هر‬
‫داده‬ ‫نقطه‬ ‫یک‬
(
‫داده‬ ‫نقطه‬ ‫چند‬ ‫یا‬
)
‫گیرند‬ ‫قرار‬
.
•
‫توجه‬ ‫رو‬ ‫به‬ ‫رو‬ ‫مثال‬ ‫در‬
‫نقطه‬ ‫یک‬ ‫حذف‬ ‫با‬ ‫فقط‬ ‫که‬ ‫باشید‬ ‫داشته‬
‫داده‬
‫غیرعا‬
، ‫دی‬
‫تخمینی‬ ‫خط‬ ‫شیب‬
‫مثبت‬ ‫از‬
‫به‬
‫منفی‬
‫تغییر‬
‫می‬
‫کند‬
.
•
‫می‬
‫که‬ ‫کرد‬ ‫استدالل‬ ‫توان‬
‫مجموعه‬ ‫این‬
‫داده‬
‫برای‬
‫نتیجه‬
‫بسیار‬ ‫گیری‬
‫کوچ‬
‫ک‬
‫است‬
.
‫بازاریابی‬ ‫برنامه‬

‫دیتاست‬
Advertising
‫شامل‬
‫در‬ ‫آن‬ ‫برای‬ ‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫و‬ ‫مشخص‬ ‫کاالی‬ ‫یک‬ ‫فروش‬ ‫میزان‬
200
‫مختلف‬ ‫مارکت‬
‫است‬
.

‫تلویزیون‬ ‫مختلف‬ ‫ی‬ ‫رسانه‬ ‫سه‬ ‫در‬ ‫تبلیغ‬ ‫ها‬ ‫مارکت‬ ‫این‬ ‫از‬ ‫هریک‬ ‫در‬
،
‫میگیرد‬ ‫انجام‬ ‫روزنامه‬ ‫و‬ ‫رادیو‬
.

‫دیتا‬ ‫اساس‬ ‫بر‬ ‫تا‬ ‫میشود‬ ‫درخواست‬ ‫ما‬ ‫از‬ ‫و‬ ‫هستیم‬ ‫آماری‬ ‫مشاوران‬ ‫ما‬ ‫کنید‬ ‫فرض‬
،
‫پیشنها‬ ‫آینده‬ ‫سال‬ ‫برای‬ ‫بازاریابی‬ ‫برنامه‬ ‫یک‬
‫دهیم‬ ‫د‬
.
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

‫ساده‬ ‫خطی‬ ‫رگرسیون‬
:
‫بینی‬ ‫پیش‬
Y
‫مستقل‬ ‫متغیر‬ ‫یک‬ ‫تنها‬ ‫اساس‬ ‫بر‬
.
Y = 𝛽0 + 𝛽1𝑋 + 𝜖
Sales = β0 + (β1∗ TV) + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥
•
𝛽1
‫نشان‬
‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬
𝑋
‫بر‬
Y
‫است‬
،
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬
‫ها‬
(
‫وجود‬ ‫صورت‬ ‫در‬
)
‫گرفت‬ ‫نادیده‬
‫ه‬
‫شوند‬
.
•
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مشکالت‬
:

‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫سایر‬ ‫تاثیر‬
(
‫وجود‬ ‫صورت‬ ‫در‬
)
‫میشود‬ ‫گرفته‬ ‫نادیده‬
.

‫بسیار‬ ‫های‬‫تخمین‬ ‫به‬ ‫منجر‬ ‫تواند‬‫می‬ ‫امر‬ ‫این‬ ،‫باشد‬ ‫داشته‬ ‫وجود‬ ‫همبستگی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫بین‬ ‫که‬ ‫صورتی‬ ‫در‬
‫گ‬
‫مراه‬
‫کننده‬
‫از‬
‫تأثیر‬
‫بر‬ ‫مستقل‬ ‫متغیر‬
Y
‫شود‬
.
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
:
‫بینی‬ ‫پیش‬
Y
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫چند‬ ‫اساس‬ ‫بر‬
.
Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖
Sales = β0 + (β1∗ TV) + (β2∗ radio) +(β3 ∗ newspaper) + 𝜖
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝
•
‫هر‬ ‫ضریب‬
𝑋𝑖
،
‫آن‬ ‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬ ‫نشان‬
‫کننده‬ ‫بینی‬ ‫متغیرپیش‬
‫بر‬
Y
‫است‬
،
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬
‫شوند‬ ‫داشته‬ ‫نگه‬ ‫ثابت‬ ‫ها‬
.
•
‫باشد‬ ‫متفاوت‬ ‫کامال‬ ‫میتواند‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫یک‬ ‫برای‬ ‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬
!
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
‫همبستگی‬ ‫ماتریکس‬
‫ساده‬ ‫خطی‬ ‫رگرسیون‬
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

‫قبل‬ ‫صفحه‬ ‫های‬ ‫جدول‬ ‫در‬
:

‫بین‬ ‫ارتباطی‬ ‫هیچ‬ ‫چندگانه‬ ‫رگرسیون‬ ‫در‬ ‫که‬ ‫است‬ ‫منطقی‬ ‫آیا‬
«
‫فروش‬ ‫میزان‬
»
‫و‬
«
‫روزنامه‬ ‫تبلیغات‬
»
‫ن‬ ‫وجود‬
‫باشد‬ ‫داشته‬
‫دهد؟‬ ‫نشان‬ ‫را‬ ‫آن‬ ‫عکس‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫که‬ ‫حالی‬ ‫در‬

‫بله‬
!!
•
‫بین‬ ‫همبستگی‬
«
‫رادیو‬
»
‫و‬
«
‫روزنامه‬
»
0.35
‫است‬
.
‫بازارهایی‬ ‫در‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتر‬ ‫هزینه‬ ‫به‬ ‫تمایل‬ ‫دهنده‬ ‫نشان‬ ‫این‬
‫است‬
‫میشود‬ ‫رادیویی‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتری‬ ‫هزینه‬ ‫که‬
.
•
‫یابد‬ ‫افزایش‬ ‫رادیویی‬ ‫تبلیغات‬ ‫که‬ ‫بازارهایی‬ ‫در‬ ‫فروش‬ ‫میزان‬
،
‫ن‬ ‫همبستگی‬ ‫ماتریس‬ ‫که‬ ‫طور‬ ‫همان‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫بیشتر‬
‫میدهد‬ ‫شان‬
‫یابد‬ ‫می‬ ‫افزایش‬ ‫بازارها‬ ‫همان‬ ‫در‬ ‫نیز‬ ‫روزنامه‬ ‫تبلیغات‬
.
•
‫میکند‬ ‫بررسی‬ ‫را‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برابر‬ ‫در‬ ‫فروش‬ ‫فقط‬ ‫که‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
،
‫روزنامه‬
«
‫اعتبار‬
»
‫رادیو‬ ‫تاثیر‬
‫را‬ ‫فروش‬ ‫بر‬
‫میگیرد‬
.
‫برآورد‬
‫رگرسیون‬ ‫ضرایب‬
• 𝑋 =
𝑥1
⋮
𝑥𝑛
, 𝑌 =
𝑦1
⋮
𝑦𝑛
• RSS = 𝑋𝛽 − 𝑌
2
= 𝑋𝛽 − 𝑌
𝑇
(𝑋𝛽 − 𝑌) =
• 𝑌𝑇
𝑌 − 𝑌𝑇
𝑋𝛽 − 𝛽𝑇
𝑋𝑇
𝑌 + 𝛽𝑇
𝑋𝑇
𝑋𝛽
•
𝜕𝑅𝑆𝑆
𝜕𝛽
=
𝜕(𝑌𝑇𝑌 −𝑌𝑇𝑋𝛽−𝛽𝑇𝑋𝑇𝑌+𝛽𝑇𝑋𝑇𝑋𝛽)
𝜕𝛽
=
• −2𝑋𝑇
𝑌 + 2𝑋𝑇
𝑋𝛽
• −2𝑋𝑇
𝑌 + 2𝑋𝑇
𝑋𝛽 = 0 → 𝛽 = (𝑋𝑇
𝑋)−1
𝑋𝑇
𝑌
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚
𝑅𝑆𝑆 = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦𝑖)2
=
𝑖=1
𝑛
(𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚 − 𝑦𝑖)2
• 𝑥 = [1 , 𝑥1 , 𝑥2 , … , 𝑥𝑚]
• 𝛽 = [𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑚]
• 𝑦 = 𝑖=0
𝑚
(𝑥𝑖 ∗ 𝛽𝑖) = 𝑥. 𝛽
• 𝐷 = { (𝑥1 , 𝑦1) , … , (𝑥𝑛 , 𝑦𝑛) }
• 𝑅𝑆𝑆 = 𝑖=1
𝑛
(𝛽. 𝑥𝑖 − 𝑦𝑖)2
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
•
‫صورت‬ ‫به‬ ‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیر‬ ‫بین‬ ‫رابطه‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
‫ی‬
‫ک‬
«
‫خط‬
»
‫شود‬‫می‬ ‫بیان‬
.
•
‫راب‬ ‫در‬ ‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫با‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫اگر‬ ،‫چندگانه‬ ‫رگرسیون‬ ‫در‬
‫خطی‬ ‫طه‬
‫یک‬ ‫صورت‬ ‫به‬ ‫رابطه‬ ‫این‬ ‫شکل‬ ،‫باشند‬
«
‫صفحه‬
»
‫در‬
‫آمد‬ ‫خواهد‬
.
•
‫رو‬ ‫کار‬ ‫به‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫از‬ ‫بیش‬ ‫که‬ ‫صورتی‬ ‫در‬
‫مدل‬ ،‫ند‬
‫یک‬ ‫شکل‬ ‫به‬
«
‫ابرصفحه‬
»
‫ظاهر‬
‫شود‬‫می‬
.
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬

‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫مشکالت‬
‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫معمولی‬
:
.A
‫محاسبه‬
(𝑋𝑇
𝑋)−1
‫باشد‬ ‫زمانبر‬ ‫است‬ ‫ممکن‬
.
.B
XT
X
‫نباشد‬ ‫پذیر‬ ‫معکوس‬ ‫است‬ ‫ممکن‬
.
•
«
‫تصادفی‬ ‫کاهشی‬ ‫گرادیان‬
»
‫باشد‬ ‫می‬ ‫بهینه‬ ‫پارامتر‬ ‫تخمین‬ ‫برای‬ ‫سریعتر‬ ‫و‬ ‫کاراتر‬ ‫روشی‬
.
‫کاهشی‬ ‫گرادیان‬

‫گرادیان‬
‫کاهشی‬
(
Gradient Descent
: )
•
‫سازی‬ ‫بهینه‬ ‫الگوریتم‬ ‫یک‬
‫تکراری‬
‫اول‬ ‫مرتبه‬
‫ت‬ ‫یک‬ ‫کمینه‬ ‫یافتن‬ ‫برای‬
‫است‬ ‫ابع‬
.
•
‫گامهای‬
‫مخالف‬ ‫جهت‬ ‫در‬ ‫مکرر‬
‫تابع‬ ‫گرادیان‬
‫فعلی‬ ‫نقطه‬ ‫در‬
‫میشود‬ ‫برداشته‬
‫به‬ ‫تا‬
‫محلی‬ ‫کمینه‬
/
‫برسد‬ ‫سراسری‬
.
‫کاهشی‬ ‫گرادیان‬

‫الگوریتم‬
GD
‫تابع‬ ‫مینیمم‬ ‫محاسبه‬ ‫برای‬
y = f(x)
:
.A
‫کن‬ ‫انتخاب‬ ‫رندوم‬ ‫نقطه‬ ‫یک‬
.
.B
‫بود‬ ‫صفر‬ ‫برابر‬ ‫نقطه‬ ‫این‬ ‫در‬ ‫گرادیان‬ ‫اگر‬
،
‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬
.
.C
‫رابطه‬ ‫از‬
𝑥𝑡+1 = 𝑥𝑡 − η𝛻xf
‫کن‬ ‫استفاده‬ ‫جدید‬ ‫مقدار‬ ‫محاسبه‬ ‫برای‬
.
‫به‬ ‫برگرد‬
‫مرحله‬
B
•
η
‫میکند‬ ‫تنظیم‬ ‫را‬ ‫گامها‬ ‫طول‬ ‫و‬ ‫است‬ ‫یادگیری‬ ‫نرخ‬
.
‫کاهشی‬ ‫گرادیان‬

‫هزینه‬ ‫تابع‬
،
‫میکند‬ ‫توصیف‬ ‫را‬ ‫کرده‬ ‫بینی‬ ‫پیش‬ ‫مدل‬ ‫آنچه‬ ‫و‬ ‫شده‬ ‫مشاهده‬ ‫مقدار‬ ‫بین‬ ‫اختالف‬
.

‫تنظیم‬ ‫هدف‬
‫پارامترها‬
،
‫است‬ ‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬ ‫به‬
.
• Hypothesis: ℎ𝜃 𝑥 = 𝜃. x = 𝜃0+ 𝜃1𝑥1 + ⋯ + 𝜃𝑛𝑥𝑛
• Parameters: 𝜃0 , 𝜃1 , … , 𝜃𝑛
• Cost function: 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 =
1
2𝑚 𝑖=1
𝑚
(ℎ𝜃 𝑥(𝑖)
− 𝑦(𝑖)
)2
• Goal: minimize 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛
•
‫مثال‬
:
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫هزینه‬ ‫تابع‬
:
• 𝐽 𝛽0 , 𝛽1 =
1
2𝑚 𝑖=1
𝑚
(𝛽0 + 𝛽1𝑥(𝑖)
− 𝑦(𝑖)
)2
‫کاهشی‬ ‫گرادیان‬

‫مانند‬ ‫سهمی‬ ‫تابعی‬ ‫همیشه‬ ‫خطی‬ ‫رگرسیون‬ ‫برای‬ ‫هزینه‬ ‫تابع‬
‫است‬
.

‫د‬ ‫کلی‬ ‫مینیمم‬ ‫یک‬ ‫فقط‬ ‫و‬ ‫ندارد‬ ‫محلی‬ ‫مینیمم‬ ‫محدب‬ ‫تابع‬ ‫این‬
‫ارد‬
.
‫کاهشی‬ ‫گرادیان‬
‫کاهشی‬ ‫گرادیان‬

‫تنظیم‬ ‫هدف‬
𝜃
‫به‬
‫است‬ ‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬
.
i. 𝜃 = 𝜃 − 𝜂𝛻𝜃𝐽(𝜃)
ii. 𝜃𝑗 = 𝜃𝑗 − 𝜂
𝜕
𝜕𝜃𝑗
𝐽 𝜃 = 𝜃𝑗 − 𝜂
𝜕
𝜕𝜃𝑗
𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛
iii.
𝜕
𝜕𝜃𝑗
𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 =
𝜕
𝜕𝜃𝑗
1
2𝑚 𝑖=1
𝑚
ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖 2
=
1
𝑚 𝑖=1
𝑚
(ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
) 𝑥𝑗
•
‫پارامتر‬ ‫هر‬ ‫بنابراین‬
𝜃𝑗
،
‫میشود‬ ‫روزرسانی‬ ‫به‬ ‫زیر‬ ‫روش‬ ‫به‬ ‫گام‬ ‫هر‬ ‫در‬
:
• 𝜃𝑗 = 𝜃𝑗 −
η
m 𝑖=1
𝑚
(ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
) 𝑥𝑗
‫کاهشی‬ ‫گرادیان‬
•
‫کاهشی‬ ‫گرادیان‬ ‫الگوریتم‬
:
• repeat until convergence {
• 𝜑𝑗 = 𝜃𝑗 −
η
m 𝑖=1
𝑚
ℎ𝜃 𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗 (for j = 0 to n)
• 𝜃𝑗 = 𝜑𝑗 (for j = 0 to n)
• }
•
‫دور‬ ‫هر‬ ‫در‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬
،
‫پارامترهای‬ ‫رسانی‬ ‫روز‬ ‫به‬
𝜃𝑗
‫و‬ ‫موازی‬ ‫صورت‬ ‫به‬
‫صورت‬ ‫به‬ ‫نه‬
‫صورت‬ ‫ترتیبی‬
‫گرفت‬ ‫خواهد‬
.
‫کاهشی‬ ‫گرادیان‬

‫کاهشی‬ ‫گرادیان‬ ‫انواع‬
:
•
‫کاهشی‬ ‫گرادیان‬
‫تصادفی‬
:
‫میش‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫تصادفی‬ ‫آموزشی‬ ‫نمونه‬ ‫یک‬ ‫تنها‬ ‫از‬ ، ‫تکرار‬ ‫هر‬ ‫در‬
‫ود‬
.
•
‫دسته‬ ‫کاهشی‬ ‫گرادیان‬
‫ای‬
:
‫در‬
، ‫تکرار‬ ‫هر‬
‫میشود‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫تمام‬ ‫از‬
.
•
‫دسته‬ ‫کاهشی‬ ‫گرادیان‬
‫کوچک‬ ‫ای‬
:
‫تکرار‬ ‫هر‬ ‫در‬
‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫از‬ ‫تصادفی‬ ‫کوچک‬ ‫ی‬ ‫دسته‬ ‫یک‬ ‫از‬ ،
‫میشود‬ ‫استفاده‬ ‫پارامترها‬
.
Stochastic GD

‫گریز‬
‫پرنویز‬ ‫های‬ ‫گام‬ ‫دلیل‬ ‫به‬ ‫محلی‬ ‫های‬ ‫کمینه‬ ‫از‬

‫سریعتر‬ ‫همگرایی‬
‫بزرگ‬ ‫بسیار‬ ‫های‬ ‫دیتاست‬ ‫برای‬ ‫مناسب‬ ‫و‬

‫آنالین‬ ‫پردازش‬ ‫مزیت‬
𝐒𝐭𝐨𝐜𝐡𝐚𝐬𝐭𝐢𝐜 𝐆𝐃
Initialize 𝛽 randomly
Randomly shuffle training examples
Loop until convergence :
• Sample (𝑥,𝑦) from the training set
• for j=1 to n :
• 𝑔𝑗 = 𝛽.𝑥 − 𝑦 𝑥𝑗
• 𝛽 = 𝛽 − η𝑔
Batch GD

‫مشکل‬
‫حافظه‬ ‫حجم‬

‫میانگین‬ ‫شیب‬ ‫با‬ ‫رسانی‬ ‫روز‬ ‫به‬ ‫دلیل‬ ‫به‬ ‫پایدارتر‬ ‫همگرایی‬

‫مزیت‬
‫رس‬ ‫روز‬ ‫به‬ ‫و‬ ‫محاسبات‬ ‫عملیات‬ ‫تفکیک‬ ‫با‬ ‫موازی‬ ‫پردازش‬
‫انی‬
𝐁𝐚𝐭𝐜𝐡 𝐆𝐃
Initialize 𝛽 randomly
Sample all training data :
{(𝑥(1)
,𝑦(1)
),…,(𝑥(𝑚)
,𝑦(𝑚)
)}
Loop until convergence :
• for j=1 to n :
• 𝑔𝑗 = 0
• for i=1 to m :
• 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗
𝑖
• 𝛽 = 𝛽 −
η
m
𝑔
mini − Batch GD
𝐦𝐢𝐧𝐢 − 𝐁𝐚𝐭𝐜𝐡 𝐆𝐃
Initialize 𝛽 randomly
𝑘 = 0
Loop until convergence :
• Sample {(𝑥(𝑘+1)
,𝑦(𝑘+1)
), …,(𝑥(𝑘+𝑏)
,𝑦(𝑘+𝑏)
)}
from the training set
• for j=1 to n :
• 𝑔𝑗 = 0
• for i=(k+1) to (k+b) :
• 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖
− 𝑦 𝑖
𝑥𝑗
𝑖
• 𝛽 = 𝛽 −
η
𝑏
𝑔
• 𝑘 = 𝑘 + 𝑏
‫کاهشی‬ ‫گرادیان‬ ‫روش‬ ‫مشکالت‬
.A
‫ومینیمم‬ ‫کند‬ ‫گیر‬ ‫محلی‬ ‫کمینه‬ ‫در‬ ‫است‬ ‫ممکن‬
‫نیابد‬ ‫را‬ ‫تابع‬ ‫کل‬
.
•
‫تابع‬
‫برای‬ ‫هزینه‬
‫رگرسیون‬
‫همواره‬ ‫خطی‬
‫محدب‬
‫است‬ ‫کلی‬ ‫آن‬ ‫مینیمم‬ ‫نقطه‬ ‫و‬ ‫است‬
.
𝑅𝑆𝑆 =
𝑖=1
𝑛
(𝛽. 𝑥𝑖 − 𝑦𝑖)2
‫کاهشی‬ ‫گرادیان‬ ‫روش‬ ‫مشکالت‬
.B
‫یادگیری‬ ‫نرخ‬ ‫تعیین‬
:
•
‫نرخ‬
‫واگرایی‬ ‫سبب‬ ‫است‬ ‫ممکن‬ ‫بزرگ‬ ‫بسیار‬ ‫یادگیری‬
‫الگور‬
‫یتم‬
،
‫یا‬
‫شود‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬ ‫نوسان‬
.
•
، ‫الگوریتم‬ ‫همگرایی‬ ‫کندی‬ ‫سبب‬ ‫کوچک‬ ‫یادگیری‬ ‫نرخ‬
‫گی‬ ‫یا‬
‫کردن‬ ‫ر‬
‫نامطلوب‬ ‫محلی‬ ‫کمینه‬ ‫در‬
‫شود‬ ‫می‬
.

‫حل‬ ‫راه‬
:
‫آموزش‬ ‫حین‬ ‫در‬ ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬
o
‫مجز‬ ‫آموزش‬ ‫زمینه‬ ‫این‬ ‫در‬ ، ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬ ‫اهمیت‬ ‫دلیل‬ ‫به‬
‫ایی‬
‫میشود‬ ‫تهیه‬
.
‫مقیاس‬
‫بندی‬
‫ویژگی‬

‫بندی‬ ‫مقیاس‬
‫ویژگی‬
(
feature scaling
: )
•
‫شود‬ ‫می‬ ‫انجام‬ ‫داده‬ ‫پردازش‬ ‫پیش‬ ‫مرحله‬ ‫در‬
.
•
‫الگوریتم‬
‫چیست‬ ‫دهنده‬ ‫نشان‬ ‫عدد‬ ‫این‬ ‫داند‬ ‫نمی‬ ‫و‬ ‫کند‬ ‫می‬ ‫کار‬ ‫اعداد‬ ‫روی‬ ‫بر‬ ‫ماشین‬ ‫یادگیری‬
.

‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ ‫رایج‬ ‫روشهای‬
:
.A
‫داده‬ ‫سازی‬ ‫نرمال‬
(
Normalization
)
.B
‫داده‬ ‫استانداردسازی‬
(
Standardization
)
‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫سازی‬ ‫نرمال‬
:
𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 =
𝑋 − 𝑋𝑚𝑖𝑛
𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛
•
0 ≤ 𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 ≤ 1
‫بود‬ ‫خواهد‬

‫استانداردسازی‬
:
𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 =
𝑋 − 𝜇
𝜎
•
‫دارای‬ ‫حاصل‬ ‫توزیع‬
𝜇𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 0
‫و‬
𝜎𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 1
‫خواهد‬
‫شد‬
.
‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫بندی‬ ‫مقیاس‬
‫ویژگی‬
‫الگوریتم‬ ‫در‬
‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫های‬
:
•
‫فاصله‬ ‫های‬ ‫الگوریتم‬
‫مانند‬
KNN
،
K − means
‫و‬
SVM
‫بیشتر‬
‫تأثیر‬ ‫تحت‬
‫مقیاس‬
‫گیرند‬ ‫می‬ ‫قرار‬ ‫ها‬ ‫ویژگی‬
.
•
‫به‬ ‫ها‬ ‫الگوریتم‬ ‫این‬
‫موقعیت‬
‫نقاط‬ ‫نسبی‬
‫هستند‬ ‫حساس‬ ‫یکدیگر‬ ‫به‬ ‫نسبت‬ ‫داده‬
.
•
‫قبل‬
‫نتیج‬ ‫در‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫تا‬ ‫کنیم‬ ‫می‬ ‫بندی‬ ‫مقیاس‬ ‫را‬ ‫خود‬ ‫های‬ ‫داده‬ ، ‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫از‬
‫داشته‬ ‫نقش‬ ‫ه‬
‫باشند‬
.
‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
‫در‬
‫الگوریتم‬
‫بر‬ ‫مبتنی‬ ‫های‬
‫درخت‬
:
•
‫به‬ ‫نسبت‬
‫مقیاس‬
‫ویژگی‬
‫حساس‬ ‫ها‬
‫نیستند‬
.
•
‫هر‬ ‫تصمیم‬ ‫درخت‬
‫را‬ ‫گره‬
‫بر‬ ‫فقط‬
‫واحد‬ ‫ویژگی‬ ‫یک‬ ‫اساس‬
‫منشعب‬
‫ک‬ ‫می‬
‫ند‬
.
•
‫انشعاب‬ ‫این‬
‫یک‬ ‫روی‬ ‫بر‬
‫ویژگی‬
،
‫ها‬ ‫ویژگی‬ ‫سایر‬ ‫تأثیر‬ ‫تحت‬
‫نیس‬
‫و‬ ‫ت‬
ً‫ال‬‫عم‬
‫در‬ ‫باقیمانده‬ ‫های‬ ‫ویژگی‬ ‫بر‬ ‫تأثیری‬ ‫هیچ‬
‫ندارد‬ ‫انشعاب‬
.
‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
:
•
‫دهند‬ ‫نشان‬ ‫را‬ ‫ویژگی‬ ‫اهمیت‬ ‫دهد‬ ‫می‬ ‫اجازه‬ ‫ضرایب‬ ‫به‬
.
𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝
•
‫بر‬ ‫میزان‬ ‫چه‬ ‫ویژگی‬ ‫این‬ ‫که‬ ‫دهند‬ ‫می‬ ‫ایده‬ ‫ما‬ ‫به‬ ، ‫ویژگی‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ضرایب‬
‫تأثیر‬ ‫مدل‬ ‫نتیجه‬
‫گذارد‬ ‫می‬
.

‫مثال‬
:
•
‫شامل‬ ‫اندام‬ ‫تناسب‬ ‫مورد‬ ‫در‬ ‫داده‬ ‫مجموعه‬ ‫یک‬
‫ویژگیهای‬ ‫با‬ ‫هایی‬ ‫داده‬
‫قد‬
(
‫متر‬
)
‫وزن‬ ‫و‬
(
‫کیلوگرم‬
)
‫است‬
.
•
‫اختالف‬
1
‫به‬ ‫نسبت‬ ‫متر‬
1
‫کیلوگرم‬
‫خیلی‬
‫است‬ ‫توجهتر‬ ‫قابل‬
.
•
‫اگر‬ ‫حتی‬
، ‫باشند‬ ‫مهم‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫وزن‬ ‫و‬ ‫قد‬ ‫های‬ ‫ویژگی‬
‫ضرایب‬
𝛽
‫مربوط‬
‫داشت‬ ‫خواهند‬ ‫متفاوتی‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫آنها‬ ‫به‬
.
‫کاهشی‬ ‫گرادیان‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬

‫الگوریتم‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
‫ک‬ ‫گرادیان‬ ‫بر‬ ‫مبتنی‬ ‫های‬
‫اهشی‬
:

‫سرعت‬
‫میدهد‬ ‫افزایش‬ ‫را‬ ‫هگرایی‬
.
•
‫ویژگی‬
‫شک‬ ‫به‬ ‫ای‬ ‫هزینه‬ ‫تابع‬ ، ‫متفاوت‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫با‬ ‫های‬
‫یک‬ ‫ل‬
‫دره‬
‫و‬ ‫باریک‬
‫طوالنی‬
‫میکنند‬ ‫ایجاد‬
.
•
‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
،
‫به‬
‫هزینه‬ ‫تابع‬
‫شکلی‬
«
‫تر‬ ‫کروی‬
»
‫خ‬ ‫به‬ ‫و‬
‫طوط‬
‫یک‬ ‫آن‬ ‫کانتور‬
‫شکل‬
«
‫دایره‬
‫ای‬
‫تر‬
»
‫می‬
‫دهد‬
.
•
‫حالت‬ ‫در‬
، ‫تر‬ ‫ای‬ ‫دایره‬
‫است‬ ‫مرکز‬ ‫سمت‬ ‫به‬ ‫مستقیما‬ ‫گرادیان‬
.
•
‫حالت‬ ‫در‬
‫تر‬ ‫بیضوی‬
،
‫بزرگ‬ ‫محور‬ ‫امتداد‬ ‫در‬ ‫مدام‬ ‫الگوریتم‬ ‫های‬ ‫گام‬
‫سمت‬ ‫به‬ ‫آرام‬ ‫خیلی‬ ‫که‬ ‫حالی‬ ‫در‬ ‫پرد‬ ‫می‬ ‫جلو‬ ‫و‬ ‫عقب‬ ‫سمت‬ ‫به‬ ‫بیضی‬
‫کند‬ ‫می‬ ‫حرکت‬ ‫مرکز‬
.
‫کاهشی‬ ‫گرادیان‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
•
‫تابع‬ ‫منفی‬ ‫گرادیان‬
، ‫هزینه‬
‫است‬ ‫نقطه‬ ‫آن‬ ‫در‬ ‫تابع‬ ‫کانتور‬ ‫خط‬ ‫بر‬ ‫عمود‬ ‫همواره‬ ‫نقطه‬ ‫یک‬ ‫در‬
.
•
‫حرکت‬ ‫راستای‬ ‫به‬ ‫نسبت‬ ‫منفی‬ ‫گرادیان‬ ‫بردار‬
، ‫بهینه‬
‫کوچکتری‬ ‫مولفه‬ ‫و‬ ‫بیضی‬ ‫کوچک‬ ‫محور‬ ‫راستای‬ ‫در‬ ‫بزرگتری‬ ‫مولفه‬
‫راستای‬ ‫در‬
‫دارد‬ ‫بیضی‬ ‫بزرگ‬ ‫محور‬
.
•
‫ویژگی‬
‫مقیاس‬ ‫با‬
‫بزرگتر‬
‫می‬ ‫غلبه‬ ‫گرادیان‬ ‫بر‬
‫کند‬
.
(
β𝑗 = β𝑗 −
η
m i=1
m
(ℎβ 𝑥 𝑖
− 𝑦 𝑖
) 𝑥j
)
•
‫حرکت‬ ‫یک‬ ‫داشتن‬
«
‫زاگ‬ ‫زیگ‬
»
،
‫این‬ ‫به‬
‫معنی‬
‫نیستند‬ ‫بهینه‬ ‫جهت‬ ‫در‬ ‫لزوما‬ ‫که‬ ‫داریم‬ ‫برمی‬ ‫را‬ ‫زیادی‬ ‫های‬ ‫گام‬ ‫که‬ ‫است‬
.
•
‫اینکه‬ ‫از‬ ‫اطمینان‬ ‫برای‬
‫به‬ ‫کاهشی‬ ‫گرادیان‬
‫نزول‬ ‫مراحل‬ ‫و‬ ‫کند‬ ‫می‬ ‫حرکت‬ ‫حداقل‬ ‫سمت‬ ‫به‬ ‫نرمی‬
‫گرادیان‬
‫همان‬ ‫با‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫برای‬
، ‫شود‬ ‫می‬ ‫روز‬ ‫به‬ ‫سرعت‬
‫مقیاس‬ ‫را‬ ‫ها‬ ‫داده‬ ‫الگوریتم‬ ‫اجرای‬ ‫از‬ ‫قبل‬
‫کنیم‬ ‫می‬ ‫بندی‬
.
‫کاهشی‬ ‫گرادیان‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬
•
‫کوچک‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬
‫نرخ‬ ‫کردن‬
‫بهبود‬ ‫باعث‬ ‫یادگیری‬
‫کمکی‬ ‫اما‬ ‫میشود‬ ‫زیگزاگی‬ ‫حرکت‬
‫همگ‬ ‫سرعت‬ ‫افزایش‬ ‫به‬
‫رایی‬
‫کند‬ ‫نمی‬
.
‫ارزیابی‬
‫سوال‬ ‫چهار‬ ‫قالب‬ ‫در‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
‫اول‬ ‫سوال‬

‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬
:
Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖
.I
‫آیا‬
‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬
X1 ,X2, … ,Xp
‫بینی‬ ‫پیش‬ ‫در‬
Y
‫است؟‬ ‫مفید‬
•
‫دیگر‬ ‫عبارت‬ ‫به‬
‫؛‬
‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬

‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 0
‫خیر‬ ‫یا‬ ‫است‬
.

‫در‬
‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
‫آیا‬ ‫که‬ ‫میکنیم‬
𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0
‫خیر‬ ‫یا‬ ‫است‬
.
 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p)
•
‫که‬ ‫دید‬ ‫خواهیم‬ ‫زودی‬ ‫به‬
‫فرض‬
‫از‬ ‫استفاده‬ ‫با‬ ‫صفر‬
«
‫آزمون‬
F
‫تحلیل‬
‫واریانس‬
»
‫آزمایش‬
‫شود‬ ‫می‬
.
‫اول‬ ‫سوال‬
.II
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬
(
‫بیش‬
‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬
‫همه‬
)
‫از‬ ‫یکی‬ ‫حداقل‬
‫با‬ ‫متغیرها‬
‫پاس‬
‫خ‬
Y
‫ارتباط‬
‫دارد؟‬
 𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0
 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = (p − q + 1) to p)
•
‫را‬ ‫نظر‬ ‫مورد‬ ‫زیرمجموعه‬ ،‫کار‬ ‫راحتی‬ ‫برای‬
q
‫ایم‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫لیست‬ ‫انتهای‬ ‫متغیر‬
.
•
‫یک‬
«
‫آزمون‬
F
‫کلی‬ ‫خطی‬
»
‫گرفت‬ ‫خواهیم‬ ‫یاد‬ ‫ای‬ ‫فرضیه‬ ‫چنین‬ ‫آزمایش‬ ‫برای‬ ‫را‬
.
.III
‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬
Xj
‫پاسخ‬ ‫با‬
Y
‫؟‬ ‫دارد‬ ‫ارتباط‬
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0
•
‫انجام‬ ‫فقط‬ ‫این‬ ‫آیا‬
«
‫آزمون‬
t
»
‫برای‬
𝛽𝑗
‫نیست‬
‫؟‬
!
‫اول‬ ‫سوال‬

‫زاویه‬ ‫ضریب‬ ‫یک‬ ‫تنها‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬
𝛽1
‫وجود‬
‫فرضیه‬ ‫های‬ ‫آزمون‬ ‫آن‬ ‫مورد‬ ‫در‬ ‫توان‬ ‫می‬ ‫که‬ ‫دارد‬
‫داد‬ ‫انجام‬ ‫را‬
.

‫مختلف‬ ‫فرضیه‬ ‫آزمون‬ ‫سه‬ ،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬
‫ضرایب‬ ‫برای‬
‫انجام‬ ‫توان‬‫می‬ ‫که‬ ‫دارد‬ ‫وجود‬
‫داد‬
:
.I
‫تمام‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫ضرایب‬
0
‫هستند‬
.
.II
‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫زیرمجموعه‬
-
‫همه‬ ‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬ ‫بیش‬
-
‫از‬
‫ضرایب‬
0
‫هستند‬
.
.III
‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬
‫خاص‬ ‫ضریب‬
0
‫است‬
.
‫اول‬ ‫سوال‬
:
‫ضرایب‬ ‫ی‬ ‫همه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫آیا‬
‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬
X1 ,X2, … ,Xp
‫بینی‬ ‫پیش‬ ‫در‬
Y
‫است؟‬ ‫مفید‬
•
‫دیگر‬ ‫عبارت‬ ‫به‬
‫؛‬
‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬

‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 0
‫خیر‬ ‫یا‬ ‫است‬
.
• 𝐻0 ∶ 𝛽1 = 0
• 𝐻𝑎 ∶ 𝛽1 ≠ 0

‫آیا‬ ‫که‬ ‫میکنیم‬ ‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0
‫خیر‬ ‫یا‬ ‫است‬
.
• 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
• 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p)
‫آزمون‬
F
‫کلی‬ ‫خطی‬

«
‫آزمون‬
F
‫خطی‬
‫کلی‬
»
‫شامل‬
‫از‬ ‫عبارتند‬ ‫که‬ ‫است‬ ‫اساسی‬ ‫مرحله‬ ‫سه‬
:
.1
‫تعریف‬ ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ ‫یک‬
‫کنید‬
(
‫منظور‬
‫از‬
«
‫بزرگتر‬
»
‫بیشتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬
‫است‬
.)
.2
‫یک‬
‫تعریف‬ ‫کوچکتر‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
‫کنید‬
(
‫منظور‬
‫از‬
«
‫کوچکتر‬
»
‫کمتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬
‫است‬
.)
.3
‫از‬
‫آماره‬ ‫یک‬
F
‫برای‬
‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫تصمیم‬
«
‫مدل‬
‫یافته‬ ‫کاهش‬
‫کوچکتر‬
»
‫نفع‬ ‫به‬
«
‫مدل‬
‫کامل‬
‫بزرگتر‬
»
‫استف‬
‫کنید‬ ‫اده‬
.
•
‫فرض‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫می‬ ‫مربوط‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫صفر‬ ‫فرضیه‬ ،‫بینید‬ ‫می‬ ‫سوم‬ ‫مرحله‬ ‫عبارت‬ ‫در‬ ‫که‬ ‫همانطور‬
‫یه‬
‫شود‬ ‫می‬ ‫مربوط‬ ‫کامل‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫جایگزین‬
.
• 𝐻0 ∶ The reduced model
• 𝐻𝑎 ∶ The full model
‫آزمون‬
F
‫خطی‬
‫کلی‬

‫بزرگتر‬ ‫کامل‬ ‫مدل‬
:
‫باشد‬ ‫ها‬ ‫داده‬ ‫برای‬ ‫ترین‬ ‫مناسب‬ ‫رسد‬ ‫می‬ ‫نظر‬ ‫به‬ ‫که‬ ‫است‬ ‫مدلی‬
.
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
‫کوچکتر‬
:
‫شود‬ ‫می‬ ‫توصیف‬ ‫صفر‬ ‫فرضیه‬ ‫توسط‬ ‫که‬ ‫است‬ ‫مدلی‬
.
𝑦 = 𝛽0 + 𝜖
•
‫از‬ ‫یک‬ ‫کدام‬
«
‫یافته‬ ‫کاهش‬ ‫مدل‬
»
‫یا‬
«
‫کامل‬ ‫مدل‬
»
‫کند‬ ‫می‬ ‫عمل‬ ‫بهتر‬ ‫ها‬ ‫داده‬ ‫در‬ ‫روند‬ ‫توصیف‬ ‫در‬
‫؟‬
• 𝐻0 ∶ 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0
• 𝐻𝑎 ∶ The full model
‫آزمون‬
F
‫کلی‬ ‫خطی‬

«
‫یافته‬ ‫کاهش‬ ‫مدل‬
»
‫دهید‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬
:
o
‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
‫آورید‬ ‫بدست‬ ‫را‬
.
o
، ‫خطا‬ ‫مربعات‬ ‫مجموع‬
SSE(R)
‫کنید‬ ‫تعیین‬ ‫را‬ ،
.
 𝑦i = 𝛽0 + 𝜖𝑖
 𝑦i = 𝐸 𝑦i = 𝛽0
• SSE = 𝑖=1
𝑛
(𝑦observed − 𝑦fitted)2
• SSE R = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦)2

«
‫کامل‬ ‫مدل‬
»
‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬
‫دهید‬
:
o
‫مربعات‬ ‫حداقل‬ ‫برآورد‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫آورید‬ ‫بدست‬ ‫را‬
.
o
، ‫خطا‬ ‫مربعات‬ ‫مجموع‬
SSE(F)
‫کنید‬ ‫تعیین‬ ‫را‬ ،
.
 𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝 + 𝜖𝑖
 𝑦i = 𝐸 𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝
• SSE = 𝑖=1
𝑛
(𝑦observed − 𝑦fitted)2
• SSE F = 𝑖=1
𝑛
(𝑦𝑖 − 𝑦𝑖)2
‫آزمون‬
F
‫خطی‬
‫کلی‬

، ‫ها‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫دو‬ ‫از‬ ‫یک‬ ‫هر‬ ‫تطبیق‬ ‫از‬ ‫پس‬
‫مجموع‬
‫مربعات‬
‫خطا‬
‫کنیم‬ ‫می‬ ‫تعیین‬ ‫را‬
.

‫آزمون‬
‫خطی‬
‫کلی‬
‫بین‬ ‫مقایسه‬ ‫شامل‬
SSE(R)
‫و‬
SSE(F)
‫است‬
.

SSE(R)
‫هرگز‬
‫از‬ ‫کوچکتر‬ ‫تواند‬ ‫نمی‬
SSE(F)
‫باشد‬
(
SSE(R) ≥ SSE(F)
.)
•
‫اگر‬
SSE(F)
‫نزدیک‬
‫به‬
SSE(R)
‫باشد‬
:
‫پراکندگی‬
‫کامل‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬ ‫در‬
ً‫ا‬‫تقریب‬
‫اندازه‬ ‫به‬
‫پراکندگی‬
‫در‬
‫اطراف‬
‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬
‫است‬
.
،‫حالت‬ ‫این‬ ‫در‬
‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫از‬ ‫استفاده‬
‫تر‬ ‫منطقی‬
‫است‬
.
•
‫اگر‬
SSE(F)
‫و‬
SSE(R)
‫داشته‬ ‫زیادی‬ ‫تفاوت‬
‫باشند‬
:
‫پارامتر‬
(
‫های‬
)
‫ای‬ ‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫کامل‬ ‫مدل‬ ‫در‬ ‫اضافی‬
‫پراکند‬
‫گی‬
‫دهد‬ ‫می‬ ‫کاهش‬ ‫را‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬
.
‫با‬ ‫که‬ ‫است‬ ‫منطقی‬ ،‫مورد‬ ‫این‬ ‫در‬
‫بزرگتر‬ ‫کامل‬ ‫مدل‬
‫شوید‬ ‫همراه‬
.
‫آزمون‬
F
‫خطی‬
‫کلی‬

‫اختالف‬ ‫هرچقدر‬
SSE(R)
‫و‬
SSE(F)
‫استفاده‬ ‫میتوان‬ ‫تر‬ ‫راحت‬ ،‫باشد‬ ‫بیشتر‬
‫از‬
«
‫مدل‬
‫کامل‬
‫بزرگتر‬
»
‫توجیه‬ ‫را‬
‫کرد‬
.

‫آماره‬
F
‫کلی‬ ‫خطی‬
:
• 𝐹∗ =
SSE R −SSE(F)
dfR−dfF
SSE(F)
dfF
•
‫اگر‬ ،‫کلی‬ ‫طور‬ ‫به‬
𝐹∗
‫بزرگ‬ ‫کافی‬ ‫اندازه‬ ‫به‬
‫باشد‬
‫رد‬ ‫صفر‬ ‫فرض‬
‫می‬
‫شود‬
.
•
‫دارد‬ ‫ارتباط‬ ‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫معناست‬ ‫این‬ ‫به‬ ‫صفر‬ ‫فرض‬ ‫رد‬
.
‫آزمون‬
F

‫آماره‬
F
‫کلی‬ ‫خطی‬
‫آماره‬ ‫به‬ ‫را‬
F
‫واریانس‬ ‫تحلیل‬
(
ANOVA
)
‫دهیم‬ ‫می‬ ‫کاهش‬ ‫شدیم‬ ‫آشنا‬ ‫قبال‬ ‫که‬
:
• 𝐹∗ =
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SS𝑇−SSE
(𝑛−1)−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SS𝑅
𝑝
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
= 𝑀𝑆𝑅
𝑀𝑆𝐸
‫آزمون‬
F
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸

‫باشد‬ ‫درست‬ ‫خطی‬ ‫مدل‬ ‫مفروضات‬ ‫اگر‬
:
E MSE = 𝜎2

‫صفر‬ ‫فرض‬ ‫اگر‬
(
𝐻0
)
‫باشد‬ ‫درست‬
:
𝐸 𝑀𝑆𝑅 = 𝜎2

‫مقابل‬ ‫فرض‬ ‫اگر‬
(
𝐻𝑎
)
‫باشد‬ ‫درست‬
:
𝐸 𝑀𝑆𝑅 > 𝜎2
•
‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
(
𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0
)
،
‫داریم‬ ‫انتظار‬
Fstatistic
‫باشد‬ ‫داشته‬ ‫یک‬ ‫به‬ ‫نزدیک‬ ‫مقداری‬
.
•
‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬
(
𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0
)
،
‫داریم‬ ‫انتظار‬
Fstatistic
‫باشد‬ ‫بزرگتر‬ ‫یک‬ ‫از‬ ‫کافی‬ ‫اندازه‬ ‫به‬
.
‫آزمون‬ ‫ی‬ ‫آماره‬ ‫توزیع‬

،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
‫نسبت‬
𝑀𝑆𝑅
𝑀𝑆𝐸
‫توزیع‬ ‫دارای‬
F
‫آزادی‬ ‫درجه‬ ‫با‬
‫صورت‬
‫برابر‬
𝑝
‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬
(𝑛 − 𝑝 + 1 )
‫است‬
.
Fstatistic =
𝑀𝑆𝑅
𝑀𝑆𝐸
•
‫ی‬ ‫محاسبه‬ ‫با‬
Fstatistic
‫از‬ ‫استفاده‬ ‫با‬ ‫و‬
‫توزیع‬
F
‫و‬ ‫صورت‬ ‫آزادی‬ ‫های‬ ‫درجه‬ ‫با‬ ‫مرتبط‬
‫میتوان‬ ‫مخرج‬
P_value
‫آورد‬ ‫بدست‬ ‫را‬
.
‫این‬ ‫اساس‬ ‫بر‬ ‫و‬
P_value
‫مورد‬ ‫در‬ ‫میتوان‬
‫گرفت‬ ‫تصمیم‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬
.
‫آزمون‬ ‫ی‬ ‫دنباله‬
‫صورت‬ ‫به‬ ‫ما‬ ‫آزمون‬ ‫برای‬ ‫مقابل‬ ‫فرض‬
(𝐻𝑎 ∶ 𝐹𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 > 1)
‫بود‬ ‫خواهد‬
.
‫اول‬ ‫سوال‬
:
‫ضرایب‬ ‫از‬ ‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫قبل‬ ‫قسمت‬ ‫در‬
،
‫گذاشتیم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫همه‬ ‫میکرد‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬
:
𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0

‫بگذاری‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫میکند‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬ ‫بخواهیم‬ ‫است‬ ‫ممکن‬
‫م‬
:
𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0
•
‫شده‬ ‫انتخاب‬ ‫متغیرهای‬ ،‫کار‬ ‫راحتی‬ ‫برای‬
‫را‬ ‫حذف‬ ‫برای‬
‫ایم‬ ‫داده‬ ‫قرار‬ ‫لیست‬ ‫انتهای‬ ‫در‬
.
•
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫که‬ ‫است‬ ‫آن‬ ‫هدف‬
(
‫اینجا‬ ‫در‬
q
‫لیست‬ ‫انتهای‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬
)
‫پاسخ‬ ‫با‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫از‬ ‫یکی‬ ‫حداقل‬
Y
‫دارد‬ ‫ارتباط‬
.
‫اول‬ ‫سوال‬
:
‫ضرایب‬ ‫از‬ ‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫بزرگتر‬ ‫کامل‬ ‫مدل‬
:
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
:
𝑦 = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝−𝑞𝑥(𝑝−𝑞) + 𝜖
• 𝐹∗ =
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SSE R −SSE
(𝑛−(𝑝−𝑞+1))−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SSE R −SSE
𝑞
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
•
،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
𝐹∗
‫دارای‬
‫توزیع‬
F
‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬
𝑞
‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬
(𝑛 − 𝑝 − 1)
‫باشد‬ ‫می‬
.
‫سوال‬
‫اول‬
:
‫مشخص‬ ‫ضریب‬ ‫یک‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬
Xj
‫پاسخ‬ ‫با‬
Y
‫؟‬ ‫دارد‬ ‫ارتباط‬
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0

‫بزرگتر‬ ‫کامل‬ ‫مدل‬
:
y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖

‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬
:
𝑦 = 𝛽0 + 𝛽2𝑥2+ 𝛽3𝑥3 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖
• 𝐹∗
=
(
SSE R −SSE(F)
dfR−dfF
)
𝑆𝑆𝐸(𝐹)
dfF
=
(
SSE R −SSE
(𝑛−𝑝)−(𝑛−(𝑝+1))
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
=
(
SSE R −SSE
1
)
𝑆𝑆𝐸
(𝑛−(𝑝+1))
•
،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬
𝐹∗
‫توزیع‬ ‫دارای‬
F
‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬
1
‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬
(𝑛 − 𝑝 − 1)
‫باشد‬ ‫می‬
.
‫اول‬ ‫سوال‬
:
‫مشخص‬ ‫ضریب‬ ‫یک‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬

‫آزمون‬ ‫یک‬ ‫منفرد‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫روی‬ ‫بر‬ ‫میتوان‬
t
‫نه‬ ‫یا‬ ‫است‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫آیا‬ ‫شود‬ ‫مشخص‬ ‫تا‬ ‫داد‬ ‫انجام‬
.
• 𝐻0 ∶ 𝛽𝑗 = 0
• 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0

t − test
‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫برای‬
‫منفرد‬ ‫کننده‬
‫با‬ ‫ارز‬ ‫هم‬
F − test
‫مدل‬ ‫در‬ ‫را‬ ‫بقیه‬ ‫و‬ ‫کند‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ‫که‬ ‫است‬
‫باقی‬
‫گذارد‬‫می‬
.
‫بنابراین‬
‫کند‬‫می‬ ‫گزارش‬ ‫را‬ ‫مدل‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫کردن‬ ‫اضافه‬ ‫جزئی‬ ‫اثر‬
.
• 𝐻0 ∶ The reduced model
• 𝐻𝑎 ∶ The full model

‫شرایط‬ ‫این‬ ‫در‬
P − value
‫آزمون‬ ‫برای‬
t
‫برابر‬
P − value
‫آزمون‬ ‫برای‬
𝐹
‫خواهد‬
‫بود‬
.
«
‫یک‬
F − test
»
‫یا‬
«
‫چند‬
t − test
»
!!

‫چرا‬
‫توانیم‬‫نمی‬
‫آیا‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬
‫ای‬‫زیرمجموعه‬
‫از‬
‫هستند‬ ‫صفر‬ ‫ضرایب‬
،
‫های‬‫تست‬ ‫سری‬ ‫یک‬ ‫فقط‬
t
‫انجام‬ ‫جداگانه‬
‫؟‬ ‫دهیم‬

‫به‬
‫نوع‬ ‫خطای‬ ‫افزایش‬ ‫عدم‬ ‫و‬ ‫سهولت‬ ‫دلیل‬
‫اول‬

‫آزمون‬ ‫انجام‬ ‫بار‬ ‫هر‬ ‫با‬
t
‫دهید‬ ‫انجام‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫شما‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫احتمال‬ ‫این‬
.
‫معموال‬ ‫خطا‬ ‫این‬
5%
‫در‬
‫می‬ ‫گرفته‬ ‫نظر‬
‫شود‬
.
‫با‬
‫آزمون‬ ‫چند‬ ‫یا‬ ‫دو‬ ‫اجرای‬
t
‫داده‬ ‫روی‬ ‫بر‬
‫دهید‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫احتمال‬ ،‫مشابه‬ ‫های‬
.
‫آزمون‬
F
‫این‬
‫می‬ ‫کنترل‬ ‫را‬ ‫خطا‬
‫کند‬
‫تا‬
‫سطح‬ ‫در‬ ‫اول‬ ‫نوع‬ ‫خطای‬
5%
‫بماند‬ ‫باقی‬
.
‫آزمون‬ ‫چند‬ ‫در‬ ‫اول‬ ‫نوع‬ ‫خطای‬
t

‫آماری‬ ‫آزمون‬ ‫یک‬ ‫برای‬
(
‫آزمون‬ ‫مانند‬
t
)
‫با‬
𝛼 = 0.05%
:
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬
:
0.05%
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬
:
0.95%

‫دو‬ ‫برای‬
‫آزمون‬
:
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬
:
1 − .9025 = 0.0975%
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬
:
0.95 ∗ 0.95 = .9025%

‫برای‬
n
‫آزمون‬
:
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬
:
(1 − 0.95𝑛
)%
•
‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬
:
0.95𝑛
%

‫مهم‬ ‫نکته‬
:
•
‫ی‬ ‫آماره‬ ‫از‬ ‫میتوان‬ ‫زمانی‬ ‫تا‬
F
‫بین‬ ‫ارتباط‬ ‫آزمایش‬ ‫برای‬
«
‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬
»
‫و‬
«
‫پاسخ‬
»
‫ک‬ ‫کرد‬ ‫استفاده‬
‫ه‬
𝑝 < 𝑛
‫باشد‬
.
•
‫اگر‬
𝑝 > 𝑛
‫ضرایب‬ ‫تعداد‬ ، ‫یعنی‬ ‫باشد‬
𝛽j
‫دارد‬ ‫وجود‬ ‫آنها‬ ‫تخمین‬ ‫برای‬ ‫مشاهدات‬ ‫به‬ ‫نسبت‬ ‫بیشتری‬
.
‫حتی‬ ‫مورد‬ ‫این‬ ‫در‬
‫دهیم‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫نمیتوانیم‬
(
‫یک‬
‫حداق‬ ‫ضریب‬ ‫تخمین‬
‫مربعات‬ ‫ل‬
‫وجود‬ ‫فرد‬ ‫به‬ ‫منحصر‬
‫ندارد‬
.)
‫آماره‬ ‫بنابراین‬
F
‫نیستند‬ ‫استفاده‬ ‫قابل‬ ‫کنون‬ ‫تا‬ ‫شده‬ ‫بیان‬ ‫مفاهیم‬ ‫از‬ ‫بسیاری‬ ‫و‬
.
‫دوم‬ ‫سوال‬

‫پیش‬ ‫متغیرهای‬ ‫همه‬ ‫آیا‬
‫بینی‬
‫کننده‬
‫توضیح‬ ‫به‬
Y
‫فقط‬ ‫یا‬ ‫کنند‬ ‫می‬ ‫کمک‬
‫زیرمجموعه‬
‫پیش‬ ‫از‬ ‫ای‬
‫کننده‬ ‫بینی‬
‫مفید‬ ‫ها‬
‫هستند‬
‫؟‬
•
‫باشد‬ ‫می‬ ‫مهم‬ ‫متغیرهای‬ ‫کردن‬ ‫مشخص‬ ‫هدف‬
.

‫اساس‬ ‫بر‬ ‫چنانچه‬
Fstatistic
‫و‬
P − value
‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫مربوطه‬
Y
‫مرتبط‬
‫است‬
‫متغیر‬ ‫که‬ ‫است‬ ‫آن‬ ‫نوبت‬ ‫اکنون‬ ،
(
‫های‬
)
‫کنیم‬ ‫مشخص‬ ‫را‬ ‫پاسخ‬ ‫با‬ ‫مرتبط‬
.

‫بینی‬‫پیش‬ ‫آن‬ ‫فقط‬ ‫که‬ ‫واحد‬ ‫مدل‬ ‫یک‬ ‫برازش‬ ‫منظور‬ ‫به‬ ،‫هستند‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫کدام‬ ‫اینکه‬ ‫تعیین‬
‫شامل‬ ‫را‬ ‫ها‬‫کننده‬
‫عنوان‬ ‫به‬ ،‫شود‬‫می‬
«
‫متغیر‬ ‫انتخاب‬
»
‫شود‬‫می‬ ‫نامیده‬
.
‫متغیر‬ ‫انتخاب‬

‫از‬ ‫استفاده‬ ‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫چرا‬
p − values
‫ایده‬
‫است‬ ‫بدی‬
‫؟‬
!

‫از‬ ‫استفاده‬ ‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫روش‬
p − values
:
𝛽𝑖 − 0
𝑆𝐸[𝛽𝑖]
=
𝛽𝑖
𝑆𝐸[𝛽𝑖]
•
‫متغیرهای‬
‫دار‬‫معنی‬
‫گنجانده‬ ‫مدل‬ ‫در‬
‫متغیرهای‬ ،‫شوند‬‫می‬
‫اهمیت‬ ‫بدون‬
‫با‬ ‫متغیرهایی‬ ،‫شوند‬‫نمی‬ ‫گنجانده‬
p − values
‫تر‬‫کوچک‬
(
‫بنابراین‬
‫ی‬ ‫آماره‬
‫تر‬‫بزرگ‬ ‫آزمون‬
)
‫شدن‬ ‫انتخاب‬ ‫برای‬
‫باالتری‬ ‫های‬‫اولویت‬
‫نسبت‬
‫که‬ ‫مواردی‬ ‫به‬
‫است‬ ‫کوچکتر‬ ‫آنها‬ ‫آزمون‬ ‫ی‬ ‫آماره‬
،
‫دارند‬
.
‫متغیر‬ ‫انتخاب‬
𝛽𝑖
𝑆𝐸[𝛽𝑖]
=
𝛽𝑖
𝜎
𝑛𝑉𝑎𝑟 𝑋𝑖
𝑉𝐼𝐹𝑖
, 𝑉𝐼𝐹𝑖 =
1
1 − 𝑅𝑖
2
•
𝛽𝑖
‫صورت‬ ‫در‬
:
‫ضرایب‬
،‫بزرگتر‬
‫ی‬ ‫آماره‬ ، ‫یکسان‬ ‫شرایط‬ ‫در‬
‫بزرگتر‬ ‫آزمون‬
‫داشت‬ ‫خواهند‬ ‫دارتر‬ ‫معنی‬ ‫و‬
.
•
𝜎
‫مخرج‬ ‫در‬
:
‫کاهش‬
‫خط‬ ‫اطراف‬ ‫در‬ ‫نویز‬
‫رگرسیون‬
،
‫تمام‬
‫های‬ ‫آماره‬
‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫میکند‬ ‫معنادارتر‬
.
•
𝑛
‫صورت‬ ‫در‬
:
‫افزایش‬
‫حجم‬
‫نمونه‬
،
‫تمام‬
‫های‬ ‫آماره‬
‫می‬ ‫دارتر‬ ‫معنی‬ ‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫کند‬
.
•
𝑉𝑎𝑟 𝑋𝑖
‫صورت‬ ‫در‬
:
‫متغیر‬ ‫یک‬ ‫در‬ ‫بیشتر‬ ‫واریانس‬
، ‫کننده‬‫بینی‬‫پیش‬
‫یکسان‬ ‫شرایط‬ ‫در‬
‫ی‬ ‫آماره‬ ،
‫و‬ ‫دهد‬‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬
‫را‬ ‫متغیر‬
‫معنادارتر‬
‫کند‬‫می‬
.
•
𝑉𝐼𝐹𝑖
‫مخرج‬ ‫در‬
:
‫بین‬ ‫بیشتر‬ ‫همبستگی‬
𝑋𝑖
‫و‬
‫یکسان‬ ‫شرایط‬ ‫در‬ ،‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬
‫ی‬ ‫آماره‬ ،
‫را‬ ‫متغیر‬ ‫و‬ ‫دهد‬‫می‬ ‫کاهش‬ ‫را‬ ‫آزمون‬
‫معنادار‬ ‫کمتر‬
‫کند‬‫می‬
.
‫متغیر‬ ‫انتخاب‬
•
‫با‬ ‫نداشته‬ ‫چندانی‬ ‫همبستگی‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬ ‫با‬ ‫و‬ ‫باشد‬ ‫داشته‬ ‫زیادی‬ ‫واریانس‬ ‫کننده‬‫بینی‬‫پیش‬ ‫اگر‬
ً‫ال‬‫کام‬ ‫متغیرهای‬ ،‫شد‬
‫باشند‬ ‫دار‬‫معنی‬ ‫بسیار‬ ‫ضرایب‬ ‫دارای‬ ‫توانند‬‫می‬ ‫اهمیت‬‫بی‬
.
•
‫مهم‬ ‫بسیار‬ ‫متغیرهای‬ ‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫استاندارد‬ ‫خطای‬ ‫اگر‬
(
‫بزرگ‬ ‫ضرایب‬ ‫دارای‬
)
‫باشد‬ ‫بزرگ‬
‫این‬ ‫است‬ ‫ممکن‬ ،
‫باشند‬ ‫آماری‬ ‫اهمیت‬ ‫بدون‬ ‫متغیرها‬
.
•
‫نهایت‬ ‫در‬ ،‫نیست‬ ‫صفر‬ ً‫ا‬‫دقیق‬ ‫آن‬ ‫ضریب‬ ‫که‬ ‫متغیری‬ ‫هر‬
(𝑛 → ∞)
‫یک‬ ‫و‬ ‫بزرگ‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫یک‬
p − value
‫داشت‬ ‫خواهد‬ ‫کوچک‬
.
‫متغیر‬ ‫انتخاب‬

‫است‬ ‫بهترین‬ ‫مدل‬ ‫کدام‬ ‫که‬ ‫دهیم‬ ‫تشخیص‬ ‫چگونه‬
‫؟‬

‫از‬ ‫توان‬ ‫می‬ ‫مدل‬ ‫یک‬ ‫کیفیت‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬
‫های‬ ‫آماره‬
‫استفاده‬ ‫مختلفی‬
‫کرد‬
:
• Mallow’s Cp
• Akaike information criterion (AIC)
• Bayesian information criterion (BIC)
• adjusted 𝑅2

‫مختل‬ ‫های‬‫مدل‬ ‫آزمایش‬ ‫با‬ ‫را‬ ‫متغیر‬ ‫انتخاب‬ ،‫آل‬‫ایده‬ ‫حالت‬ ‫در‬
‫ف‬
‫کن‬‫بینی‬‫پیش‬ ‫از‬ ‫متفاوت‬ ‫ای‬‫زیرمجموعه‬ ‫شامل‬ ‫کدام‬ ‫هر‬ ‫که‬
‫ها‬‫نده‬
‫دهیم‬ ‫می‬ ‫انجام‬ ‫هستند‬
.

‫اگر‬ ،‫مثال‬ ‫عنوان‬ ‫به‬
p = 2
‫در‬ ‫را‬ ‫مدل‬ ‫چهار‬ ‫توانیم‬‫می‬ ،‫باشد‬
‫بگیریم‬ ‫نظر‬
:
• y = 𝛽0 + 𝜖
• y = 𝛽0 + 𝛽1𝑥1𝜖
• y = 𝛽0+ 𝛽2𝑥2𝜖
• y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2𝜖
•
‫ن‬ ‫در‬ ‫که‬ ‫هایی‬‫مدل‬ ‫همه‬ ‫بین‬ ‫از‬ ‫را‬ ‫مدل‬ ‫بهترین‬ ‫توانیم‬‫می‬ ‫سپس‬
‫ظر‬
‫کنیم‬ ‫انتخاب‬ ‫ایم‬‫گرفته‬
.
‫متغیر‬ ‫انتخاب‬

‫متاسفانه‬ ،‫متغیر‬ ‫انتخاب‬ ‫برای‬
‫ازای‬ ‫به‬
p
‫کننده‬ ‫بینی‬ ‫متغیرپیش‬
‫در‬
‫مجموع‬
2𝑝
‫خواهیم‬ ‫مختلف‬ ‫مدل‬
‫داشت‬
.

‫داریم‬ ‫نیاز‬ ‫ها‬‫مدل‬ ‫از‬ ‫تری‬‫کوچک‬ ‫مجموعه‬ ‫انتخاب‬ ‫برای‬ ‫کارآمد‬ ‫و‬ ‫خودکار‬ ‫رویکرد‬ ‫یک‬ ‫به‬
.
.A
‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬
(
Forward selection
: )
•
‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬
-
‫که‬ ‫مدلی‬
‫شامل‬
𝛽0
‫است‬
‫ندارد‬ ‫ای‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫هیچ‬ ‫اما‬
.
•
‫سپس‬
p
‫ساده‬ ‫خطی‬ ‫رگرسیون‬
‫را‬
‫متغیری‬ ‫و‬ ‫کنیم‬ ‫می‬ ‫برازش‬
‫که‬
‫کمترین‬
SSE
‫دارد‬ ‫را‬
‫کنیم‬ ‫می‬ ‫اضافه‬ ‫تهی‬ ‫مدل‬ ‫به‬
.
‫به‬ ‫را‬ ‫متغیری‬ ‫سپس‬
‫کمترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫مدل‬ ‫آن‬
SSE
‫را‬
‫کند‬ ‫می‬ ‫ایجاد‬ ‫جدید‬ ‫متغیره‬ ‫دو‬ ‫مدل‬ ‫برای‬
.
‫تا‬ ‫روش‬ ‫این‬
‫زمانی‬
‫برقرار‬ ‫توقف‬ ‫شرط‬ ‫که‬
‫شود‬
‫می‬ ‫ادامه‬
‫یابد‬
.
.B
‫عقبگرد‬ ‫انتخاب‬
(
Backward selection
: )
•
‫همه‬ ‫با‬
‫در‬ ‫متغیرها‬
‫شروع‬ ‫مدل‬
‫کنیم‬‫می‬
.
•
‫که‬ ‫متغیری‬
‫بیشترین‬
P − value
‫را‬
‫یعنی‬ ،‫کنیم‬‫می‬ ‫حذف‬ ‫دارد‬
‫حذف‬
‫را‬ ‫معنی‬ ‫کمترین‬ ‫آماری‬ ‫نظر‬ ‫از‬ ‫که‬ ‫متغیری‬
‫دارد‬
.
‫دارای‬ ‫جدید‬ ‫مدل‬
(𝑝 − 1)
‫است‬ ‫متغیر‬
.
‫شرط‬ ‫به‬ ‫رسیدن‬ ‫تا‬ ‫روش‬ ‫این‬
‫یابد‬ ‫می‬ ‫ادامه‬ ‫توقف‬
.
،‫مثال‬ ‫عنوان‬ ‫به‬
‫زمانی‬ ‫است‬ ‫ممکن‬
‫باق‬ ‫متغیرهای‬ ‫همه‬ ‫که‬
‫یمانده‬
‫دارای‬
P − value
‫کمتر‬
‫از‬
‫مقدار‬ ‫یک‬
‫آستانه‬
‫متوقف‬ ‫باشند‬
‫شویم‬
.
‫متغیر‬ ‫انتخاب‬
.C
‫انتخاب‬
‫مختلط‬
(
Mixed selection
)
:
•
‫و‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫ترکیبی‬
‫عقب‬
‫است‬
.
•
‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬
‫و‬
‫کند‬ ‫می‬ ‫فراهم‬ ‫را‬ ‫تناسب‬ ‫بهترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫را‬ ‫متغیری‬ ،‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫مانند‬
.
‫ب‬
‫ه‬
‫کردن‬ ‫اضافه‬
‫دهیم‬ ‫می‬ ‫ادامه‬ ‫یک‬ ‫به‬ ‫یک‬ ‫متغیرها‬
.
•
،‫البته‬
،‫مدل‬ ‫به‬ ‫جدید‬ ‫های‬‫کننده‬‫بینی‬‫پیش‬ ‫شدن‬ ‫اضافه‬ ‫با‬
P − values
‫شود‬ ‫تر‬‫بزرگ‬ ‫تواند‬‫می‬ ‫متغیرها‬ ‫برای‬
.
‫اگر‬ ،‫بنابراین‬
‫ای‬‫نقطه‬ ‫در‬
،
P − value
‫یک‬ ‫از‬ ‫مدل‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫برای‬
‫آستانه‬ ‫مقدار‬
‫کنیم‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ،‫رود‬ ‫باالتر‬ ‫خاص‬
.
•
‫دارای‬ ‫مدل‬ ‫متغیرهای‬ ‫همه‬ ‫که‬ ‫زمانی‬ ‫تا‬ ‫دهیم‬ ‫می‬ ‫ادامه‬ ‫عقب‬ ‫و‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫مراحل‬ ‫این‬ ‫انجام‬ ‫به‬
P − values
‫باشند‬ ‫پایین‬ ‫کافی‬ ‫اندازه‬ ‫به‬
،‫شوند‬ ‫اضافه‬ ‫مدل‬ ‫به‬ ‫اگر‬ ‫مدل‬ ‫از‬ ‫خارج‬ ‫متغیرهای‬ ‫همه‬ ‫و‬
P − values
‫داشت‬ ‫خواهند‬ ‫زیادی‬
.

‫مهم‬ ‫نکته‬
:
•
‫اگر‬
p > n
‫کرد‬ ‫استفاده‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫توان‬ ‫می‬ ‫همیشه‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫نمی‬ ‫استفاده‬ ‫عقبگرد‬ ‫انتخاب‬ ‫از‬
.
•
‫اگر‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫در‬
p > n
‫باشد‬
‫حداکثر‬ ‫با‬ ‫های‬ ‫زیرمدل‬ ‫میتوان‬ ‫تنها‬ ،
𝑛 − 1
‫روش‬ ‫با‬ ‫زیرمدل‬ ‫هر‬ ‫چون‬ ‫کرد‬ ‫درست‬ ‫متغیر‬
‫اگر‬ ‫و‬ ‫یابد‬ ‫می‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬
p ≥ 𝑛
‫آورد‬ ‫نخواهد‬ ‫دست‬ ‫به‬ ‫فردی‬ ‫به‬ ‫منحصر‬ ‫حل‬ ‫راه‬ ، ‫باشد‬
.
•
‫شوند‬ ‫می‬ ‫اضافی‬ ً‫ا‬‫بعد‬ ‫که‬ ‫باشد‬ ‫متغیرهایی‬ ‫شامل‬ ‫است‬ ‫ممکن‬ ‫و‬ ‫است‬ ‫حریصانه‬ ‫رویکرد‬ ‫یک‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬
.
‫ت‬ ‫انتخاب‬
‫می‬ ‫رکیبی‬
‫کند‬ ‫برطرف‬ ‫را‬ ‫مشکل‬ ‫این‬ ‫تواند‬
.
‫سوم‬ ‫سوال‬

‫است؟‬ ‫متناسب‬ ‫ها‬ ‫داده‬ ‫با‬ ‫چقدر‬ ‫مدل‬
•
،‫مدل‬ ‫برازش‬ ‫عددی‬ ‫معیارهای‬ ‫ترین‬‫رایج‬ ‫از‬ ‫مورد‬ ‫دو‬
RSE
‫و‬
R2
‫هستند‬
.
•
‫مشاهده‬ ‫بر‬ ‫عالوه‬
‫های‬ ‫آماره‬
RSE
‫و‬
𝑅2
،
‫باشد‬ ‫مفید‬ ‫تواند‬ ‫می‬ ‫نیز‬ ‫ها‬ ‫داده‬ ‫ترسیم‬
.
‫سوم‬ ‫سوال‬
.A
R2
:

𝑅2
‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬
:
‫متغیر‬ ‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬
(
𝐶𝑜𝑟(𝑋,𝑌)2
)
‫است‬
.

𝑅2
‫خطی‬ ‫رگرسیون‬ ‫در‬
‫چندگانه‬
:
‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬
‫شده‬ ‫برازش‬ ‫خطی‬ ‫مدل‬
(
𝐶𝑜𝑟(𝑌,𝑌)2
)
‫است‬
.
•
‫مقدار‬
𝑅2
‫نزدیک‬
‫به‬
1
‫از‬ ‫بزرگی‬ ‫بخش‬ ‫مدل‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬
‫تغییرات‬
‫دهد‬ ‫می‬ ‫توضیح‬ ‫را‬ ‫پاسخ‬ ‫متغیر‬ ‫در‬
.
•
‫با‬
‫متغیرهای‬ ‫شدن‬ ‫اضافه‬
‫بیشتر‬
‫به‬
‫مدل‬
،
‫همواره‬
𝑅2
‫افزایش‬
‫یابد‬‫می‬
‫متغیرها‬ ‫آن‬ ‫اگر‬ ‫حتی‬
‫با‬
‫باشند‬ ‫داشته‬ ‫ضعیفی‬ ‫ارتباط‬ ‫پاسخ‬
.
‫چون‬
‫افزودن‬
‫مربعات‬ ‫حداقل‬ ‫معادالت‬ ‫به‬ ‫دیگری‬ ‫متغیر‬
‫به‬
‫اجازه‬ ‫ما‬
‫دهد‬ ‫می‬
‫آموزشی‬ ‫های‬‫داده‬ ‫که‬
‫را‬
‫کنیم‬ ‫برازش‬ ‫بیشتری‬ ‫دقت‬ ‫با‬
.
،‫بنابراین‬
‫آمار‬
‫ه‬
𝑅2
‫هم‬
‫که‬
‫آموزشی‬ ‫های‬ ‫داده‬ ‫روی‬ ‫بر‬
‫محاسبه‬
،‫شود‬ ‫می‬
‫یابد‬ ‫می‬ ‫افزایش‬
.
•
ً‫ا‬‫اساس‬
،
‫هیچ‬ ‫سبب‬ ‫دارد‬ ‫پاسخ‬ ‫با‬ ‫ضعیفی‬ ‫ارتباط‬ ‫که‬ ‫متغیری‬ ‫کردن‬ ‫اضافه‬
‫مدل‬ ‫در‬ ‫واقعی‬ ‫بهبود‬
‫نمیشود‬
‫گنجاندن‬ ‫و‬
‫احتماال‬ ‫آن‬
‫به‬
‫دلیل‬
‫برازش‬
‫حد‬ ‫از‬ ‫بیش‬
(
overfitting
)
،
‫منجر‬
‫مستقل‬ ‫آزمایشی‬ ‫های‬‫نمونه‬ ‫در‬ ‫ضعیف‬ ‫نتایج‬ ‫به‬
‫شود‬‫می‬
.
‫سوم‬ ‫سوال‬
.B
RSE
:
• 𝑅𝑆𝐸 =
𝑅𝑆𝑆
𝑛−(𝑝+1)
•
‫اگر‬
‫کاهش‬
RSS
‫نسبت‬
‫افزایش‬ ‫به‬
p
‫کم‬
‫توانند‬‫می‬ ‫بیشتر‬ ‫متغیرهای‬ ‫با‬ ‫هایی‬‫مدل‬ ،‫باشد‬
RSE
‫باشند‬ ‫داشته‬ ‫باالتری‬
.
‫سوم‬ ‫سوال‬
.C
‫ها‬ ‫داده‬ ‫ترسیم‬
:
•
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫نیستند‬ ‫مشاهده‬ ‫قابل‬ ‫عددی‬ ‫ی‬ ‫آماره‬ ‫از‬ ‫که‬ ‫مدل‬ ‫یک‬ ‫مشکالت‬ ‫از‬ ‫بعضی‬ ‫ها‬ ‫داده‬ ‫ترسیم‬
.
•
‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫فروش‬ ‫مقابل‬ ‫در‬ ‫رادیو‬ ‫و‬ ‫تلویزیون‬ ‫بعدی‬ ‫سه‬ ‫نمودار‬ ‫شکل‬
.
‫سوم‬ ‫سوال‬
•
‫از‬
‫دارد‬ ‫وجود‬ ‫ها‬ ‫داده‬ ‫در‬ ‫مشخص‬ ‫غیرخطی‬ ‫رابطه‬ ‫یک‬ ‫که‬ ‫دریافت‬ ‫توان‬ ‫می‬ ،‫ها‬ ‫باقیمانده‬ ‫الگوی‬
.
•
‫مثبت‬ ‫های‬ ‫باقیمانده‬
(
‫هستند‬ ‫مشاهده‬ ‫قابل‬ ‫سطح‬ ‫باالی‬ ‫در‬ ‫که‬ ‫آنهایی‬
)
‫خط‬ ‫امتداد‬ ‫در‬ ،
45
‫تلویزیون‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫دارند‬ ‫قرار‬ ‫درجه‬
‫شود‬ ‫می‬ ‫تقسیم‬ ‫مساوی‬ ‫طور‬ ‫به‬ ‫رادیو‬ ‫و‬
.
•
‫منفی‬ ‫های‬ ‫باقیمانده‬
(
‫اکثرا‬
‫نیستند‬ ‫مشاهده‬ ‫قابل‬
)
‫نابرابر‬ ‫ها‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫بگیرند‬ ‫فاصله‬ ‫خط‬ ‫این‬ ‫از‬ ‫دارند‬ ‫تمایل‬ ،
‫هستند‬ ‫تر‬
.
•
‫هم‬ ‫اثر‬ ‫یک‬ ‫این‬
‫افزایی‬
(
synergy
)
‫یا‬
‫تعاملی‬
(
interaction
)
‫ترکیب‬ ‫آن‬ ‫موجب‬ ‫به‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫تبلیغاتی‬ ‫های‬ ‫رسانه‬ ‫بین‬
‫با‬ ‫ها‬ ‫رسانه‬
، ‫هم‬
‫واحد‬ ‫رسانه‬ ‫هر‬ ‫از‬ ‫استفاده‬ ‫به‬ ‫نسبت‬
‫فروش‬ ‫افزایش‬ ‫به‬ ‫منجر‬
‫می‬
‫شود‬
.
‫چهارم‬ ‫سوال‬

‫کنیم‬ ‫بینی‬ ‫پیش‬ ‫باید‬ ‫را‬ ‫پاسخی‬ ‫مقدار‬ ‫چه‬ ،‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫به‬ ‫توجه‬ ‫با‬
‫ما‬ ‫بینی‬ ‫پیش‬ ‫و‬
‫است‬ ‫دقیق‬ ‫چقدر‬
‫؟‬
•
‫پاسخ‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫زیر‬ ‫رابطه‬ ‫از‬
Y
‫های‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫مقادیر‬ ‫مجموعه‬ ‫یک‬ ‫اساس‬ ‫بر‬
𝑋1
،
𝑋2
،
...
،
𝑋𝑝
‫میکنیم‬ ‫استفاده‬
.
𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝

‫دارد‬ ‫وجود‬ ‫بینی‬‫پیش‬ ‫این‬ ‫با‬ ‫مرتبط‬ ‫قطعیت‬ ‫عدم‬ ‫نوع‬ ‫سه‬
.
.I
‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬
‫ضرایب‬
(
‫پذیر‬ ‫کاهش‬ ‫خطای‬
)
.II
‫خطی‬ ‫مدل‬ ‫قطعیت‬ ‫عدم‬
(
‫پذیر‬ ‫کاهش‬ ‫خطای‬
)
.III
‫تصادفی‬ ‫خطای‬
(
‫کاهش‬ ‫غیرقابل‬ ‫خطای‬
)
‫چهارم‬ ‫سوال‬
.1

‫ضرایب‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫برای‬ ‫برآوردهایی‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫هستند‬
.
•
‫مربعات‬ ‫حداقل‬ ‫صفحه‬ ‫بنابرای‬
𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝
•
‫باشد‬ ‫می‬ ‫واقعی‬ ‫جمعیت‬ ‫رگرسیون‬ ‫ی‬ ‫صفحه‬ ‫برای‬ ‫برآوردی‬ ‫نیز‬
.
f(X) = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝

‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬
«
‫پذیر‬ ‫کاهش‬ ‫خطای‬
»
‫است‬
.

‫کنیم‬ ‫مشخص‬ ‫تا‬ ‫کنیم‬ ‫محاسبه‬ ‫را‬ ‫اطمینان‬ ‫فاصله‬ ‫یک‬ ‫توانیم‬ ‫می‬
𝑌
‫به‬
f(X)
‫چقدر‬
‫نزدیک‬
‫بود‬ ‫خواهد‬
.
‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬

‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫فاصله‬
𝜇𝑌
‫که‬ ‫زمانی‬ ،
‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬
𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇
‫باشد‬
:
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫حاشیه‬
‫خطا‬
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error)
‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (t_multiplier × 𝑆𝐸(𝑦ℎ))
‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (𝑡𝛼
2
,𝑛− 𝑝+1 × 𝑀𝑆𝐸(𝑋ℎ
𝑇
(𝑋𝑇𝑋)−1𝑋ℎ))
•
𝑦ℎ
«
‫شده‬ ‫برازش‬ ‫مقدار‬
»
‫یا‬
«
‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬
»
‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬
𝑋ℎ
‫باشد‬ ‫می‬
.
•
‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬
(
𝑀𝑆𝐸
)
‫آن‬ ‫مخرج‬ ‫که‬
𝑛 − 𝑝 + 1
‫است‬
، ‫میکند‬ ‫استفاده‬
‫بنابراین‬
t_multiplier
‫دارای‬
‫آزادی‬ ‫ی‬ ‫درجه‬
𝑛 − 𝑝 + 1
‫باشد‬ ‫می‬
.
‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬

‫اعتماد‬ ‫سطح‬ ‫با‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬
95%
،
‫احتمال‬ ‫یعنی‬
95%
‫وجود‬
‫که‬ ‫دارد‬
‫واقعی‬ ‫خط‬
‫جمعیت‬
(
‫از‬ ‫یک‬ ‫هر‬ ‫مثال‬ ‫عنوان‬ ‫به‬
‫راست‬ ‫سمت‬ ‫شکل‬ ‫در‬ ‫خطوط‬
)
‫فاصله‬ ‫در‬
‫اطمینان‬
(
‫چین‬ ‫نقطه‬ ‫خط‬ ‫دو‬ ‫بین‬ ‫فضای‬
)
‫باشد‬ ‫داشته‬ ‫قرار‬
.
‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬

‫فاصله‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬
‫برای‬ ‫اطمینان‬
𝜇𝑌
‫است‬ ‫مناسب‬
‫؟‬
•
‫که‬ ‫زمانی‬
𝑋ℎ
‫در‬
‫محدوده‬
«
‫مدل‬
»
‫باشد‬
.
‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬
‫ندارد‬ ‫لزومی‬ ‫که‬
𝑋ℎ
‫یک‬
‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬
‫باشد‬ ‫داده‬
.
•
‫وقتی‬
‫شرایط‬
‫خطی‬
‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬
‫و‬ ‫نرمال‬
‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬
‫باشد‬ ‫برقرار‬
‫به‬ ‫فرمول‬
‫می‬ ‫کار‬ ‫خوبی‬
‫کند‬
.
•
‫توزیع‬ ‫اگر‬
‫باشد‬ ‫نرمال‬ ً‫ا‬‫تقریب‬ ‫خطا‬
‫و‬
‫عبارات‬ ، ‫نمونه‬ ‫بودن‬ ‫بزرگ‬ ‫صورت‬ ‫در‬ ‫حتی‬
‫خطا‬
‫میتوانند‬
‫ز‬ ‫حد‬ ‫تا‬
‫از‬ ‫یادی‬
‫حالت‬
‫نرمال‬
‫منحرف‬
‫شوند‬
.
‫چهارم‬ ‫سوال‬
.2
•
‫در‬
‫برای‬ ‫خطی‬ ‫مدل‬ ‫یک‬ ‫فرض‬ ‫عمل‬
f(X)
،
ً‫ا‬‫تقریب‬
‫واقعیت‬ ‫از‬ ‫تقریبی‬ ‫همیشه‬
‫است‬
.
‫ق‬ ‫بالقوه‬ ‫خطای‬ ‫از‬ ‫اضافی‬ ‫منبع‬ ‫یک‬ ‫بنابراین‬
‫کاهش‬ ‫ابل‬
‫را‬ ‫آن‬ ‫ما‬ ‫که‬ ‫دارد‬ ‫وجود‬
«
‫مدل‬ ‫بایاس‬
»
‫نامیم‬ ‫می‬
.
•
‫برای‬ ‫را‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬ ‫واقع‬ ‫در‬ ،‫کنیم‬ ‫می‬ ‫استفاده‬ ‫خطی‬ ‫مدل‬ ‫یک‬ ‫از‬ ‫وقتی‬
‫ی‬ ‫رویه‬
‫زنیم‬ ‫می‬ ‫تخمین‬ ‫واقعی‬
.
‫در‬ ،‫حال‬ ‫این‬ ‫با‬
‫این‬ ‫ما‬ ‫اینجا‬
‫است‬ ‫درست‬ ‫خطی‬ ‫مدل‬ ‫گویی‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫گونه‬ ‫به‬ ‫و‬ ‫گیریم‬ ‫می‬ ‫نادیده‬ ‫را‬ ‫اختالف‬
.
.3
•
‫اگر‬ ‫حتی‬
f(X)
‫دانستیم‬ ‫می‬ ‫را‬
-
‫مقادیر‬ ‫اگر‬ ‫حتی‬ ‫یعنی‬
‫واقعی‬
𝛽0
،
𝛽1
،
...
،
𝛽𝑝
‫دانستیم‬ ‫می‬ ‫را‬
-
، ‫مدل‬ ‫در‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬
‫مقدار‬
‫طور‬ ‫به‬ ‫توان‬ ‫نمی‬ ‫را‬ ‫پاسخ‬
‫پیش‬ ‫دقیق‬
‫بینی‬
‫کرد‬
.
‫این‬
«
‫ناپذیر‬ ‫کاهش‬ ‫خطای‬
»
‫است‬
.
•
Y
‫چقدر‬
‫از‬
𝑌
‫متفاوت‬
‫از‬ ‫سوال‬ ‫این‬ ‫به‬ ‫پاسخ‬ ‫برای‬ ‫بود؟‬ ‫خواهد‬
«
‫فواصل‬
‫پیش‬
‫بینی‬
»
‫کنیم‬ ‫می‬ ‫استفاده‬
.
‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬

‫جدید‬ ‫پاسخ‬ ‫بینی‬‫پیش‬ ‫بازه‬
𝑦𝑛𝑒𝑤
،
‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬ ‫که‬ ‫زمانی‬
𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇
‫هستند‬
:
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫خطا‬ ‫حاشیه‬
‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error)
‫فاصله‬
‫اطمینان‬ = 𝑦ℎ ± (𝑡𝛼
2
,𝑛− 𝑝+1 × 𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2)
•
𝑦ℎ
«
‫شده‬ ‫برازش‬ ‫مقدار‬
»
‫یا‬
«
‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬
»
‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬
𝑋ℎ
‫باشد‬ ‫می‬
.
•
‫ی‬ ‫فاصله‬
‫بینی‬ ‫پیش‬
‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬
(
𝑀𝑆𝐸
)
‫آن‬ ‫مخرج‬ ‫که‬
𝑛 − 𝑝 + 1
‫میکند‬ ‫استفاده‬ ، ‫است‬
.
‫بنابراین‬
t_multiplier
‫دارای‬
‫آزادی‬ ‫ی‬ ‫درجه‬
𝑛 − 𝑝 + 1
‫باشد‬ ‫می‬
.
•
𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2
«
‫بینی‬ ‫پیش‬ ‫استاندارد‬ ‫خطای‬
»
، ‫است‬
‫شبیه‬ ‫بسیار‬ ‫که‬
«
‫برازش‬ ‫استاندارد‬ ‫خطای‬
»
‫برآورد‬ ‫هنگام‬
𝜇𝑌
‫باشد‬ ‫می‬
.
«
‫فاصله‬
‫پیش‬
‫بینی‬
»
𝑣𝑠
«
‫اطمینان‬ ‫ی‬ ‫فاصله‬
»

‫ارتباط‬
«
‫خطای‬
‫استاندارد‬
‫بینی‬‫پیش‬
»
‫با‬
«
‫خطای‬
‫استاندارد‬
‫برازش‬
»
:
•
‫تغییرپذیری‬
‫بستگی‬ ‫جزء‬ ‫دو‬ ‫به‬ ‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫بینی‬ ‫پیش‬ ‫در‬
‫دارد‬
:

‫برآورد‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬
𝜇𝑌
‫با‬ ‫را‬ ‫آن‬ ‫که‬
𝜎2
(𝑌ℎ)
‫میدهیم‬ ‫نشان‬
(
‫کمیت‬ ‫این‬
«
‫خطای‬
‫استاندارد‬
‫برازش‬
»
‫اطمینان‬ ‫فاصله‬ ‫فرمول‬ ‫در‬ ‫که‬ ‫است‬
‫می‬ ‫ظاهر‬
‫شود‬
.)

‫که‬ ‫تصادفی‬ ‫خطای‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬
‫را‬ ‫آن‬
‫با‬
𝜎2
‫دهیم‬‫می‬ ‫نشان‬
(
‫خطای‬ ‫مربعات‬ ‫میانگین‬ ‫با‬
MSE
‫تخمین‬
‫شود‬ ‫می‬ ‫زده‬
.)
•
‫مولفه‬ ‫دو‬ ‫کردن‬ ‫اضافه‬ ‫با‬
‫تغییرات‬
:
𝜎2 + 𝜎2 𝑌ℎ = MSE + [𝑆𝐸(𝑦ℎ)]2
«
‫بینی‬ ‫پیش‬ ‫فاصله‬
»
𝑣𝑠
«
‫اطمینان‬ ‫ی‬ ‫فاصله‬
»

‫توجه‬
‫روی‬ ‫بر‬ ‫بازه‬ ‫دو‬ ‫هر‬ ‫که‬ ‫باشید‬ ‫داشته‬
𝑦
(
‫شده‬ ‫برازش‬ ‫رگرسیون‬ ‫خط‬
)
‫متمرکز‬
‫اط‬ ‫فاصله‬ ‫از‬ ‫تر‬‫وسیع‬ ‫ای‬‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫اما‬ ،‫اند‬‫شده‬
‫مینان‬
‫است‬
.

‫حاوی‬ ‫احتماال‬ ‫اطمینان‬ ‫فاصله‬
«
‫واقعی‬ ‫مقدار‬
f(X)
»
‫است‬
،
‫پیش‬ ‫فاصله‬ ‫که‬ ‫حالی‬ ‫در‬
‫حاوی‬ ‫احتماال‬ ‫بینی‬
«
‫واقعی‬ ‫مقدار‬
y
»
‫است‬
.

‫خطا‬ ‫هم‬ ‫زیرا‬ ،‫هستند‬ ‫اطمینان‬ ‫فواصل‬ ‫از‬ ‫تر‬‫وسیع‬ ‫همیشه‬ ‫بینی‬‫پیش‬ ‫فواصل‬
‫در‬
‫تخمین‬
f(X)
(
‫پذیر‬ ‫کاهش‬ ‫خطای‬
)
‫نقطه‬ ‫یک‬ ‫اینکه‬ ‫مورد‬ ‫در‬ ‫قطعیت‬ ‫عدم‬ ‫هم‬ ‫و‬
‫داشت‬ ‫خواهد‬ ‫تفاوت‬ ‫جمعیت‬ ‫رگرسیون‬ ‫صفحه‬ ‫با‬ ‫چقدر‬ ‫منفرد‬
(
‫ناپ‬‫کاهش‬ ‫خطای‬
‫ذیر‬
)
‫گیرد‬‫می‬ ‫بر‬ ‫در‬ ‫را‬
.
‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬

‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬
‫برای‬ ‫بینی‬ ‫پیش‬ ‫بازه‬
𝑦𝑛𝑒𝑤
‫است؟‬ ‫مناسب‬

‫دراستفاده‬
‫هستند‬ ‫اطمینان‬ ‫فاصله‬ ‫به‬ ‫مربوط‬ ‫موارد‬ ‫از‬ ‫محدودتر‬ ‫کمی‬ ‫اما‬ ،‫مشابه‬ ‫شروط‬ ‫بینی‬ ‫پیش‬ ‫ی‬ ‫فاصله‬ ‫از‬
.
•
‫که‬ ‫زمانی‬
𝑋ℎ
‫محدوده‬ ‫در‬
«
‫مدل‬
»
‫باشد‬
.
‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬
‫ندارد‬ ‫لزومی‬ ‫که‬
𝑋ℎ
‫یک‬
‫داده‬ ‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬
‫باشد‬
.
•
‫ک‬ ‫خوبی‬ ‫به‬ ‫فرمول‬ ‫باشد‬ ‫برقرار‬ ‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬ ‫و‬ ‫نرمال‬ ‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬ ‫خطی‬ ‫شرایط‬ ‫وقتی‬
‫ار‬
‫کند‬ ‫می‬
.
•
‫برخالف‬
‫به‬ ‫شدت‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫فرمول‬ ،‫اطمینان‬ ‫فاصله‬ ‫فرمول‬
‫نرمال‬ ‫توزیع‬ ‫شرط‬
‫خطا‬ ‫عبارات‬
‫بستگی‬
‫دارد‬
.

1_LR.pptx

  • 1.
  • 2.
    ‫خطی‬ ‫رگرسیون‬  ‫رگرسیون‬ : • ‫ابزاری‬ ‫کمی‬ ‫مقادیر‬‫بینی‬ ‫پیش‬ ‫برای‬ ‫مفید‬ ‫است‬ . • ‫یک‬ ‫دیگر‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫روی‬ ‫از‬ ‫متغیر‬ ‫یک‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫ست‬‫آماری‬ ‫مدل‬ ‫نوع‬ . • ‫برای‬ ‫ساده‬ ‫بسیار‬ ‫روش‬ ‫یک‬ « ‫شده‬ ‫نظارت‬ ‫یادگیری‬ » ‫میشود‬ ‫محسوب‬ .  ‫رگرسیون‬ ‫تحلیل‬ : • ‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫بین‬ ‫ی‬ ‫رابطه‬ ‫برآورد‬ ‫برای‬ ‫آماری‬ ‫فرایندهای‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ( ‫پاسخ‬ ) ‫مستقل‬ ‫متغیر‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫و‬ ( ‫پیش‬ ‫بینی‬ ‫کننده‬ ‫ها‬ ) ‫باشد‬ ‫می‬ . • ‫رگرسیونی‬ ‫تحلیل‬ ‫تکنیکی‬ ‫سازی‬‫مدل‬ ‫و‬ ‫بررسی‬ ‫برای‬ ‫آماری‬ ‫است‬ ‫متغیرها‬ ‫بین‬ ‫ارتباط‬ .
  • 3.
    ‫روابط‬ ‫بین‬ ‫متغیرها‬ .B ‫تصادفی‬ ‫رابطه‬ : • ‫هیچ‬ ‫وجود‬ ‫متغیرها‬‫بین‬ ‫ای‬ ‫رابطه‬ ‫ندارد‬ !! .A ‫قطعی‬ ‫رابطه‬ : • ‫متغیرهای‬ ‫از‬ ‫غیر‬ ‫دیگری‬ ‫عوامل‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫مستقل‬ ‫طبقه‬ ‫نیست‬ ‫وابسته‬ ‫رابطه‬ ‫در‬ ‫شده‬ ‫بندی‬ ‫؛‬ ‫قطعی‬ ‫رابطه‬ ‫رو‬ ‫این‬ ‫از‬ ‫به‬ ‫شود‬ ‫می‬ ‫نامیده‬ ‫نیز‬ ‫متغیرها‬ ‫بین‬ ‫دقیق‬ ‫رابطه‬ ‫عنوان‬ .
  • 4.
    ‫متغیرها‬ ‫بین‬ ‫روابط‬ .C ‫آماری‬‫رابطه‬ : • ‫یک‬ ،‫است‬ ‫تصادفی‬ ‫و‬ ‫قطعی‬ ‫روابط‬ ‫از‬ ‫ترکیبی‬ ‫است‬ ‫رابطه‬ ‫قسمتی‬ ‫که‬ ‫قطعی‬ ‫و‬ ‫است‬ ‫قسمتی‬ ‫تصادفی‬ ‫نیز‬ ‫است‬ . • ‫آن‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬ ‫رابطه‬ « ‫روند‬ » ‫دار‬ ‫وجود‬ ‫پاسخ‬ ‫و‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫د‬ ( ‫قطعی‬ ‫قسمت‬ ) ‫اما‬ ، « ‫پراکندگی‬ » ‫دارد‬ ‫وجود‬ ‫نیز‬ ( ‫تصادفی‬ ‫قسمت‬ .)  ‫م‬ ‫آماری‬ ‫روابط‬ ‫تخمین‬ ‫در‬ ‫رگرسیون‬ ‫تحلیل‬ ‫کاربرد‬ ‫بیشترین‬ ‫تغیرها‬ ‫است‬ .
  • 5.
  • 6.
    ‫خطی‬ ‫رگرسیون‬  ‫خطی‬ ‫رگرسیون‬ : • ‫آن‬‫در‬ ‫که‬ ‫است‬ ‫رگرسیون‬ ‫تحلیل‬ ‫های‬‫روش‬ ‫از‬ ‫یکی‬ ‫متغیر‬ ، ‫مستق‬ ‫متغیرهای‬ ‫از‬ ‫خطی‬ ‫ترکیبی‬ ‫صورت‬ ‫به‬ ‫وابسته‬ ‫بینی‬‫پیش‬ ‫ل‬ ‫است‬ ‫خطی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫تابع‬ ‫یعنی‬ ‫شود‬‫می‬ . • ‫مجموع‬ ‫نهائی‬ ‫جواب‬ ‫شود؛‬‫می‬ ‫ضرب‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫برای‬ ‫که‬ ‫ضریبی‬ ‫در‬ ‫مستقل‬ ‫متغیرهای‬ ‫از‬ ‫کدام‬ ‫هر‬ ‫بود‬ ‫خواهد‬ ‫ثابت‬ ‫مقدار‬ ‫یک‬ ‫عالوه‬ ‫به‬ ‫ها‬‫ضرب‬‫حاصل‬ .  ‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ : • ،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫خالف‬ ‫بر‬ ‫که‬ ‫است‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ،‫خطی‬ ‫رگرسیون‬ ‫نوع‬ ‫ترین‬‫ساده‬ ‫وابست‬ ‫متغیر‬ ‫تنها‬ ‫تابع‬ ‫ه‬ ‫یک‬ ‫مستقل‬ ‫متغیر‬ ‫باشد‬ ‫می‬ .
  • 7.
    ‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬ ‫مرحله‬ 1 : ‫مدل‬‫بندی‬ ‫فرمول‬ ‫مرحله‬ 4 : ‫مدل‬ ‫از‬ ‫استفاده‬ ‫مرحله‬ 3 : ‫مدل‬ ‫ارزیابی‬ ‫مرحله‬ 2 : ‫مدل‬ ‫برآورد‬
  • 8.
    ‫مدل‬ ‫بندی‬ ‫فرمول‬ ‫ساده‬‫خطی‬ ‫رگرسیون‬  ‫سازی‬ ‫فرمول‬ « ‫آماری‬ ‫رابطه‬ » ‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیرهای‬ ‫بین‬ : • ‫بین‬ ‫ی‬ ‫رابطه‬ ‫فرم‬ X ‫و‬ Y : 𝑌𝑖 = f 𝑋𝑖 + 𝜖𝑖  𝜖 ، ‫خطا‬ ‫عبارت‬ ، ‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬ X ‫باشد‬ ‫می‬ .  ‫انحراف‬ ‫دهنده‬ ‫نشان‬ ‫خطا‬ ‫عبارت‬ Y ‫رگرسیون‬ ‫تابع‬ ‫از‬ ‫و‬ ‫است‬ ‫متغیر‬ ٔ ‫ه‬‫وسیل‬ ‫به‬ ‫که‬ ،‫است‬ ‫وابسته‬ ‫متغیر‬ ‫از‬ ‫تغییراتی‬ ‫شامل‬ ‫مستقل‬ ‫شود‬‫نمی‬ ‫داده‬ ‫توضیح‬ .
  • 9.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ • ‫رگرسیون‬ ‫مدل‬ ‫سازی‬ ‫فرمول‬ ‫در‬ ‫گام‬ ‫نخستین‬ ، ‫فرم‬ ‫تعیین‬ « ‫قطعی‬ ‫قسمت‬ » ‫است‬ ‫رابطه‬ .  ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ، f ‫یک‬ « ‫خطی‬ ‫تابع‬ » ‫تنها‬ ‫با‬ « ‫مستقل‬ ‫متغیر‬ ‫یک‬ » ‫باشد‬ ‫می‬ : 𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖
  • 10.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ ‫مدل‬ ‫مفروضات‬ 𝜖𝑖 = 𝜖 Xi 𝜖𝑖 ~𝑁(0, 𝜎2)
  • 11.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ ‫مدل‬ ‫مفروضات‬  𝜖𝑖 ‫ندارند‬ ‫خودهمبستگی‬ ‫ها‬ ( ‫هستند‬ ‫مستقل‬ ‫هم‬ ‫از‬ ) : ‫مقدار‬ ‫یعنی‬ 𝜖𝑖+1 ، ‫مقدار‬ ‫از‬ ‫مستقل‬ 𝜖𝑖 ‫است‬ . • ‫مثال‬ : ‫عالمت‬ ‫اگر‬ 𝜖2 ‫باشد‬ ‫مثبت‬ ، ‫عالمت‬ 𝜖3 ‫نیست‬ ‫حدس‬ ‫قابل‬ .  𝑦𝑖 ‫ها‬ ‫ندارند‬ ‫خودهمبستگی‬ ( ‫از‬ ‫مستقل‬ ‫هم‬ ‫هستند‬ ) : ‫اینکه‬ ‫تبع‬ ‫به‬ 𝜖𝑖 ‫خودهمبستگی‬ ‫ها‬ ‫ندارند‬ ، 𝑦𝑖 ‫ها‬ ‫بود‬ ‫خواهند‬ ‫مستقل‬ ‫هم‬ ‫از‬ . • ‫موقعیت‬ 𝑦𝑖 ‫رگرسیون‬ ‫خط‬ ‫به‬ ‫نسبت‬ ‫نیست‬ ‫بینی‬ ‫پیش‬ ‫قابل‬ .
  • 12.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬  ‫رگرسیون‬ ‫تابع‬ : • ‫هر‬ ‫در‬ Xi ، ‫توزیعی‬ ‫از‬ 𝑌 ‫دارد‬ ‫وجود‬ ‫؛‬ ‫شرطی‬ ‫توزیع‬ 𝑌 Xi . • ‫تابع‬ ‫رگرسیون‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫صورت‬ ‫به‬ ‫را‬ Y ‫از‬ ‫تابعی‬ ‫عنوان‬ ‫به‬ X ‫میکنیم‬ ‫تعریف‬ ‫؛‬ ‫که‬ ‫دهد‬ ‫می‬ ‫دست‬ ‫به‬ ‫را‬ ‫تصور‬ ‫این‬ Y ‫روش‬ ‫با‬ ‫به‬ ‫معینی‬ ‫از‬ ‫تابعی‬ ‫عنوان‬ X ‫می‬ ‫تغییر‬ ‫کند‬ . 𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝐸 𝛽0 + 𝛽1𝑋 + 𝜖 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝐸(𝜖𝑖) 𝐸 𝜖𝑖 = 0 → 𝑓 𝑋𝑖 = 𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖 • ‫توجه‬ : ‫که‬ ‫میشود‬ ‫مشاهده‬ 𝐸 𝑌 𝑋 ‫به‬ ‫خطی‬ ‫وابسته‬ X ‫است‬ .
  • 13.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ 𝑌 Xi = 𝛽0 + 𝛽1𝑋 + 𝜖 Xi = 𝛽0 + 𝛽1𝑋𝑖 + )𝜖|𝑋𝑖( = 𝐶𝑜𝑛𝑠𝑡𝑎𝑛𝑡_𝑉𝑎𝑙𝑢𝑒 + )𝜖|𝑋𝑖(  ‫توزیع‬ ‫میشود‬ ‫ثابت‬ 𝑌 Xi :  ‫نرمال‬ ‫است‬ .  𝐸 𝑌 𝑋𝑖 = 𝛽0 + 𝛽1𝑋𝑖  𝜎𝑌|𝑋𝑖 ‫برابر‬ ‫و‬ ‫ثابت‬ 𝜎𝜖 ‫است‬ .
  • 14.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ 𝑌𝑖 = 𝐸 𝑌 𝑋𝑖 + 𝜖𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜖𝑖
  • 15.
    ‫ساده‬ ‫خطی‬ ‫رگرسیون‬‫مدل‬ ‫بندی‬ ‫فرمول‬ • ‫بین‬ ‫رابطه‬ X ‫و‬ Y ‫نیست‬ ‫قطعی‬ ‫؛‬ ‫رابطه‬ ‫که‬ ‫حالی‬ ‫در‬ 𝑋 ‫و‬ 𝐸 𝑌 𝑋 ‫است‬ ‫راست‬ ‫خط‬ ‫یک‬ . • ‫معادله‬ ‫ی‬ (𝐸 𝑌 𝑋 = 𝛽0 + 𝛽1𝑋) ‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬ X ‫و‬ Y ‫را‬ ‫آن‬ ‫و‬ ‫است‬ « ‫خط‬ ‫رگرسیون‬ ‫جامعه‬ » ‫مینامیم‬ . • 𝛽0 ( ‫مبدا‬ ‫از‬ ‫عرض‬ ) ‫و‬ 𝛽1 ( ‫زاویه‬ ‫ضریب‬ ‫یا‬ ‫شیب‬ ) ، ‫هستند‬ ‫مدل‬ ‫پارامترهای‬ . • ‫اگر‬ 𝛽0 ‫و‬ 𝛽1 ‫باشند‬ ‫مشخص‬ ، ‫میتوان‬ 𝑦 ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ « ‫برای‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬ Y ‫مشخص‬ ‫مقدار‬ ‫اساس‬ ‫بر‬ X » ‫بینی‬ ‫پیش‬ ‫کرد‬ : 𝐸 𝑌 𝑋 = 𝑥𝑖 = 𝐸(𝑌𝑖) = 𝛽0 + 𝛽1𝑥𝑖  𝛽0 : ‫عرض‬ ‫توان‬‫می‬ ‫گرفت‬ ‫نظر‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫حذف‬ ‫ازاء‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫متوسط‬ ‫مقدار‬ ‫را‬ ‫مبدا‬ ‫از‬ .  𝛽1 : ‫میزان‬ ‫مستقل‬ ‫متغیر‬ ‫به‬ ‫وابسته‬ ‫متغیر‬ ‫حساسیت‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ، ‫معنی‬ ‫این‬ ‫به‬ ‫در‬ ‫تغییرات‬ ‫متوسط‬ ‫که‬ Y ‫واحد‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫در‬ ‫تغییر‬ X ‫است‬ ‫چقدر‬ .
  • 16.
    ‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬ ‫مرحله‬ 1 : ‫مدل‬‫بندی‬ ‫فرمول‬ ‫مرحله‬ 4 : ‫مدل‬ ‫از‬ ‫استفاده‬ ‫مرحله‬ 3 : ‫مدل‬ ‫ارزیابی‬ ‫مرحله‬ 2 : ‫مدل‬ ‫برآورد‬
  • 17.
    ‫مدل‬ ‫برآورد‬  ‫واقعی‬ ‫کاربردهای‬‫در‬ ‫معموال‬ ، ‫مشخص‬ ‫جمعیت‬ ‫کل‬ ‫نمونه‬ ‫فقط‬ ‫و‬ ‫نیست‬ ‫را‬ ‫جمعیت‬ ‫از‬ ‫ای‬ ‫داریم‬ . ‫بنابراین‬ ، ‫رگرس‬ ‫خط‬ ‫یون‬ ‫است‬ ‫نامشخص‬ ‫جمعیت‬ .  ‫ضرایب‬ ‫میزنیم‬ ‫تخمین‬ ‫آموزشی‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫مدل‬ ‫بنابراین‬ ‫و‬ Y ‫مشخص‬ ‫مقادیر‬ ‫اساس‬ ‫بر‬ X ‫بینی‬ ‫پیش‬ ‫قابل‬ ‫بود‬ ‫خواهد‬ . 𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖 • ‫از‬ ‫نماد‬ « » ‫دادن‬ ‫نشان‬ ‫برای‬ « ‫برآورد‬ » ‫استفاده‬ ‫کرده‬ ‫ایم‬ :  𝛽0 : ‫برآوردگر‬ 𝛽0  𝛽1 : ‫برآوردگر‬ 𝛽1  𝑦𝑖 : ‫برآوردگر‬ 𝐸 𝑌 𝑋 = 𝑥𝑖 ، ‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬
  • 18.
  • 19.
    ‫مدل‬ ‫برآورد‬  ‫معمولی‬ ‫مربعات‬‫حداقل‬ ‫روش‬ ( Ordinary Least Squares : ) • ‫رگرسیون‬ ‫خط‬ ‫که‬ ‫است‬ ‫آن‬ ‫آل‬ ‫ایده‬ ، ‫بینی‬ ‫پیش‬ ‫دقیق‬ ‫طور‬ ‫به‬ ‫را‬ ‫وابسته‬ ‫متغیر‬ ‫مقادیر‬ ‫کند‬ : 𝑦𝑖 = 𝑦𝑖 for 𝑖 = 1, … , 𝑛 • ‫باشد‬ ‫خطا‬ ‫با‬ ‫همراه‬ ‫بینی‬ ‫پیش‬ ‫است‬ ‫ممکن‬ ‫عمل‬ ‫در‬ ‫؛‬ 𝜖𝑖 = 𝑦𝑖 − 𝑦𝑖 ‫معادل‬ « ‫پیش‬ ‫خطای‬ ‫بینی‬ » ‫است‬ . • ‫آوردن‬ ‫بدست‬ ‫هدف‬ ‫ضرایب‬ 𝛽0 ‫و‬ 𝛽1 ‫به‬ ‫ای‬ ‫گونه‬ ‫پیش‬ ‫خطای‬ ‫حداقل‬ ‫کلی‬ ‫طور‬ ‫به‬ ‫که‬ ‫است‬ ‫باشیم‬ ‫داشته‬ ‫را‬ ‫بینی‬ : min( 𝑖=1 𝑛 𝜖𝑖 2 = 𝑖=1 𝑛 𝑦𝑖 − 𝑦𝑖 2 = 𝑖=1 𝑛 𝑦𝑖 − 𝛽0 + 𝛽1𝑥𝑖 2 ) • ‫توجه‬ : ‫میکنند‬ ‫خنثی‬ ‫را‬ ‫یکدیگر‬ ‫منفی‬ ‫و‬ ‫مثبت‬ ‫خطاهای‬ ‫اینکه‬ ‫دلیل‬ ‫به‬ ، ‫مربعات‬ ‫از‬ ‫خطا‬ ‫می‬ ‫استفاده‬ ‫کنیم‬ .
  • 20.
    ‫مدل‬ ‫برآورد‬  ‫هدف‬ OLS ‫معرفی‬ ‫باشد‬ ‫داشته‬‫ها‬‫آن‬ ‫از‬ ‫را‬ ‫فاصله‬ ‫کمترین‬ ‫یا‬ ‫عبورکند‬ ‫موجود‬ ‫های‬‫داده‬ ‫یا‬ ‫ها‬‫نقطه‬ ‫بیشتر‬ ‫از‬ ‫که‬ ‫است‬ ‫تابعی‬ ‫یا‬ ‫خط‬ .  ‫پارامترهای‬ 𝛽0 ‫و‬ 𝛽1 ‫کردن‬ ‫کمینه‬ ‫با‬ ‫را‬ RSS ‫آورد‬ ‫می‬ ‫دست‬ ‫به‬ :  RSS (Residual Sum of Squares) : 𝑅𝑆𝑆 = 𝜖1 2 + 𝜖2 2 + ⋯ + 𝜖𝑛 2 𝑅𝑆𝑆 = (𝑦1 − (𝛽0 + 𝛽1𝑥1))2 +(𝑦2 − (𝛽0 + 𝛽1𝑥2))2 + ⋯ + (𝑦𝑛 − (𝛽0 + 𝛽1𝑥𝑛))2 𝛽1 = 𝑖=1 𝑛 (𝑥𝑖−𝑥)(𝑦𝑖−𝑦) 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 , 𝛽0 = 𝑦 − 𝛽1𝑥 • ‫های‬ ‫فرمول‬ ‫که‬ ‫آنجا‬ ‫از‬ 𝛽0 ‫و‬ 𝛽1 ‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫حاصل‬ ‫خط‬ ، ( 𝑦 = 𝛽0 + 𝛽1x ) ‫عنوان‬ ‫به‬ ‫غالبا‬ « ‫خط‬ ‫مربعات‬ ‫حداقل‬ » ‫میشود‬ ‫یاد‬ .
  • 21.
    ‫مدل‬ ‫برآورد‬ ‫برای‬ ‫مربعات‬‫حداقل‬ ‫برآورد‬ 𝛽1 • 𝑑 𝑑𝛽1 𝑅𝑆𝑆 = −2 𝑖=1 𝑛 (𝑦𝑖𝑥𝑖 −𝛽0𝑥𝑖 −𝛽1𝑥𝑖 2 ) • −2 𝑖=1 𝑛 𝑦𝑖𝑥𝑖 − 𝑦 −𝛽1𝑥 𝑥𝑖−𝛽1𝑥𝑖 2 = 0 • 𝑖=1 𝑛 (𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖 +𝛽1𝑥𝑥𝑖 −𝛽1𝑥𝑖 2 ) = 0 • 𝛽1= 𝑖=1 𝑛 (𝑦𝑖𝑥𝑖 − 𝑦𝑥𝑖) 𝑖=1 𝑛 (𝑥𝑖 2 − 𝑥𝑥𝑖)  𝛽1= 𝑖=1 𝑛 (𝑥𝑖−𝑥)(𝑦𝑖−𝑦) 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 • ‫راهنمایی‬ : • 𝑖=1 𝑛 (𝑥𝑦𝑖 − 𝑥𝑦) = 𝑥 𝑖=1 𝑛 (𝑦𝑖 − 𝑦) = 0 • 𝑖=1 𝑛 (𝑥2 − 𝑥𝑥𝑖) = 𝑥 𝑖=1 𝑛 (𝑥−𝑥𝑖) = 0 ‫برای‬ ‫مربعات‬ ‫حداقل‬ ‫برآورد‬ 𝛽0 • 𝑅𝑆𝑆 = 𝑖=1 𝑛 (𝑦𝑖 − 𝛽0 − 𝛽1𝑥𝑖)2 • 𝑑 𝑑𝛽0 𝑅𝑆𝑆 = −2 𝑖=1 𝑛 𝑦𝑖 −𝛽0 − 𝛽1𝑥𝑖 = 0 • 𝑖=1 𝑛 𝑦𝑖 − 𝑛𝛽0 − 𝛽1 i=1 n xi = 0  𝛽0= 𝑦 − 𝛽1𝑥
  • 22.
    ‫مدل‬ ‫برآورد‬  ‫رگرسیون‬ ‫برای‬‫مربعات‬ ‫حداقل‬ ‫برازش‬ « ‫فروش‬ ‫تعداد‬ » ‫ی‬ ‫ک‬ ‫حسب‬ ‫بر‬ ‫خاص‬ ‫محصول‬ « ‫در‬ ‫تبلیغات‬ ‫هزینه‬ TV » : • ‫خط‬ ‫هر‬ ‫خاکستری‬ ‫قائم‬ ‫میدهد‬ ‫نشان‬ ‫را‬ ‫خطا‬ ‫یک‬ . sales = 𝛽0 + 𝛽1 ∗ TV + 𝜖 𝑦 = 𝛽0 + 𝛽1𝑥 sales = β0 + β1 ∗ TV
  • 23.
    ‫مدل‬ ‫برآورد‬  ‫بعدی‬ ‫سه‬‫ی‬ ‫نقشه‬ RSS ‫مشخص‬ ‫ی‬ ‫داده‬ ‫نمونه‬ ‫یک‬ ‫برای‬ : • ‫معادل‬ ‫قرمز‬ ‫ی‬ ‫نقطه‬ ( 𝛽0 ‫و‬ 𝛽1 ) ‫دست‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫با‬ ‫که‬ ‫است‬ ‫است‬ ‫آمده‬ . • ‫مقدار‬ ‫که‬ ‫میشود‬ ‫مشاهده‬ RSS ‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬ ‫در‬ .
  • 24.
    ‫مدل‬ ‫برآورد‬  ‫مثال‬ : • 𝛽0 =7.03 ‫و‬ 𝛽1 = 0.0475 ‫است‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫؛‬ ‫کردن‬ ‫اضافه‬ ‫با‬ ‫صورت‬ ‫این‬ ‫در‬ 1000 $ ‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫به‬ ‫تلویزیونی‬ ، ‫میکند؟‬ ‫تغییری‬ ‫چه‬ ‫محصول‬ ‫فروش‬ ‫میزان‬ 𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖 sale𝑖 = 𝛽0 + 𝛽1TV𝑖 𝑦𝑖 = 7.03 + 0.0475𝑥𝑖 𝑦𝑛𝑒𝑤 = 7.03 + 0.0475𝑥𝑛𝑒𝑤 = 7.03 + 0.0475 𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 1000 = 7.03 + 0.0475𝑥𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5 = 𝑦𝑝𝑟𝑒𝑣𝑖𝑜𝑢𝑠 + 47.5  ‫محصول‬ ‫فروش‬ 47.5 ‫یابد‬ ‫می‬ ‫افزایش‬ ‫واحد‬ .
  • 25.
    ‫رگرسیون‬ ‫تحلیل‬ ‫مراحل‬ ‫مرحله‬ 1 : ‫مدل‬‫بندی‬ ‫فرمول‬ ‫مرحله‬ 4 : ‫مدل‬ ‫از‬ ‫استفاده‬ ‫مرحله‬ 3 : ‫مدل‬ ‫ارزیابی‬ ‫مرحله‬ 2 : ‫مدل‬ ‫برآورد‬
  • 26.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫بین‬ ‫ی‬ ‫رابطه‬ ‫دقیق‬ ‫فرم‬ 𝑋 ‫و‬ 𝑌 : Y = f X + ϵ • ‫توجه‬ : ‫تابع‬ f ‫و‬ ‫است‬ ‫نامشخص‬ ‫و‬ ‫ثابت‬ 𝜖 ‫است‬ ‫تصادفی‬ ‫خطای‬ ‫عبارت‬ .  ‫اگر‬ f ‫باشد‬ ‫خطی‬ ‫تابع‬ ‫یک‬ ، ‫بنویسیم‬ ‫زیر‬ ‫صورت‬ ‫به‬ ‫را‬ ‫رابطه‬ ‫میتوانیم‬ : Y = 𝛽0 + 𝛽1X + 𝜖  ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ( 𝑦 = 𝛽0 + 𝛽1𝑥 ) ‫بین‬ ‫ی‬ ‫رابطه‬ ‫برای‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬ 𝑋 ‫و‬ 𝑌 ‫است‬ . • ‫واقعی‬ ‫کاربردهای‬ ‫در‬ ‫معموال‬ ، ‫است‬ ‫ثابت‬ ‫و‬ ‫نامشخص‬ ‫جامعه‬ ‫رگرسیون‬ ‫خط‬ .  ‫میتوان‬ ‫دیتای‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫مربعات‬ ‫حداقل‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫موجود‬ ، ‫ضرایب‬ 𝛽0 ‫و‬ 𝛽1 ‫را‬ ‫آورد‬ ‫بدست‬ . ‫حاصل‬ ‫خط‬ ( y = 𝛽0 + 𝛽1𝑥 ) ‫گوییم‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫را‬ . • ‫خط‬ ‫حداقل‬ ‫نیست‬ ‫یکتا‬ ‫مربعات‬ .
  • 27.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫مثال‬ :  ‫خط‬ ‫بین‬ ‫واقعی‬ ‫ی‬ ‫رابطه‬ ‫قرمز‬ X ‫و‬ 𝑌 ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ، f(x) = 2 + 3x ، ‫را‬ ‫آن‬ ‫که‬ ‫نامیم‬ ‫می‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ .  ‫مشاهده‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫و‬ ‫است‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬ ‫آبی‬ ‫خط‬ ‫است‬ ‫شده‬ ‫محاسبه‬ ‫شده‬ .  ‫دیتاست‬ ‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ 𝑦 = 2 + 3x + 𝜖 ‫است‬ ‫شده‬ ‫سازی‬ ‫شبیه‬ ‫؛‬ ‫این‬ ‫به‬ ‫که‬ ‫صورت‬ 100 ‫عدد‬ 𝑥𝑖 ‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫کردیم‬ ‫ایجاد‬ ‫تصادفی‬ ، 𝑦𝑖 ‫را‬ ‫متناظر‬ ‫های‬ ‫حساب‬ ‫کردیم‬ ، 𝜖𝑖 ‫ها‬ ‫دست‬ ‫به‬ ‫صفر‬ ‫میانگین‬ ‫با‬ ‫نرمال‬ ‫توزیع‬ ‫یک‬ ‫از‬ ‫اند‬ ‫آمده‬ .
  • 28.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫مثال‬ ‫ادامه‬ :  ‫است‬ ‫شده‬ ‫داده‬ ‫نشان‬ ‫قرمز‬ ‫رنگ‬ ‫با‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫همچنان‬ .  ‫است‬ ‫نامشخص‬ ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫معموال‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬ .  ‫خطوط‬ ‫آبی‬ ‫خط‬ ‫ی‬ ‫دهنده‬ ‫نشان‬ ‫مربعات‬ ‫حداقل‬ ‫هستند‬ ‫و‬ ‫متفاوت‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫اند‬ ‫آمده‬ ‫دست‬ ‫به‬ .  ‫نیست‬ ‫یکتا‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫و‬ ‫چون‬ ‫میکند‬ ‫تغییر‬ ‫کمی‬ ‫دیتا‬ ‫تغییر‬ ‫اساس‬ ‫بر‬ ‫های‬ ‫نمونه‬ ‫مختلف‬ ، ‫میکنند‬ ‫فراهم‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫مختلفی‬ ‫های‬ ‫مجموعه‬ .
  • 29.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫سوال‬ : ‫بین‬ ‫ی‬ ‫رابطه‬ ‫تعریف‬ ‫برای‬ ‫متفاوت‬ ‫خط‬ ‫دو‬ ‫دیتاست‬ ‫یک‬ ‫فقط‬ ‫وجود‬ ‫با‬ ‫چرا‬ 𝑋 ‫و‬ 𝑌 ‫دارد؟‬ ‫وجود‬ (a y = β0 + β1x : ‫رگرسیون‬ ‫خط‬ ‫جمعیت‬ (b y = β0 + β1x : ‫حداقل‬ ‫خط‬ ‫مربعات‬  ‫جواب‬ : • ‫این‬ ‫خط‬ ‫دو‬ ، ‫مصداق‬ ‫بزرگ‬ ‫جمعیت‬ ‫یک‬ ‫خصوصیات‬ ‫برآورد‬ ‫برای‬ ‫نمونه‬ ‫یک‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬ ‫استاندارد‬ ‫آماری‬ ‫رویکرد‬ ‫تر‬ ‫هستند‬ . • ‫مثال‬ : ‫جمعیت‬ ‫میانگین‬ ‫برآورد‬ ( 𝜇 ) ‫تصادفی‬ ‫متغیر‬ Y ‫از‬ ‫استفاده‬ ‫با‬ n ‫ی‬ ‫مشاهده‬ 𝑦𝑛 , … , 𝑦2 , 𝑦1 : 𝜇 = 𝑦 = 1 𝑛 𝑖=1 𝑛 𝑦𝑖  ‫میکنیم‬ ‫سعی‬ ‫مشابه‬ ‫صورت‬ ‫به‬ ‫از‬ ‫استفاده‬ ‫با‬ 𝛽0 ‫و‬ 𝛽1 ‫محاسبه‬ ‫روش‬ ‫با‬ ‫شده‬ ‫حداقل‬ ‫مربعات‬ ، ‫نامشخص‬ ‫پارامترهای‬ 𝛽0 ‫و‬ 𝛽1 ‫را‬ ‫کنیم‬ ‫برآورد‬ . ‫یعنی‬ ‫هستند‬ ‫قرمز‬ ‫خط‬ ‫برای‬ ‫برآوردی‬ ‫آبی‬ ‫خطوط‬ .
  • 30.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫برآوردگر‬ : • ‫تقریبی‬ ‫و‬ ‫است‬ ‫وابسته‬ ‫نمونه‬ ‫اطالعات‬ ‫به‬ ‫که‬ ‫است‬ ‫تصادفی‬ ‫متغیر‬ ‫یک‬ ، ‫جمعیت‬ ‫پارامتر‬ ‫یک‬ ‫برآوردگر‬ ‫مقدار‬ ‫از‬ ‫ایجاد‬ ‫را‬ ‫پارامتر‬ ‫این‬ ‫نامشخص‬ ‫میکند‬ .  𝜇 = 𝑦 : ‫برآوردگر‬ 𝜇  𝛽0 : ‫برآوردگر‬ 𝛽0  𝛽1 : ‫برآوردگر‬ 𝛽1
  • 31.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬ • ‫معیاری‬ ‫اریبی‬ ‫میزان‬ ‫دادن‬ ‫نشان‬ ‫برای‬ ‫مقدار‬ ‫نزدیکی‬ ‫برآوردگر‬ ‫انتظار‬ ‫مورد‬ ‫است‬ ‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬ : • 𝐵𝑖𝑎𝑠𝑒 𝜃 = 𝐸 𝜃 − 𝜃
  • 32.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬ • ‫باشد‬ ‫نااریب‬ ‫یا‬ ‫اریب‬ ‫است‬ ‫ممکن‬ ‫برآوردگر‬ . • ‫برآوردگر‬ 𝜃 ‫نااریب‬ ‫است‬ ‫؛‬ ‫اگر‬ ‫فقط‬ ‫و‬ ‫اگر‬ : • 𝐸 𝜃 = 𝜃 • ‫میانگین‬ 𝛽0 ‫و‬ 𝛽1 ‫زیادی‬ ‫تعداد‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شده‬ ‫محاسبه‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫متفاوت‬ ، ‫به‬ ‫نزدیک‬ ‫بسیار‬ 𝛽0 ‫و‬ 𝛽1 ‫خواهد‬ ‫بود‬ ( ‫جمعیت‬ ‫رگرسیون‬ ‫خط‬ ‫به‬ ‫مربعات‬ ‫حداقل‬ ‫خط‬ ‫چندین‬ ‫میانگین‬ ‫است‬ ‫نزدیک‬ .) • ‫برآوردگرهای‬ 𝛽0 ‫و‬ 𝛽1 ‫هستند‬ ‫نااریب‬ : • 𝐸 𝛽0 = 𝛽0 • 𝐸 𝛽1 = 𝛽1
  • 33.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫برآوردگر‬ ‫نااریبی‬ ‫اثبات‬ 𝛽1 : • 𝛽1= 𝑖=1 𝑛 (𝑥𝑖−𝑥)(𝑦𝑖−𝑦) 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 = 𝑖=1 𝑛 (𝑥𝑖−𝑥)𝑦𝑖 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 − 𝑦 𝑖=1 𝑛 𝑥𝑖−𝑥 𝑖=1 𝑛 𝑥𝑖−𝑥 2 = 𝑖=1 𝑛 (𝑥𝑖−𝑥)𝑦𝑖 𝑖=1 𝑛 (𝑥𝑖−𝑥)2  (becaus𝑒 𝑖=1 𝑛 𝑥𝑖 − 𝑥 = 0) • 𝛽1 = 𝑖=1 𝑛 (𝑥𝑖−𝑥)(𝛽0+𝛽1𝑥𝑖+𝜖𝑖) 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 = 1 𝑖=1 𝑛 𝑥𝑖−𝑥 2 (𝛽0 𝑖=1 𝑛 𝑥𝑖 − 𝑥 + 𝛽1 𝑖=1 𝑛 𝑥𝑖 − 𝑥 𝑥𝑖
  • 34.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫اثبات‬ ‫ادامه‬ ‫برآوردگر‬ ‫نااریبی‬ 𝛽1 : • 𝐸 𝛽1 𝑋 • = 𝐸 𝛽1 𝑋 + 𝐸 𝑖=1 𝑛 𝑥𝑖−𝑥 𝜖𝑖 𝑖=1 𝑛 𝑥𝑖−𝑥 2 𝑋 • = 𝛽1 + 1 𝑖=1 𝑛 𝑥𝑖−𝑥 2 𝐸 𝑖=1 𝑛 𝑥𝑖 − 𝑥 𝜖𝑖 𝑋 • = 𝛽1 + 1 𝑖=1 𝑛 𝑥𝑖−𝑥 2 𝑖=1 𝑛 𝐸 𝑥𝑖 − 𝑥 𝜖𝑖 𝑋 • = 𝛽1 + 1 𝑖=1 𝑛 𝑥𝑖−𝑥 2 𝑖=1 𝑛 𝑥𝑖 − 𝑥 𝐸 𝜖𝑖 𝑋 • = 𝛽1  𝛽1 ‫است‬ ‫نااریب‬ .
  • 35.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫اثبات‬ ‫برآوردگر‬ ‫نااریبی‬ 𝛽0 : • 𝑖=1 𝑛 𝑦𝑖 = 𝑛𝛽0 + 𝛽1 𝑖=1 𝑛 𝑥𝑖 + 𝑖=1 𝑛 𝜖𝑖 • 𝑦 = 𝛽0 + 𝛽1𝑥 + 𝜖 (divide by n) • 𝛽0= 𝑦 − 𝛽1𝑥 = 𝛽0 + 𝛽1𝑥 + 𝜖 − 𝛽1𝑥 = 𝛽0 + (𝛽1 − 𝛽1)𝑥 + 𝜖 • 𝐸 𝛽0|𝑋 = 𝐸 𝛽0|𝑋 + 𝐸 𝛽1 − 𝛽1 𝑥|𝑋 + 𝐸 𝜖|𝑋 = 𝛽0 + 𝑥 𝛽1 − 𝐸 𝛽1|𝑋 = 𝛽0 + 𝑥 𝛽1 − 𝛽1 = 𝛽0  (because 𝐸 𝜖|𝑋 = 𝐸 𝑖=1 𝑛 𝜖𝑖 𝑛 |𝑋 = 1 𝑛 𝑖=1 𝑛 𝐸 𝜖𝑖 𝑋 = 0)  𝛽0 ‫است‬ ‫نااریب‬ .
  • 36.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬ • ‫است‬ ‫کارآمدتر‬ ‫چپ‬ ‫سمت‬ ‫برآوردگر‬ ‫؛‬ ‫چون‬ ‫برای‬ ‫کمتری‬ ‫مشاهدات‬ ‫به‬ ، ‫معین‬ ‫عملکرد‬ ‫یک‬ ‫به‬ ‫دستیابی‬ ‫نیاز‬ ‫دارد‬ . • ‫اگر‬ ‫شده‬ ‫برآورد‬ ‫مقادیر‬ ، ‫مت‬ ‫بسیار‬ ‫دیگر‬ ‫نمونه‬ ‫به‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫فاوت‬ ‫​اری‬​ ‫متوسط‬ ‫طور‬ ‫به‬ ‫برآوردگر‬ ‫یک‬ ‫اینکه‬ ‫دانستن‬ ‫صرفا‬ ، ‫باشد‬ ‫ب‬ ‫نیست‬ ‫کافی‬ ، ‫نیست‬ .  ‫مهم‬ ‫سوال‬ : • ‫؟‬ ‫است‬ ‫دقیق‬ ‫چقدر‬ ‫تصادفی‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫برآورد‬ • ‫دیگر‬ ‫عبارت‬ ‫به‬ ، ‫تص‬ ‫نمونه‬ ‫یک‬ ‫فقط‬ ‫اساس‬ ‫بر‬ ‫شده‬ ‫برآورد‬ ‫مقدار‬ ‫ادفی‬ ، ‫است؟‬ ‫نزدیک‬ ‫جمعیت‬ ‫پارامتر‬ ‫به‬ ‫چقدر‬
  • 37.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫معیار‬ ‫انحراف‬ ( Standard Deviation : ) • ‫دهد‬‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫پراکندگی‬ ‫های‬ ‫شاخص‬ ‫از‬ ‫یکی‬ ‫طور‬ ‫به‬ ‫مقدار‬ ‫از‬ ‫مقدار‬ ‫چه‬ ‫ها‬‫داده‬ ‫میانگین‬ ‫متوسط‬ ‫دارند‬ ‫فاصله‬ . 𝜎 = 𝑉𝑎𝑟𝑃𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛 = 𝑖=1 𝑁 (𝑌𝑖−𝜇)2 𝑁 , 𝜇 = 𝑖=1 𝑁 𝑌𝑖 𝑁 • ‫معیار‬ ‫انحراف‬ ‫برآوردگر‬ : S = 𝑉𝑎𝑟𝑆𝑎𝑚𝑝𝑙𝑒 = 𝑖=1 𝑛 (𝑌𝑖−𝑌)2 𝑛−1 , 𝑌 = 𝑖=1 𝑛 𝑌𝑖 𝑛  𝑌 ‫جمعیت‬ ‫میانگین‬ ‫برای‬ ‫برآوردی‬ ، ( ‫یعنی‬ 𝜇 ) ‫است‬ .  ‫جای‬ ‫به‬ 𝑛 ‫بر‬ (𝑛 − 1) ‫تقسیم‬ ، ‫است‬ ‫شده‬ ‫زیرا‬ ‫شده‬ ‫برآورد‬ ‫جمعیت‬ ‫میانگین‬ ‫و‬ ‫کار‬ ‫این‬ ‫انجام‬ « ‫آزادی‬ ‫درجه‬ ‫یک‬ » ‫هزینه‬ ‫ما‬ ‫برای‬ ‫دارد‬ .
  • 38.
  • 39.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬ ‫میانگین‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬  ‫استاندارد‬ ‫خطای‬ ( (Standard Error : • ‫انحراف‬ ‫نمونه‬ ‫توزیع‬ ‫یک‬ ‫معیار‬ ‫برداری‬ ( ‫آماره‬ ‫توزیع‬ ) ‫اس‬ ‫ت‬ . • ‫خطای‬ ‫انحراف‬ ‫و‬ ‫استاندارد‬ ‫معیار‬ ‫برای‬ ‫معیارهای‬ ‫دو‬ ‫هر‬ ‫هستند‬ ‫تغییر‬ ‫توصیف‬ . ‫انحراف‬ ‫معیار‬ ‫تغیی‬ ‫دهنده‬ ‫نشان‬ ‫موجود‬ ‫ر‬ ‫استاندارد‬ ‫خطای‬ ‫که‬ ‫حالی‬ ‫در‬ ، ‫است‬ ‫نمونه‬ ‫یک‬ ‫در‬ ‫جمعیت‬ ‫یک‬ ‫های‬ ‫نمونه‬ ‫در‬ ‫تغییرموجود‬ ‫مشخص‬ ‫را‬ ‫کند‬ ‫می‬ . • ‫که‬ ‫نااریب‬ ‫برآوردگرهای‬ ‫در‬ 𝐸 𝜃 = 𝜃 ‫باشد‬ ‫می‬ ، ‫برای‬ ‫برآورد‬ ‫پارامتر‬ ‫واقعی‬ ‫مقدار‬ ‫به‬ ‫برآوردگر‬ ‫نزدیکی‬ ‫میزان‬ ‫شود‬‫می‬ ‫استفاده‬ . • ‫است‬ ‫برآوردگر‬ ‫دقت‬ ‫برای‬ ‫معیاری‬ .
  • 40.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬ 𝑌 : Var Y = Var( 1 n i=1 n Yi) = 1 n2 𝑖=1 𝑛 𝑉𝑎𝑟(𝑌𝑖) = 𝑛𝜎2 𝑛2 = 𝜎2 𝑛 SE(𝑌) = Var(𝑌) = 𝜎 𝑛 • 𝜎 ‫معیار‬ ‫انحراف‬ ‫آن‬ ‫نبودن‬ ‫مشخص‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫جمعیت‬ ، ‫یعنی‬ ‫آن‬ ‫برآوردگر‬ ‫از‬ S ‫میکنیم‬ ‫استفاده‬ . • ‫به‬ ‫میتوان‬ ‫مشابه‬ ‫صورت‬ ‫دقت‬ 𝛽0 ‫و‬ 𝛽1 ‫برآورد‬ ‫در‬ ‫را‬ 𝛽0 ‫و‬ 𝛽1 ‫کرد‬ ‫بررسی‬ .
  • 41.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫با‬ ‫مرتبط‬ ‫استاندارد‬ ‫خطای‬ 𝛽0 ‫و‬ 𝛽1 : • 𝑆𝐸 𝛽0 2 = Var 𝛽0 = 𝜎2( 1 𝑛 + 𝑥2 𝑖=1 𝑛 (𝑥𝑖−𝑥)2) • 𝑆𝐸 𝛽1 2 = Var 𝛽1 = 𝜎2 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 • ‫توجه‬ : 𝜎2 = Var(𝜖)
  • 42.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫باقیمانده‬ ‫استاندارد‬ ‫خطای‬ (residual standard error) : • ‫مقدار‬ ‫بودن‬ ‫نامشخص‬ ‫صورت‬ ‫در‬ 𝜎 ، ‫کنیم‬ ‫برآورد‬ ‫را‬ ‫آن‬ ‫زیر‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫میتوانیم‬ . • RSE = 𝑅𝑆𝑆 𝑛−2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 𝑛−2 = 𝜖1 2 +𝜖2 2 +⋯+𝜖𝑛 2 𝑛−2 • ‫بر‬ ‫را‬ ‫مجموع‬ (𝑛 − 2) ‫تقسیم‬ ‫می‬ ‫کنیم‬ ‫استفاده‬ ‫در‬ ‫زیرا‬ ، ‫از‬ 𝑦𝑖 ، ‫کنیم‬ ‫می‬ ‫برآورد‬ ‫را‬ ‫پارامتر‬ ‫دو‬ ‫ما‬ - 𝛽0 ( ‫مبدا‬ ‫از‬ ‫عرض‬ ) ‫و‬ 𝛽1 ( ‫شیب‬ ) - ‫یعنی‬ « ‫آزادی‬ ‫درجه‬ ‫دو‬ » ‫دهیم‬ ‫می‬ ‫دست‬ ‫از‬ ‫را‬ . • ‫فرمول‬ ‫در‬ ‫چنانچه‬ 𝑆𝐸 𝛽𝑖 2 ‫مقدار‬ ‫از‬ 𝜎 ‫کنیم‬ ‫استفاده‬ ‫شده‬ ‫برآورد‬ ، ‫صورت‬ ‫به‬ ‫را‬ ‫آن‬ ‫باید‬ 𝑆𝐸 𝛽𝑖 2 ‫دهیم‬ ‫نشان‬ . ‫سادگی‬ ‫برای‬ ‫اما‬ ‫عالمت‬ ‫این‬ ‫از‬ « hat » ‫میکنیم‬ ‫صرفنظر‬ ‫اضافی‬ .
  • 43.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫استاندارد‬ ‫خطای‬ ‫ی‬ ‫اندازه‬ ‫بر‬ ‫موثر‬ ‫عوامل‬ : .A ‫نمونه‬ ‫حجم‬ n : • ‫مخرج‬ 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 ‫به‬ n ‫دارد‬ ‫بستگی‬ . ‫بزرگتر‬ ‫نمونه‬ ‫حجم‬ ‫چه‬ ‫هر‬ ‫میشود‬ ‫اضافه‬ ‫مجموع‬ ‫این‬ ‫به‬ ‫بیشتری‬ ‫عبارات‬ ،‫باشد‬ . • ‫نم‬ ‫اندازه‬ ‫افزایش‬ ‫با‬ ‫رگرسیون‬ ‫خطوط‬ ‫ابر‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬ ‫ونه‬ ‫شود‬ ‫می‬ ‫تر‬ ‫فشرده‬ . ‫م‬ ‫در‬ ‫مدل‬ ‫بیشتر‬ ‫اطمینان‬ ‫از‬ ‫حاصل‬ ‫نتیجه‬ ‫این‬ ‫ورد‬ ‫مکان‬ ‫است‬ ‫وسط‬ .
  • 44.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬ .C ‫مقادیر‬ ‫پراکندگی‬ 𝑥 : 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 .B ‫خط‬ ‫اطراف‬ ‫در‬ ‫پراکندگی‬ ‫رگرسیون‬ : 𝑆𝜖 = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦𝑖)2 𝑛 − 2
  • 45.
    ‫ضرایب‬ ‫برآورد‬ ‫دقت‬‫ارزیابی‬  ‫استنباط‬ ‫پارامترهای‬ ‫جمعیت‬ : • ‫در‬ ‫نهایت‬ ‫عالقه‬ ‫ایم‬ ‫کرده‬ ‫مشاهده‬ ‫که‬ ‫خاصی‬ ‫نمونه‬ ‫نه‬ ، ‫هستیم‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫نتیجه‬ ‫به‬ ‫مند‬ . • ‫مورد‬ ‫در‬ ‫مندیم‬ ‫عالقه‬ ، ‫ساده‬ ‫رگرسیون‬ ‫تنظیم‬ ‫در‬ 𝛽0 ‫و‬ 𝛽1 ‫بگیریم‬ ‫یاد‬ . • « ‫اطمینان‬ ‫فواصل‬ » ‫و‬ « ‫فرضیه‬ ‫آزمونهای‬ » ‫جمعیت‬ ‫پارامترهای‬ ‫مقادیر‬ ‫درباره‬ ‫یادگیری‬ ‫برای‬ ، ‫متفاوت‬ ‫اما‬ ، ‫مرتبط‬ ‫روش‬ ‫دو‬ ‫هستند‬ . • ‫کردن‬ ‫محاسبه‬ ‫برای‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫میتوان‬ ‫اطمینان‬ ‫فواصل‬ ‫انجام‬ ‫یا‬ ، ‫فرض‬ ‫آزمونهای‬ ‫کرد‬ ‫استفاده‬ ‫ضرایب‬ ‫روی‬ ‫بر‬ .
  • 46.
    ‫آمار‬ ‫علم‬ ‫های‬‫شاخه‬  ‫آمار‬ ‫توصیفی‬ : • ‫نتایج‬ ‫توصیف‬ ‫برای‬ ‫و‬ ‫می‬ ‫استفاده‬ ‫ها‬ ‫داده‬ ‫در‬ ‫موجود‬ ‫های‬ ‫ویژگی‬ ‫شود‬ . • ‫اطالعات‬ ‫یک‬ ‫از‬ ‫حاصل‬ ، ‫گروه‬ ‫و‬ ‫کند‬‫می‬ ‫توصیف‬ ‫را‬ ‫گروه‬ ‫همان‬ ‫شود‬‫نمی‬ ‫داده‬ ‫تعمیم‬ ‫مشابه‬ ‫جات‬‫دسته‬ ‫به‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬ .  ‫استنباطی‬ ‫آمار‬ : • ‫براساس‬ ‫آماری‬ ‫جامعه‬ ‫شناخت‬ ، ‫هدف‬ ‫مقادیر‬ ‫های‬‫نمونه‬ ‫از‬ ‫حاصل‬ ‫است‬ ‫تصادفی‬ . • ‫کل‬ ‫به‬ ‫را‬ ‫نمونه‬ ‫مطالعه‬ ‫از‬ ‫حاصل‬ ‫نتایج‬ ‫جمعیت‬ ‫میدهد‬ ‫تعمیم‬ . • ‫در‬ ‫از‬ ‫گذر‬ ‫به‬ ‫نمونه‬ ‫جامعه‬ ، ‫شروع‬ ‫احتمال‬ ‫نقش‬ ‫و‬ ‫بحث‬ ‫شود‬‫می‬ ‫؛‬ ‫نتایج‬ ‫واقع‬ ‫در‬ ‫صورت‬ ‫به‬ ‫را‬ ‫نهایی‬ ‫احتمالی‬ ‫دهد‬‫می‬ ‫ارائه‬ . • « ‫کردن‬ ‫برآورد‬ » ‫و‬ « ‫آماری‬ ‫فرض‬ ‫آزمون‬ » ‫استنباطی‬ ‫آمار‬ ‫روشهای‬ ‫هستند‬ .
  • 47.
    ‫برآورد‬ ‫کردن‬  ‫برآورد‬ ‫روشهای‬ ‫پارامتر‬ ‫جمعیت‬ ، ‫از‬ ‫استفاده‬‫با‬ ‫نمونه‬ : .A ‫نقطه‬ ‫برآورد‬ : ‫م‬ ‫به‬ ‫جمعیت‬ ‫پارامتر‬ ‫برآورد‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫واحدی‬ ‫مقدار‬ ‫ا‬ ‫میدهد‬ ، ‫نمونه‬ ‫میانگین‬ ‫مثال‬ ‫برای‬ . .B ‫اطمینان‬ ‫فاصله‬ ‫برآورد‬ : ‫پار‬ ‫شامل‬ ‫احتماال‬ ‫که‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫طیفی‬ ‫امتر‬ ‫میدهد‬ ‫ما‬ ‫به‬ ‫است‬ ‫جمعیت‬ .  ‫احتمال‬ ‫را‬ ‫باشد‬ ‫جمعیت‬ ‫پارامتر‬ ‫شامل‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ ‫آنکه‬ « ‫سطح‬ ‫اعتماد‬ » ‫گویند‬ .  ‫ضرایب‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫داریم‬ ‫قصد‬ 𝛽0 ‫و‬ 𝛽1 ‫استاندارد‬ ‫خطای‬ ‫و‬ ‫آنها‬ ، ‫بازه‬ ‫شامل‬ ‫مشخص‬ ‫احتمال‬ ‫با‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫هایی‬ ‫پارامترهای‬ 𝛽0 ‫و‬ 𝛽1 ‫هستند‬ .
  • 48.
  • 49.
  • 50.
    ‫نرمال‬ ‫توزیع‬  ‫توزیع‬ ‫مرکز‬ ‫از‬‫فاصله‬ ‫و‬ ‫نرمال‬ ، ‫انحراف‬ ‫برحسب‬ ‫معیار‬ : • ‫ی‬ ‫محدوده‬ ‫در‬ 2 ± ‫واحد‬ ‫معیار‬ ‫انحراف‬ ( ‫برداری‬ ‫نمونه‬ ‫توزیع‬ ‫در‬ ‫استاندارد‬ ‫خطای‬ ) ‫از‬ ‫میانگین‬ ، ‫حدود‬ 95 % ‫اند‬ ‫گرفته‬ ‫قرار‬ ‫ها‬ ‫داده‬ .
  • 51.
    ‫نرمال‬ ‫توزیع‬  ‫به‬ ‫احتمال‬ 95 % ‫در‬ ‫جمعیت‬‫پارامتر‬ ‫فاصله‬ ±2 𝜎 𝑛 ‫قرار‬ ‫برآوردگر‬ ‫از‬ ‫دارد‬ .  ‫اطمینان‬ ‫سطح‬ : 95 %  ‫بازه‬ ‫اطمینان‬ : (𝑋 − 2 𝜎 𝑛 , 𝑋 + 2 𝜎 𝑛 )
  • 52.
    ‫توزیع‬ z  ‫توزیع‬ z ‫یا‬ « ‫استاندارد‬ ‫نرمال‬ ‫توزیع‬ » : 𝑧= 𝑥 − 𝜇 𝜎  ‫میانگین‬ : 0  ‫معیار‬ ‫انحراف‬ : 1 • ‫نرمال‬ ‫توزیع‬ ‫به‬ ‫میتوان‬ ‫را‬ ‫نرمال‬ ‫توزیع‬ ‫هر‬ ‫کرد‬ ‫تبدیل‬ ‫استاندارد‬ .
  • 53.
    ‫توزیع‬ t • ‫مواقع‬ ‫اکثر‬ ‫در‬ ، ‫برای‬ ‫فواصل‬‫محاسبه‬ ‫توزیع‬ ‫جای‬ ‫به‬ ‫اطمینان‬ z ‫های‬‫توزیع‬ ‫از‬ t ‫میکنیم‬ ‫استفاده‬ . • ‫برای‬ ‫ایجاد‬ ‫چندانی‬ ‫تفاوت‬ ،‫بزرگ‬ ‫های‬‫نمونه‬ ‫کند‬‫نمی‬ ( ‫با‬ ‫بزرگتر‬ ‫شدن‬ ‫های‬ ‫درجه‬ ،‫آزادی‬ ‫های‬ ‫توزیع‬ 𝑡 ‫به‬ ‫توزیع‬ 𝑧 ‫نزدیکتر‬ ‫شود‬‫می‬ ) ‫اما‬ ، ‫های‬‫نمونه‬ ‫برای‬ ‫کوچکتر‬ ‫کند‬ ‫ایجاد‬ ‫زیادی‬ ‫تفاوت‬ ‫تواند‬‫می‬ .
  • 54.
    ‫پارامتر‬ ‫برای‬ ‫اطمینان‬‫ی‬ ‫بازه‬ ‫برآورد‬ • ‫بازه‬ ‫اطمینان‬ ‫ی‬ ‫مشخص‬ ‫اعتماد‬ ‫سطح‬ ‫با‬ ، ‫دامنه‬ ‫با‬ ‫که‬ ‫میکند‬ ‫تعیین‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬ ‫اعتماد‬ ‫سطح‬ ‫با‬ ‫برابر‬ ‫احتمالی‬ ، ‫نامش‬ ‫مقدار‬ ‫خص‬ ‫پارامتر‬ ‫بود‬ ‫خواهد‬ ‫دامنه‬ ‫این‬ ‫در‬ . ‫اطمینان‬ ‫فاصله‬ = ‫مقدار‬ ‫شده‬ ‫برآورد‬ ± ‫حاشیه‬ ‫خطا‬ • ‫میگردد‬ ‫تعیین‬ ‫اطمینان‬ ‫سطح‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫استاندارد‬ ‫خطای‬ ‫از‬ ‫ضریبی‬ ‫خطا‬ ‫حاشیه‬ .  ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ 𝛽1 : ‫مشخص‬ ‫احتمال‬ ‫با‬ ( 1 − 𝛼 ) ، 𝛽1 ‫بازه‬ ‫در‬ [𝛽1 − 𝑡𝛼 2 , 𝑛−2 * SE(𝛽1) , 𝛽1+ 𝑡𝛼 2 , 𝑛−2 * SE(𝛽1)] ‫خواهد‬ ‫بود‬ .  ‫برای‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ 𝛽0 : ‫مشخص‬ ‫احتمال‬ ‫با‬ ( 1 − 𝛼 ) ، 𝛽0 ‫بازه‬ ‫در‬ [𝛽0 − 𝑡𝛼 2 , 𝑛−2 * SE(𝛽0) , 𝛽0+ 𝑡𝛼 2 , 𝑛−2 * SE(𝛽0)] ‫خواهد‬ ‫بود‬ . • ‫مقدار‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬ t ‫آزادی‬ ‫ی‬ ‫درجه‬ ‫و‬ ‫اعتماد‬ ‫سطح‬ ‫اساس‬ ‫بر‬ ، ‫توزیع‬ ‫جدول‬ ‫از‬ t ‫آید‬ ‫می‬ ‫دست‬ ‫به‬ .
  • 55.
    ‫پارامتر‬ ‫برای‬ ‫اطمینان‬‫ی‬ ‫بازه‬ ‫برآورد‬  ‫کم‬ ‫اطمینان‬ ‫های‬‫فاصله‬ ،‫کلی‬ ‫طور‬ ‫به‬ ‫تر‬ ‫عرض‬ ‫هستند‬ ‫مفیدتر‬ .  ‫عرض‬ ‫بر‬ ‫موثر‬ ‫عوامل‬ ‫فاصله‬ ‫برای‬ ‫اطمینان‬ 𝛽 : .A ‫استاندارد‬ ‫خطای‬ : ‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬ . • ‫عوامل‬ ‫شده‬ ‫بیان‬ ‫قبال‬ ‫استاندارد‬ ‫خطای‬ ‫بر‬ ‫موثر‬ ‫است‬ . .B ‫اطمینان‬ ‫سطح‬ : ‫دارد‬ ‫وجود‬ ‫مستقیم‬ ‫ی‬ ‫رابطه‬ . • ‫واضح‬ ‫که‬ ‫است‬ ‫نمی‬ ‫دهیم‬ ‫کاهش‬ ‫خیلی‬ ‫را‬ ‫اطمینان‬ ‫سطح‬ ‫خواهیم‬ . ‫زیر‬ ‫هرگز‬ ‫اطمینان‬ ‫سطح‬ ،‫معمول‬ ‫طور‬ ‫به‬ 90 ‫تنظیم‬ ٪ ‫شود‬ ‫نمی‬ .
  • 56.
     ‫مثال‬ : • ‫دیتاست‬ ‫در‬ advertising ‫اطمینان‬ ‫ی‬‫بازه‬ 95 % ‫برای‬ 𝛽0 [6.130 , 7.935] ‫و‬ ‫اطمینان‬ ‫ی‬ ‫بازه‬ 95 % ‫برای‬ 𝛽1 [0.042 , 0.053] ‫است‬ ‫آمده‬ ‫دست‬ ‫به‬ . • ‫گرفت‬ ‫نتیجه‬ ‫توان‬ ‫می‬ ‫که‬ :  ‫در‬ ،‫فروش‬ ،‫تبلیغات‬ ‫هرگونه‬ ‫وجود‬ ‫عدم‬ ‫صورت‬ ‫احتمال‬ ‫به‬ 95 % ‫مقداری‬ ‫به‬ ‫بین‬ 6130 ‫تا‬ 7935 ‫کند‬ ‫می‬ ‫سقوط‬ ‫واحد‬ .  ‫هر‬ ‫ازای‬ ‫به‬ 1000 ‫احتمال‬ ‫به‬ ،‫تلویزیونی‬ ‫تبلیغات‬ ‫در‬ ‫افزایش‬ ‫دالر‬ 95 % ‫بین‬ ‫فروش‬ 42 ‫تا‬ 53 ‫واحد‬ ‫داشت‬ ‫خواهد‬ ‫افزایش‬ .
  • 57.
     ‫برای‬ ‫اطمینان‬ ‫ی‬‫فاصله‬ ‫روش‬ ‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬ :  ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬ X ‫پاسخ‬ ‫و‬ Y ‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬  ‫آیا‬ 𝛽1 ≠ 0 ‫است‬ ‫؟‬ • ‫اطمینان‬ ‫فاصله‬ ‫محدوده‬ ‫واقعی‬ ‫مقدار‬ ‫حاوی‬ ً‫ال‬‫احتما‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ما‬ ‫به‬ ‫را‬ ‫مقادیر‬ ‫از‬ ‫ای‬ ‫نامشخص‬ ‫و‬ 𝛽1 ‫است‬ .  ‫فاصله‬ ‫برای‬ ‫اطمینان‬ 𝛽1 ‫حاوی‬ 0 ‫باشد‬ : ‫هیچ‬ ‫خطی‬ ‫رابطه‬ ‫وجود‬ ‫بر‬ ‫مبنی‬ ‫مدرکی‬ ‫بین‬ ‫پیش‬ ‫کننده‬ ‫بینی‬ 𝑋 ‫پاسخ‬ ‫و‬ 𝑌 ‫جمعیت‬ ‫در‬ ‫ندارد‬ ‫وجود‬ .  ‫فاصله‬ ‫برای‬ ‫اطمینان‬ 𝛽1 ‫حاوی‬ 0 ‫نباشد‬ : ‫شواهدی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬ ‫کننده‬ ‫بینی‬ 𝑋 ‫و‬ ‫پاسخ‬ 𝑌 ‫دارد‬ ‫وجود‬ ‫جمعیت‬ ‫در‬ .
  • 58.
    ‫ضرایب‬ ‫روی‬ ‫بر‬‫فرض‬ ‫آزمون‬  ‫آزمون‬ t ‫برای‬ ‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬ :  ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬ X ‫پاسخ‬ ‫و‬ Y ‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬  ‫آیا‬ 𝛽1 ≠ 0 ‫؟‬ ‫است‬ • ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫وجود‬ 𝑋 ‫پاسخ‬ ‫و‬ 𝑌 ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬ ‫گذاریم‬ ‫می‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ساده‬ : • (𝐻0: 𝛽1 = 0) VS (𝐻𝑎: 𝛽1 ≠ 0) • ‫بین‬ ‫رگرسیون‬ ‫خط‬ X ‫و‬ Y ‫آزمون‬ ‫از‬ ‫سپس‬ ‫و‬ ‫میکنیم‬ ‫برآورد‬ ‫را‬ t ‫رگرسی‬ ‫خط‬ ‫شیب‬ ‫است‬ ‫بعید‬ ‫آیا‬ ‫که‬ ‫ببینیم‬ ‫تا‬ ‫میکنیم‬ ‫استفاده‬ ‫ون‬ ‫جمعیت‬ ( 𝛽1 ) ‫خیر‬ ‫یا‬ ‫باشد‬ ‫صفر‬ ‫برابر‬ .
  • 59.
    ‫آماری‬ ‫فرض‬ ‫آزمون‬  ‫فرض‬ ‫آماری‬ : • ‫حدس‬ ‫ی‬‫درباره‬ ‫ادعایی‬ ‫یا‬ ‫ویژگی‬ ‫بررسی‬ ‫مورد‬ ‫جمعیت‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫ممکن‬ ‫و‬ ‫است‬ ‫باشد‬ ‫نادرست‬ ‫یا‬ ‫درست‬ ‫است‬ .  ‫فرض‬ ‫آزمون‬ ‫آماری‬ : • ‫هدف‬ ‫قابل‬ ‫تقریبا‬ ‫آماری‬ ‫فرض‬ ،‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫آمده‬ ‫دست‬ ‫به‬ ‫اطالعات‬ ‫به‬ ‫توجه‬ ‫با‬ ‫که‬ ‫است‬ ‫موضوع‬ ‫این‬ ‫تعیین‬ ‫آماری‬ ‫فرض‬ ‫آزمون‬ ‫تایید‬ ‫خیر‬ ‫یا‬ ‫است‬ . • ‫فرضیه‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫با‬ ‫اما‬ ، ‫هستند‬ ‫جمعیت‬ ‫مورد‬ ‫در‬ ‫ها‬ ‫بررسی‬ ‫آنها‬ ‫اعتبار‬ ‫می‬ ‫شود‬ . • ‫هدف‬ ‫آزمودن‬ ، ‫آن‬ ‫اثبات‬ ‫نه‬ ‫است‬ ‫فرض‬ ‫كردن‬ ‫آزمایش‬ ‫و‬ .  ‫اثبات‬ ‫و‬ ‫فرضیه‬ ‫آزمون‬ ‫تفاوت‬ ‫فرضیه‬ : • ‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫غلط‬ ‫یا‬ ‫درست‬ ‫اثبات‬ ‫برای‬ ‫باید‬ ‫شکی‬ ‫هیچ‬ ‫بدون‬ ‫آید‬ ‫می‬ ‫بدست‬ ‫که‬ ‫ای‬ ‫نتیجه‬ ‫و‬ ‫کنیم‬ ‫بررسی‬ ‫را‬ ‫جمعیت‬ ‫کل‬ ‫است‬ ‫برقرار‬ . • ‫نیست‬ ‫قطعی‬ ‫نتیجه‬ ‫و‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫فرضیه‬ ‫یک‬ ‫بودن‬ ‫محتمل‬ ‫ارزیابی‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬ .
  • 60.
    ‫آماری‬ ‫فرض‬ ‫آزمون‬  ‫هستند‬‫یکدیگر‬ ‫نقیض‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫فرض‬ ‫دو‬ ‫همواره‬ ‫آزمون‬ ‫یک‬ ‫انجام‬ ‫در‬ : .A ‫صفر‬ ‫فرض‬ (𝐻0) : ‫شود‬ ‫آزمایش‬ ‫است‬ ‫قرار‬ ‫که‬ ‫آماری‬ ‫فرض‬ . .B ‫مقابل‬ ‫فرض‬ (𝐻𝑎) : ‫صفر‬ ‫فرض‬ ‫جایگزین‬ . • ‫فرض‬ ‫قوی‬ ‫ها‬ ‫داده‬ ‫آنکه‬ ‫مگر‬ ، ‫کند‬ ‫می‬ ‫پیروی‬ ‫صفر‬ ‫فرضیه‬ ‫از‬ ‫که‬ ‫است‬ ‫فرضی‬ ‫جمعیت‬ ‫یک‬ ‫ما‬ ‫جمعیت‬ ‫یعنی‬ ‫است‬ ‫صحیح‬ ‫صفر‬ ‫آن‬ ‫برخالف‬ ‫ا‬ ‫کنند‬ ‫حکم‬ . • ‫غیرمحتمل‬ ‫و‬ ‫بعید‬ ‫کامال‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫ها‬ ‫داده‬ ‫اگر‬ ‫باشند‬ ، ‫را‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫میکنیم‬ . • ‫آزمون‬ ‫برای‬ ،‫صریحی‬ ‫قواعد‬ ‫ی‬ ‫مجموعه‬ ‫گرفتن‬ ‫کار‬ ‫به‬ ‫از‬ ‫عبارتست‬ ‫آماری‬ ‫فرض‬ ‫یک‬ ‫آنکه‬ ‫که‬ ‫بگیریم‬ ‫تصمیم‬ ‫آیا‬ ‫صف‬ ‫فرض‬ ‫ر‬ ‫به‬ ‫را‬ ‫نفع‬ ‫رد‬ ‫مقابل‬ ‫فرض‬ ‫ندارد‬ ‫وجود‬ ‫آن‬ ‫رد‬ ‫برای‬ ‫کافی‬ ‫شواهد‬ ‫یا‬ ‫کنیم‬ . • ‫جم‬ ‫کل‬ ‫اساس‬ ‫بر‬ ‫نه‬ ، ‫است‬ ‫نمونه‬ ‫اطالعات‬ ‫اساس‬ ‫بر‬ ‫تصمیم‬ ‫زیرا‬ ‫است‬ ‫نشده‬ ‫اثبات‬ ‫آن‬ ‫جایگزین‬ ‫یا‬ ‫صفر‬ ‫فرضیه‬ ‫موردی‬ ‫هیچ‬ ‫در‬ ‫عیت‬ . ‫اما‬ ‫دارد‬ ‫وجود‬ ‫فرضیه‬ ‫بودن‬ ‫درست‬ ‫بر‬ ‫مبنی‬ ‫شواهدی‬ ‫که‬ ‫کرد‬ ‫اعالم‬ ‫اطمینان‬ ‫درجه‬ ‫با‬ ‫میتوان‬ .
  • 61.
    ‫آماری‬ ‫فرض‬ ‫آزمون‬‫مراحل‬ ‫مرحله‬ 1 : ‫صفر‬ ‫فرض‬ ‫کردن‬ ‫بیان‬ (H0) ‫مقابل‬ ‫فرض‬ ‫و‬ (Ha) ‫مرحله‬ 4 : ‫معناداری‬ ‫سطح‬ ‫تعیین‬ 𝛼 ‫مرحله‬ 3 : ‫آزمون‬ ‫ی‬ ‫دنباله‬ ‫کردن‬ ‫مشخص‬ ‫مرحله‬ 2 : ‫تعیین‬ « ‫آزمون‬ ‫ی‬ ‫آماره‬ » ‫آن‬ ‫توزیع‬ ‫و‬ ‫مناسب‬ ‫مرحله‬ 5 : ‫رد‬ ‫ناحیه‬ ‫کردن‬ ‫مشخص‬ ‫مرحله‬ 5 : ‫کردن‬ ‫مشخص‬ P_Value ‫مرحله‬ 6 : ‫آن‬ ‫رد‬ ‫در‬ ‫شکست‬ ‫یا‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬
  • 62.
    ‫مقابل‬ ‫فرض‬ ‫و‬‫صفر‬ ‫فرض‬ 𝐻0 ‫نمون‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫است‬ ‫ادعایی‬ ‫نفی‬ ‫آن‬ ‫ه‬ ‫کنیم‬ ‫تایید‬ ‫را‬ ‫؛‬ ‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬ . = ‫یا‬ ≤ ‫یا‬ ≥ 𝐻𝑎 ‫اطالعات‬ ‫وسیله‬ ‫به‬ ‫داریم‬ ‫قصد‬ ‫که‬ ‫ادعایی‬ ‫خود‬ ‫کنیم‬ ‫تایید‬ ‫را‬ ‫آن‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ . ≠ ‫یا‬ < ‫یا‬ >
  • 63.
    ‫فرض‬ ‫و‬ ‫صفر‬‫فرض‬ ‫مقابل‬ • 𝐻0: 𝛽1 = 0 • 𝐻𝑎: 𝛽1 ≠ 0  ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫میزنیم‬ ‫حدس‬ X ‫و‬ Y ‫دارد‬ ‫وجود‬ ‫؛‬ ‫هستیم‬ ‫موضوع‬ ‫این‬ ‫تایید‬ ‫دنبال‬ ‫به‬ .  ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫که‬ ‫موضوع‬ ‫این‬ X ‫و‬ Y ‫میگذاریم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫ندارد‬ ‫وجود‬ ‫؛‬ ‫است‬ ‫آن‬ ‫رد‬ ‫ما‬ ‫مطلوب‬ .
  • 64.
    ‫آزمون‬ ‫ی‬ ‫آماره‬  ‫فرض‬‫با‬ ‫نمونه‬ ‫سازگاری‬ ‫در‬ ‫موثر‬ ‫عوامل‬ ‫صفر‬ : .A ‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫تفاوت‬ ( ‫آماره‬ ) ، ‫صفر‬ ‫فرض‬ ‫در‬ ‫انتظار‬ ‫مورد‬ ‫مقدار‬ ‫با‬ ( ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫جمعیت‬ ‫پارامتر‬ : ) • ‫آیا‬ ‫که‬ ‫کنیم‬ ‫تعیین‬ ‫باید‬ ‫صفر‬ ‫فرض‬ ‫آزمون‬ ‫برای‬ 𝛽1 ‫به‬ ، ‫است‬ ‫دور‬ ‫صفر‬ ‫از‬ ‫کافی‬ ‫ی‬ ‫اندازه‬ ‫مطمئن‬ ‫توانیم‬ ‫می‬ ‫که‬ ‫چنان‬ ‫آن‬ ‫که‬ ‫باشیم‬ 𝛽1 ‫غیرصفر‬ ‫است‬ ( ‫صفر‬ ‫فرض‬ ‫رد‬ ) ‫یا‬ ، ‫نه‬ . .B ‫خطای‬ ‫استاندارد‬ ‫آماره‬ : • ‫سوال‬ : ‫ی‬ ‫فاصله‬ ‫اندازه‬ ‫چه‬ 𝛽1 ‫صفر‬ ‫از‬ ، ‫شود؟‬ ‫رد‬ ‫صفر‬ ‫فرض‬ ‫تا‬ ‫است‬ ‫کافی‬ • ‫جواب‬ : ‫بستگی‬ ‫دقت‬ ‫به‬ 𝛽1 ‫دارد‬ :  ‫اگر‬ SE(𝛽1) ‫باشد‬ ‫کوچک‬ ، ‫کوچک‬ ‫نسبتا‬ ‫مقادیر‬ ‫حتی‬ 𝛽1 ‫که‬ ‫باشد‬ ‫این‬ ‫از‬ ‫حاکی‬ ‫است‬ ‫ممکن‬ ‫نیز‬ 𝛽1 ≠ 0  ‫اگر‬ SE(𝛽1) ‫باشد‬ ‫بزرگ‬ ، ‫باید‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ 𝛽1 ‫باشد‬ ‫بزرگ‬ ‫کامال‬ .
  • 65.
    ‫آزمون‬ ‫ی‬ ‫آماره‬  ‫آزمون‬‫ی‬ ‫آماره‬ : • ‫است‬ ‫صفر‬ ‫فرض‬ ‫با‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫سازگاری‬ ‫میزان‬ ‫ارزیابی‬ ‫برای‬ ‫معیاری‬ . • ‫ارزشی‬ ‫شود‬ ‫می‬ ‫محاسبه‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫از‬ ‫که‬ ‫است‬ ‫عددی‬ .  ‫آزمون‬ ‫ی‬ ‫آماره‬ t : : ‫فرمول‬ ‫آماره‬ − ‫پارامتر‬ ‫جمعیت‬ ‫با‬ ‫قبول‬ ‫فرض‬ ‫صفر‬ ‫خطای‬ ‫استاندارد‬ ‫آماره‬ • ‫برابر‬ ‫که‬ ‫است‬ ‫معیارهایی‬ ‫انحراف‬ ‫تعداد‬ 𝛽1 ‫از‬ (𝛽1 = 0) ‫دارد‬ ‫فاصله‬ :  𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 = 𝛽1− 𝛽1 SE(𝛽1)
  • 66.
    ‫آزمون‬ ‫ی‬ ‫آماره‬  ‫کند‬‫می‬ ‫مقایسه‬ ‫رود‬ ‫می‬ ‫انتظار‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫آنچه‬ ‫با‬ ‫را‬ ‫نمونه‬ ‫های‬ ‫داده‬ ، ‫آزمون‬ ‫آماره‬ . .A ‫صفر‬ ‫آزمون‬ ‫آماره‬ : ‫باشد‬ ‫داشته‬ ‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬ ، ‫براب‬ ‫آزمون‬ ‫آماره‬ ‫با‬ ‫ر‬ ‫است‬ ‫صفر‬ . .B ‫کوچک‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬ : ‫فرض‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬ ‫صفر‬ ‫یه‬ ‫ندارد‬ ‫وجود‬ . .C ‫بزرگ‬ ‫اندازه‬ ‫با‬ ‫آزمون‬ ‫آماره‬ : ‫نظ‬ ‫به‬ ‫بعید‬ ، ‫صفر‬ ‫فرض‬ ‫صحت‬ ‫تحت‬ ‫که‬ ‫دهد‬ ‫می‬ ‫ارائه‬ ‫را‬ ‫نتایجی‬ ، ‫نمونه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫می‬ ‫ر‬ ‫رسد‬ . • ‫باشد‬ ‫بزرگ‬ ‫آزمون‬ ‫آماره‬ ‫اندازه‬ ‫است‬ ‫مطلوب‬ ، ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ .
  • 67.
    ‫آزمون‬ ‫ی‬ ‫آماره‬‫توزیع‬ • ‫است‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫برداری‬ ‫نمونه‬ ‫توزیع‬ . • ‫مطابقت‬ ‫صفر‬ ‫فرض‬ ‫انتظارات‬ ‫با‬ ً‫ال‬‫کام‬ ‫نمونه‬ ‫از‬ ‫حاصل‬ ‫اطالعات‬ ‫اگر‬ ‫داشته‬ ‫بود‬ ‫خواهد‬ ‫جمعیت‬ ‫پارامتر‬ ‫با‬ ‫برابر‬ ‫نمونه‬ ‫آماره‬ ، ‫باشد‬ . • ‫ش‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬ ‫انس‬ ‫است‬ . • ‫ص‬ ‫فرض‬ ‫تحت‬ ‫بیشتری‬ ‫وقوع‬ ‫احتمال‬ ،‫پارامتر‬ ‫مقدار‬ ‫به‬ ‫نزدیک‬ ‫های‬ ‫داده‬ ‫فر‬ ‫دارند‬ . ، ‫دیگر‬ ‫طرف‬ ‫از‬ ‫احتمال‬ ، ‫دورتر‬ ‫فاصله‬ ‫در‬ ‫واقع‬ ‫های‬ ‫داده‬ ‫برای‬ ‫است‬ ‫کمتر‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫وقوع‬ .
  • 68.
    ‫آماره‬ ‫توزیع‬ ‫آزمون‬ ‫ی‬ ‫داریم‬‫انتظار‬ ‫آماره‬ t ‫توزیع‬ ‫دارای‬ t ‫آزادی‬ ‫درجه‬ ‫با‬ (𝑛 − 2) ‫باشد‬ .
  • 69.
    ‫آزمون‬ ‫ی‬ ‫دنباله‬  ‫ناحیه‬ ‫مبنای‬‫بر‬ ، ‫آزمون‬ ‫یک‬ ‫رد‬ ‫فرض‬ ‫جهت‬ ‫مقابل‬ ( 𝐻1 ) ‫میگردد‬ ‫تعیین‬ .  ‫دار‬ ‫جهت‬ ‫فرض‬ : ‫یک‬ ‫آزمون‬ _ ‫دنباله‬ • ‫میتواند‬ ‫آزمون‬ ، ‫فرض‬ ‫جهت‬ ‫به‬ ‫بسته‬ « ‫راست‬ _ ‫دنباله‬ » ‫ی‬ ‫ا‬ « ‫چپ‬ _ ‫دنباله‬ » ‫باشد‬ .  ‫فرض‬ ‫جهت‬ ‫بدون‬ : ‫آزمون‬ ‫دو‬ _ ‫دنباله‬  ‫فرض‬ (𝐻𝑎: 𝛽1 ≠ 0) ‫یک‬ ‫آن‬ ‫آزمون‬ ‫و‬ ‫است‬ ‫جهت‬ ‫بدون‬ ‫دو‬ ‫آزمون‬ _ ‫بود‬ ‫خواهد‬ ‫دنباله‬ .
  • 70.
    ‫معناداری‬ ‫سطح‬ 𝛼  ‫هنگام‬ ‫درباره‬ ‫تصمیم‬‫اتخاذ‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫ممکن‬ ‫پیش‬ ‫خطا‬ ‫نوع‬ ‫دو‬ ‫است‬ ‫آید‬ : .A ‫اول‬ ‫نوع‬ ‫خطای‬ : ‫فرض‬ ‫کردن‬ ‫رد‬ ، ‫صفر‬ ‫که‬ ‫حالی‬ ‫در‬ ‫است‬ ‫درست‬ . .B ‫نوع‬ ‫خطای‬ ‫دوم‬ : ‫رد‬ ‫نکردن‬ ‫که‬ ‫حالی‬ ‫در‬ ، ‫صفر‬ ‫فرض‬ ‫نادرست‬ ‫است‬ . • α = P(‫صفر‬ ‫فرض‬ ‫کردن‬ ‫رد‬ | ‫فرض‬ ‫باشد‬ ‫درست‬ ‫صفر‬ ) • 𝛽 = P(‫صفر‬ ‫فرض‬ ‫نکردن‬ ‫رد‬ | ‫فرض‬ ‫باشد‬ ‫نادرست‬ ‫صفر‬ )
  • 71.
    ‫معناداری‬ ‫سطح‬ 𝛼  𝛼 ‫مقدار‬ ‫که‬ ‫است‬‫اول‬ ‫نوع‬ ‫خطای‬ ‫در‬ ‫آن‬ ‫تحمل‬ ‫به‬ ‫حاضر‬ ‫فرض‬ ‫آزمون‬ ‫هستیم‬ . • ‫از‬ ، ‫معمول‬ ‫طور‬ ‫به‬ 𝛼 = 0.05 ‫شود‬ ‫می‬ ‫استفاده‬ ( ‫مانند‬ ‫سطوح‬ ‫سایر‬ ‫از‬ ‫است‬ ‫ممکن‬ ‫اگرچه‬ 𝛼 = 0.01 ‫شود‬ ‫استفاده‬ .) ‫بدان‬ ‫این‬ ‫مایلیم‬ ‫ما‬ ‫که‬ ‫است‬ ‫معنی‬ 0.05 ‫که‬ ‫پذیریم‬ ‫می‬ ‫را‬ ‫واقعیت‬ ‫این‬ ‫یعنی‬ ، ‫کنیم‬ ‫تحمل‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫از‬ 1 ‫مورد‬ ‫از‬ ‫هر‬ 20 ، ‫نمونه‬ ‫باشد‬ ‫درست‬ ‫اگر‬ ‫حتی‬ ‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬ .  𝛼 ، ‫آزمون‬ ‫بودن‬ ‫دار‬ ‫معنی‬ ‫سطح‬ ، ‫یک‬ ‫بودن‬ ‫دار‬ ‫معنی‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬ ‫که‬ ‫است‬ ‫آستانه‬ ‫مقدار‬ ‫آماره‬ ‫آزمون‬ ‫شود‬ ‫می‬ ‫استفاده‬ . • ‫آماری‬ ‫معنادار‬ : ‫زیا‬ ‫احتمال‬ ‫به‬ ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫و‬ ‫باشد‬ ‫بوده‬ ‫اندک‬ ‫بسیار‬ ‫تصادفی‬ ‫صورت‬ ‫به‬ ‫اتفاقی‬ ‫وقوع‬ ‫احتمال‬ ‫گاه‬ ‫هر‬ ‫دارای‬ ‫د‬ ‫گویند‬ ‫معنادار‬ ‫آماری‬ ‫لحاظ‬ ‫به‬ ‫را‬ ‫آن‬ ،‫است‬‫بوده‬ ‫شانس‬ ‫از‬ ‫غیر‬ ‫دلیلی‬ . • ‫ندارد‬ ‫وجود‬ ‫معناداری‬ ‫تفاوت‬ ‫یعنی‬ ‫صفر‬ ‫فرض‬ .
  • 72.
    ‫صفر‬ ‫فرض‬ ‫رد‬‫عدم‬ ‫یا‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬ ‫رد‬ ‫ی‬ ‫ناحیه‬ ‫روش‬ ‫روش‬ P_Value
  • 73.
    ‫ناحیه‬ ‫رد‬ ‫ی‬  ‫برای‬ ‫رد‬‫ناحیه‬ 𝐻0 ‫می‬ ‫نظر‬ ‫به‬ ‫بعید‬ ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫مقادیر‬ ‫شامل‬ ، ‫رسند‬ .  ‫مقادیر‬ ‫استفاده‬ ‫با‬ ‫میتوان‬ ‫را‬ ‫بحرانی‬ ‫مقدار‬ ‫از‬ 𝛼 ‫مربوطه‬ ‫توزیع‬ ‫جدول‬ ‫از‬ ، ( ‫توزیع‬ ‫اینجا‬ ‫در‬ t ‫آزادی‬ ‫درجه‬ ‫با‬ (𝑛 − 2) ) ‫آورد‬ ‫دست‬ ‫به‬ .
  • 74.
    ‫صفر‬ ‫فرض‬ ‫رد‬‫عدم‬ ‫یا‬ ‫رد‬ ‫برای‬ ‫گیری‬ ‫تصمیم‬ ‫رد‬ ‫ی‬ ‫ناحیه‬ ‫روش‬ ‫روش‬ P_Value
  • 75.
    P_Value • P_Value : ‫آنکه‬ ‫احتمال‬ ‫از‬‫است‬ ‫عبارت‬ ‫صفر‬ ‫فرض‬ ‫تحت‬ ( 𝛽1 = 0 ) ‫آماره‬ ، ‫شده‬ ‫مشاهده‬ ‫نتیجه‬ ‫برابر‬ ، ‫رد‬ ‫ناحیه‬ ‫جهت‬ ‫در‬ ‫آزمون‬ ‫یا‬ ‫از‬ ‫تر‬ ‫غیرمعمول‬ ‫حتی‬ ‫آن‬ ‫باشد‬ . • two_tailed → P_Value = P((t ≥ |𝑡𝑐|)| 𝛽1 = 0 ) • left_tailed → P_Value = P((t ≤ −𝑡𝑐)| 𝛽1 = 0 ) • right_tailed → P_Value = P((t ≥ 𝑡𝑐)| 𝛽1 = 0 ) • P_Value ‫صفر‬ ‫فرض‬ ‫تحت‬ ‫که‬ ‫میدهد‬ ‫نشان‬ ‫کوچک‬ ( 𝛽1 = 0 ) ، ‫چنین‬ ‫مشاهده‬ ‫ای‬ ‫نتیجه‬ ( 𝛽1 ) ‫دلیل‬ ‫به‬ ‫شانس‬ ، ‫است‬ ‫بعید‬ . • ‫شانس‬ ‫دلیل‬ ‫به‬ ‫شده‬ ‫مشاهده‬ ‫تفاوت‬ ‫که‬ ‫دارد‬ ‫مطابقت‬ ‫ایده‬ ‫این‬ ‫با‬ ‫صفر‬ ‫فرض‬ ‫است‬ . • ‫اگر‬ P_Value ‫باشد‬ ‫کوچک‬ ‫کافی‬ ‫اندازه‬ ‫به‬ ، ‫کنیم‬ ‫می‬ ‫رد‬ ‫را‬ ‫صفر‬ ‫فرض‬ .
  • 76.
    P_Value  ‫حد‬ P_Value ‫را‬ ‫صفر‬ ‫فرض‬‫رد‬ ‫برای‬ ‫معناداری‬ ‫سطح‬ ‫برابر‬ 𝛼 ‫میگیریم‬ ‫نظر‬ ‫در‬ : .A ‫اگر‬ P − Value ≥ α ‫گزینه‬ ‫باشد‬ 𝐻0 ‫بگیرید‬ ‫نتیجه‬ ‫را‬ : P − Value ‫و‬ ‫است‬ ‫داده‬ ‫رخ‬ ‫اتفاقی‬ ‫طور‬ ‫به‬ ‫نتیجه‬ ‫که‬ ‫دارد‬ ‫این‬ ‫بر‬ ‫داللت‬ ‫بزرگ‬ ‫ندارد‬ ‫وجود‬ ‫صفر‬ ‫فرضیه‬ ‫در‬ ‫تردید‬ ‫برای‬ ‫دلیلی‬ ‫هیچ‬ . .B ‫اگر‬ P − Value ≤ α ‫گزینه‬ ‫باشد‬ 𝐻1 ‫بگیرید‬ ‫نتیجه‬ ‫را‬ : P − Value ‫کوچک‬ ‫اتفاق‬ ‫تصادفی‬ ‫طور‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫نتیجه‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫باشد‬ ‫نیفتاده‬ ‫و‬ ‫گیرد‬ ‫می‬ ‫بر‬ ‫در‬ ‫را‬ ‫خاصی‬ ‫علت‬ ‫عوض‬ ‫در‬ . « ‫رد‬ ‫ناحیه‬ ‫روش‬ » ‫و‬ « ‫روش‬ p − value » ‫می‬ ‫منجر‬ ‫تصمیم‬ ‫یک‬ ‫به‬ ‫همیشه‬ ‫شوند‬ . ‫چرا؟‬
  • 77.
    ‫تصمیم‬ ‫خطای‬ ‫گیری‬ ‫صفر‬ ‫فرض‬‫ما‬ ‫وقتی‬ ‫به‬ ‫را‬ ‫نفع‬ ‫جایگزین‬ ‫فرض‬ (𝛽1 ≠ 0) ‫رد‬ ، ‫میکنیم‬ ‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬ ‫سه‬ ‫از‬ ‫یک‬ ‫هر‬ ‫است‬ : ‫صفر‬ ‫فرض‬ ‫ما‬ ‫وقتی‬ (𝛽1 = 0) ‫را‬ ‫رد‬ ‫نکنیم‬ ، ‫سه‬ ‫از‬ ‫یک‬ ‫هر‬ ‫پذیر‬ ‫امکان‬ ‫زیر‬ ‫واقعیت‬ ‫است‬ : ‫خطای‬ ‫نوع‬ I ‫است‬ ‫داده‬ ‫رخ‬ . ‫واقعیت‬ ‫در‬ ‫یعنی‬ (𝛽1 = 0) ، ‫است‬ ‫اما‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫داریم‬ ‫غیرمعمول‬ ‫نمونه‬ ‫یک‬ ‫ما‬ (𝛽1 ≠ 0) ‫است‬ . ‫خطای‬ ‫نوع‬ II ‫است‬ ‫داده‬ ‫رخ‬ . ‫یعنی‬ ‫واقعیت‬ ‫در‬ (𝛽1 ≠ 0) ‫است‬ ، ‫اما‬ ‫ما‬ ‫نمونه‬ ‫های‬ ‫داده‬ ‫شواهد‬ ‫گیری‬ ‫نتیجه‬ ‫برای‬ ‫کافی‬ ‫ارائه‬ ‫آن‬ ‫نک‬ ‫رده‬ ‫اند‬ . ‫رابطه‬ ‫بین‬ X ‫و‬ Y ، ‫خطی‬ ‫درستی‬ ‫به‬ ‫است‬ . ‫زیادی‬ ‫رابطه‬ ‫واقع‬ ‫در‬ ‫بین‬ X ‫و‬ Y ‫ندارد‬ ‫وجود‬ . ‫ب‬ ‫منحنی‬ ‫تابع‬ ‫یک‬ ‫اما‬ ، ‫است‬ ‫متناسب‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خطی‬ ‫تابع‬ ‫یک‬ ‫داده‬ ‫ا‬ ‫بود‬ ‫خواهد‬ ‫تر‬ ‫متناسب‬ ‫ها‬ . ‫بین‬ X ‫و‬ Y ، ‫دارد‬ ‫وجود‬ ‫رابطه‬ ‫اما‬ ‫نیست‬ ‫خطی‬ .
  • 78.
     ‫مثال‬ : Sales = 𝛽0+ 𝛽1 ∗ TV + 𝜖 o 𝐻0 : 𝛽1 = 0 o 𝐻𝑎: 𝛽1 ≠ 0 • 𝑡 = 𝛽1− 𝛽1 SE(𝛽1) = 0.0475 − 0 0.0027 = 17.59 • ‫معموال‬ ‫حد‬ P_Value ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ 1 % ‫یا‬ 5 % ‫در‬ ‫میشود‬ ‫گرفته‬ ‫نظر‬ . ‫وقتی‬ n = 30 ، ‫باشد‬ ‫آماره‬ 𝑡 ‫با‬ ‫مطابق‬ ‫تقریبا‬ ‫ترتیب‬ ‫به‬ ، ‫آنها‬ 2.75 ‫و‬ 2 ‫خواهد‬ ‫بود‬ . • ‫رد‬ ‫صفر‬ ‫فرض‬ ‫میشود‬ .
  • 79.
    ‫ضرایب‬ ‫روی‬ ‫بر‬‫فرض‬ ‫آزمون‬  ‫روش‬ ‫آزمون‬ F ‫واریانس‬ ‫تحلیل‬ ( ANOVA ) ‫زیر‬ ‫سوال‬ ‫به‬ ‫پاسخ‬ ‫برای‬ :  ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫بین‬ ‫خطی‬ ‫ارتباط‬ ‫آیا‬ X ‫پاسخ‬ ‫و‬ Y ‫؟‬ ‫دارد‬ ‫وجود‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫در‬  ‫آیا‬ 𝛽1 ≠ 0 ‫است‬ ‫؟‬ • ‫فرض‬ ‫صفر‬ ‫فرض‬ ‫و‬ ‫مقابل‬ : 𝐻0 ∶ 𝛽1 = 0 𝐻𝑎 ∶ 𝛽1 ≠ 0
  • 80.
    ‫آزمون‬ ‫ی‬ ‫آماره‬ • 𝑦 : ‫شده‬‫برآورد‬ ‫رگرسیون‬ ‫خط‬ • 𝑦 : ‫خط‬ ‫برآورد‬ ‫رگرسیون‬ ‫در‬ ‫شده‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫که‬ ‫حالتی‬ X ‫و‬ Y ‫نداشته‬ ‫وجود‬ ‫باشد‬  ‫اگر‬ ‫بین‬ X ‫و‬ Y ‫پس‬ ، ‫باشد‬ ‫داشته‬ ‫وجود‬ ‫خطی‬ ‫رابطه‬ « ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬ » ‫از‬ ‫باید‬ « ‫رابطه‬ ‫عدم‬ ‫خط‬ » ‫دور‬ ‫باشد‬ ‫داشته‬ .  ‫این‬ ‫کمی‬ ‫سنجش‬ ‫برای‬ ‫راهی‬ ‫به‬ ‫دور‬ ‫داریم‬ ‫نیاز‬ .
  • 81.
    ‫آزمون‬ ‫ی‬ ‫آماره‬ .I ‫مربعات‬‫مجموع‬ : • ‫مجموع‬ ‫کل‬ ‫مربعات‬ : ‫میزان‬ ‫پاسخهای‬ ‫پراکندگی‬ ‫مشاهده‬ ‫می‬ ‫را‬ ‫شده‬ ‫سن‬ ‫جد‬ .  SST = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2 • ‫رگرسیون‬ ‫مربعات‬ ‫مجموع‬ : ‫میزان‬ ‫فاصله‬ « ‫رگرسیون‬ ‫خط‬ ‫برآورد‬ ‫ش‬ ‫ده‬ » ‫از‬ « ‫رابطه‬ ‫عدم‬ ‫خط‬ » ‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬ .  SSR = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2 • ‫خطا‬ ‫مربعات‬ ‫مجموع‬ : ‫اطراف‬ ‫در‬ ‫نقاط‬ ‫پراکندگی‬ « ‫برآو‬ ‫رگرسیون‬ ‫خط‬ ‫رد‬ ‫شده‬ » ‫میکند‬ ‫کمیت‬ ‫را‬ .  SSE = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦𝑖)2
  • 82.
    ‫آزمون‬ ‫ی‬ ‫آماره‬ (𝑦𝑖−𝑦)= (𝑦𝑖−𝑦𝑖) + (𝑦𝑖 − 𝑦) 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 + 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2 Proof : 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)(𝑦𝑖 − 𝑦) = 0 SST = SSR + SSE  ‫در‬ ‫کل‬ ‫تغییرات‬ Y ( SST ) ‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬ : .A ‫در‬ ‫تغییرات‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬ X ‫است‬ ( SSR .) .B ‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخش‬ ‫یک‬ ( SSE .) • ‫اگر‬ SSR ‫جزء‬ ‫یک‬ « ‫بزرگ‬ » ‫از‬ SST ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ، ‫باشد‬ ‫بین‬ X ‫و‬ Y ‫دارد‬ ‫وجود‬ ‫خطی‬ ‫ارتباط‬ .
  • 83.
    ‫آزمون‬ ‫ی‬ ‫آماره‬ .II ‫مربعات‬‫میانگین‬ : • ‫واریانس‬ ‫برآورد‬ ‫است‬ ‫آزادی‬ ‫درجه‬ ‫آن‬ ‫در‬ ‫که‬ ، ‫برای‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫برآورد‬ ‫و‬ ‫محاسبه‬ . ‫مربعات‬ ‫میانگین‬ = ‫مربعات‬ ‫مجموع‬ ‫آزادی‬ ‫درجه‬
  • 84.
    ‫آزمون‬ ‫ی‬ ‫آماره‬ .III ‫مقدار‬ ‫مربعات‬‫میانگین‬ ‫انتظار‬ ‫مورد‬ :  𝐸 𝑀𝑆𝐸 = 𝜎2  𝐸 𝑀𝑆𝑅 = 𝜎2 + 𝛽1 2 𝑖=1 𝑛 (𝑋𝑖 − 𝑋)2  Proof : • 𝑦𝑖 − 𝑦 = 𝛽1(𝑥𝑖 − 𝑥) • 𝑦𝑖 − 𝑦 2 = 𝛽1 2 𝑥𝑖 − 𝑥 2 • 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2 = 𝛽1 2 𝑖=1 𝑛 (𝑥𝑖 − 𝑥)2 • E 𝑖=1 𝑛 𝑦𝑖 − 𝑦 2 = E MSR = E 𝛽1 2 𝑖=1 𝑛 𝑥𝑖 − 𝑥 2 = 𝑉𝑎𝑟 𝛽1 + E 𝛽1 2 𝑖=1 𝑛 𝑥𝑖 − 𝑥 2 = • 𝜎2 𝑖=1 𝑛 𝑥𝑖−𝑥 2 + 𝛽1 2 𝑖=1 𝑛 𝑥𝑖 − 𝑥 2 = 𝜎2 + 𝛽1 2 𝑖=1 𝑛 𝑥𝑖 − 𝑥 2
  • 85.
    ‫آزمون‬ ‫ی‬ ‫آماره‬  ‫نسبت‬‫از‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 ‫آزمودن‬ ‫برای‬ (𝐻0 ∶ 𝛽1 = 0) ‫برابر‬ ‫در‬ (𝐻𝑎 ∶ 𝛽1 ≠ 0) ‫کنیم‬ ‫می‬ ‫استفاده‬ :  ‫اگر‬ 𝛽1 = 0 ‫داریم‬ ‫انتظار‬ ، ‫باشد‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 = 1 ‫باشد‬ .  ‫اگر‬ 𝛽1 ≠ 0 ‫داریم‬ ‫انتظار‬ ، ‫باشد‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 > 1 ‫باشد‬ . • ‫توجه‬ : ‫چون‬ 𝛽1 ‫در‬ 𝐸 𝑀𝑆𝑅 ‫از‬ ‫نمیتوانیم‬ ، ‫است‬ ‫دو‬ ‫توان‬ ‫دارای‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 ‫آزمودن‬ ‫برای‬ (𝐻0 ∶ 𝛽1 = 0) ‫برابر‬ ‫در‬ (𝐻𝑎 ∶ 𝛽1 > 0) ‫یا‬ 𝐻𝑎 ∶ 𝛽1 < 0 ‫کنیم‬ ‫استفاده‬ .
  • 86.
    ‫آزمون‬ ‫ی‬ ‫آماره‬‫توزیع‬  ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫نسبت‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 ‫توزیع‬ ‫دارای‬ F ‫آزادی‬ ‫درجه‬ ‫با‬ ‫صورت‬ ‫برابر‬ 1 ‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬ (𝑛 − 2) ‫است‬ . Fstatistic = 𝑀𝑆𝑅 𝑀𝑆𝐸 • ‫را‬ ‫آماره‬ ‫این‬ ‫بر‬ ‫مبتنی‬ ‫آزمون‬ ‫آزمون‬ F ‫گویند‬ ‫واریانس‬ ‫تحلیل‬ .
  • 87.
    ‫آزمون‬ ‫ی‬ ‫دنباله‬ ‫صورت‬‫به‬ ‫ما‬ ‫آزمون‬ ‫برای‬ ‫مقابل‬ ‫فرض‬ (𝐻𝑎 ∶ 𝐹𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 > 1) ‫بود‬ ‫خواهد‬ .
  • 88.
    ‫مقایسه‬ F_test ‫با‬ t_test 𝐻0 ∶ 𝛽1= 0 𝐻𝑎 ∶ 𝛽1 ≠ 0  ‫آزمون‬ F ‫دنباله‬ ‫یک‬  ‫آزمون‬ t ‫دنباله‬ ‫دو‬  ‫سوال‬ : ‫چه‬ ‫زمانی‬ ‫آزمون‬ ‫از‬ F ‫و‬ ‫از‬ ‫زمانی‬ ‫چه‬ ‫آزمون‬ t ‫کنیم؟‬ ‫می‬ ‫استفاده‬ • ‫آزمون‬ F ‫فقط‬ ‫آزمایش‬ ‫برای‬ (𝛽1 ≠ 0) ‫مناسب‬ ‫است‬ . • ‫از‬ ‫آزمون‬ 𝑡 ‫برای‬ ‫شیب‬ ‫بودن‬ ‫مثبت‬ ‫تست‬ (𝛽1 > 0) ‫شیب‬ ‫بودن‬ ‫منفی‬ ‫یا‬ (𝛽1 < 0) ‫شود‬ ‫می‬ ‫استفاده‬ ‫نیز‬ .
  • 89.
    ‫شرایط‬ ‫استنباط‬ ‫آماری‬  ‫ی‬ ‫چهارگانه‬ ‫مفروضات‬ « ‫رابطه‬‫بودن‬ ‫خطی‬ » ، « ‫خطا‬ ‫استقالل‬ » ، « ‫خطا‬ ‫توزیع‬ ‫بودن‬ ‫نرمال‬ » ‫و‬ « ‫برابر‬ ‫واریانس‬ » ‫باید‬ ‫آزمون‬ ‫های‬‫روش‬ ‫از‬ ‫بتوان‬ ‫تا‬ ‫شوند‬ ‫رعایت‬ ‫و‬ ‫فرضیه‬ ‫اطمینان‬ ‫فاصله‬ ‫های‬‫فرمول‬ ‫برای‬ 𝛽0 ‫و‬ 𝛽1 ‫استفاده‬ ‫کرد‬ .  ‫خطا‬ ‫عبارات‬ ‫اگر‬ ( ‫ها‬ ‫پاسخ‬ ‫نتیجه‬ ‫در‬ ‫و‬ ) ً‫ا‬‫تقریب‬ ‫نرمال‬ ‫نیست‬ ‫بزرگی‬ ‫مشکل‬ ،‫باشند‬ . ‫د‬ ‫بزرگی‬ ‫نمونه‬ ‫اگر‬ ،‫ارید‬ ‫عبارات‬ ‫حالت‬ ‫از‬ ‫حدودی‬ ‫تا‬ ‫تواند‬ ‫می‬ ‫حتی‬ ‫خطا‬ ‫نرمال‬ ‫منحرف‬ ‫شوند‬ .
  • 90.
    ‫مدل‬ ‫دقت‬ ‫ارزیابی‬ • ‫است‬‫خوب‬ ‫چقدر‬ ‫ما‬ ‫تخمینی‬ ‫مدل‬ ‫برازش‬ ‫که‬ ‫بدانیم‬ ‫مایلیم‬ ،‫شد‬ ‫کامل‬ ‫رگرسیون‬ ‫مدل‬ ‫یک‬ ‫برآورد‬ ‫که‬ ‫هنگامی‬ . ‫دیگ‬ ‫عبارت‬ ‫به‬ ‫مایلیم‬ ،‫ر‬ ‫داده‬ ‫با‬ ‫چقدر‬ ‫تخمینی‬ ‫خط‬ ‫که‬ ‫بدانیم‬ ‫ها‬ / ‫مطابقت‬ ‫شده‬ ‫مشاهده‬ ‫های‬ ‫نمونه‬ ‫دارد‬ . • « ‫میزان‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬ ‫ها‬ » ‫نشان‬ ‫دهنده‬ « ‫میزان‬ ‫بینی‬ ‫پیش‬ ‫دقت‬ ‫مدل‬ » ‫باشد‬ ‫می‬ . • ‫بر‬ ‫است‬ ‫تر‬ ‫سخت‬ ‫کمی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫دقت‬ ‫دادن‬ ‫نشان‬ ، ‫بندی‬ ‫طبقه‬ ‫خالف‬ . • ‫اکنون‬ ‫ریاضی‬ ‫مدل‬ ‫یک‬ ‫که‬ ( ‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫خط‬ ) ‫می‬ ،‫کنیم‬ ‫استفاده‬ ‫بینی‬‫پیش‬ ‫برای‬ ‫آن‬ ‫از‬ ‫توانیم‬‫می‬ ‫که‬ ‫داریم‬ ‫خواهیم‬ ‫بدانیم‬ : ‫این‬ ‫توانیم‬‫می‬ ‫چگونه‬ ‫و‬ ‫هستند‬ ‫خوب‬ ‫چقدر‬ ‫ها‬‫بینی‬‫پیش‬ ‫گیری‬‫اندازه‬ ‫را‬ ‫مدل‬ ‫بینی‬ ‫پیش‬ ‫خطای‬ ‫کنیم‬ ‫؟‬ • ‫دهد‬ ‫می‬ ‫انجام‬ ‫اصلی‬ ‫های‬ ‫داده‬ ‫با‬ ‫مقایسه‬ ‫در‬ ‫مدل‬ ‫که‬ ‫است‬ ‫اشتباهی‬ ‫خطا‬ .
  • 91.
    ‫مدل‬ ‫دقت‬ ‫ارزیابی‬  ‫ابزارهای‬ ‫میزان‬‫سنجش‬ ‫ها‬ ‫داده‬ ‫با‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫تناسب‬ : .A ‫خطای‬ ‫مانده‬ ‫باقی‬ ‫استاندارد‬ ( RSE ) .B ، ‫تعیین‬ ‫ضریب‬ 𝑅2 • ‫استفاده‬ ‫تناسب‬ ‫معیار‬ ‫کدام‬ ‫اینکه‬ ‫شود‬ ‫کند‬ ‫می‬ ‫مشخص‬ ‫را‬ ‫مدل‬ ‫خطای‬ ‫محاسبه‬ ‫نحوه‬ ، .
  • 92.
    ‫خطای‬ ‫مانده‬ ‫باقی‬ ‫استاندارد‬  ‫خطای‬ ‫مانده‬‫باقی‬ ‫استاندارد‬ ( RSE ) : Y = 𝛽0 + 𝛽1X + 𝜖 • ‫اگر‬ ‫حتی‬ 𝛽0 ‫و‬ 𝛽1 ‫نمیتوان‬ ، ‫باشند‬ ‫مشخص‬ Y ‫از‬ ‫دقیق‬ ‫صورت‬ ‫به‬ ‫را‬ X ‫کرد‬ ‫بینی‬ ‫پیش‬ .  ‫انحراف‬ ‫از‬ ‫برآوردی‬ ‫معیار‬ 𝜖 ‫است‬ .  ‫رگرسیون‬ ‫خط‬ ‫از‬ ‫پاسخ‬ ‫که‬ ‫متوسطی‬ ‫مقدار‬ ‫منحرف‬ ‫جمعیت‬ ‫میکند‬ ‫توصیف‬ ‫را‬ ‫شود‬ ‫می‬ . • RSE = 𝜖1 2 +𝜖2 2 +⋯+𝜖𝑛 2 𝑛−2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 𝑛−2
  • 93.
    ‫خطای‬ ‫مانده‬ ‫باقی‬ ‫استاندارد‬  ‫مقدار‬‫چرا‬ RSE ‫؟‬ ‫است‬ ‫مهم‬ ‫ما‬ ‫برای‬ • ‫برای‬ ‫پیش‬ ‫دقت‬ ‫میزان‬ ‫مورد‬ ‫در‬ ‫ای‬ ‫ایده‬ ‫آوردن‬ ‫دست‬ ‫به‬ ‫اهمیت‬ ‫آینده‬ ‫های‬ ‫بینی‬ ‫دارد‬ . • ‫اندازه‬ ‫اگر‬ RSE ‫باشد‬ ‫بزرگ‬ ، ‫حتی‬ ‫اگر‬ 𝛽0 ‫و‬ 𝛽1 ‫نمیتوان‬ ، ‫باشد‬ ‫مشخص‬ 𝑌 ‫را‬ ‫از‬ ‫خوبی‬ ‫دقت‬ ‫با‬ 𝑋 ‫کرد‬ ‫بینی‬ ‫پیش‬ .
  • 94.
    ‫خطای‬ ‫مانده‬ ‫باقی‬ ‫استاندارد‬  RSE ‫میشود‬‫گرفته‬ ‫نظر‬ ‫در‬ ‫ها‬ ‫داده‬ ‫با‬ ‫مدل‬ ‫تناسب‬ ‫عدم‬ ‫برای‬ ‫معیاری‬ ‫عنوان‬ ‫به‬ .  ‫شود‬ ‫تلقی‬ ‫بزرگ‬ ، ‫قبول‬ ‫قابل‬ ‫غیر‬ ‫طور‬ ‫به‬ ‫آن‬ ‫مقدار‬ ‫اگر‬ ‫از‬ ‫استفاده‬ ‫خطی‬ ‫رگرسیون‬ ‫از‬ ‫غیر‬ ‫مدلی‬ ‫کنید‬ .  ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬ ‫برای‬ ‫تفسیر‬ RSE ، ‫نیاز‬ ‫ها‬ ‫مقیاس‬ ‫و‬ ‫ها‬ ‫اندازه‬ ‫کلی‬ ‫شناخت‬ ‫به‬ ‫داریم‬ .
  • 95.
    ‫ضریب‬ ‫تعیین‬  ‫تعیین‬ ‫ضریب‬ ، 𝑅2 :  ‫اول‬ ‫موقعیت‬ : ‫بین‬‫ضعیف‬ ‫خطی‬ ‫رابطه‬ X ‫و‬ Y  ‫شیب‬ « ‫خط‬ ‫برآورد‬ ‫رگرسیون‬ ‫شده‬ » ‫پ‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫این‬ ، ‫نیست‬ ‫تند‬ ‫خیلی‬ ‫بینی‬ ‫یش‬ ‫کننده‬ 𝑥 ، ‫پاسخ‬ ‫متوسط‬ ‫در‬ ‫چندانی‬ ‫تغییر‬ 𝑦 ‫شود‬ ‫نمی‬ ‫ایجاد‬ .  ‫ذاتی‬ ‫خطای‬ ‫بزرگ‬ ، ‫یعنی‬ ߪ 2 = 𝑉𝑎𝑟(𝜖) ‫بزرگ‬ ‫اندازه‬ ‫با‬  ‫دوم‬ ‫موقعیت‬ : ‫بین‬ ‫قوی‬ ‫خطی‬ ‫رابطه‬ X ‫و‬ Y  ‫شیب‬ ‫پی‬ ‫افزایش‬ ‫با‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫و‬ ‫است‬ ‫شدیدتر‬ ‫بسیار‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫خط‬ ‫بینی‬ ‫ش‬ ‫کننده‬ 𝑥 ‫تغییر‬ ، ً‫ا‬‫نسبت‬ ‫پاسخ‬ ‫در‬ ‫توجهی‬ ‫قابل‬ 𝑦 ‫دارد‬ ‫وجود‬ .  ‫ذاتی‬ ‫خطای‬ ‫کوچک‬ ( ‫خط‬ ، ‫داده‬ ‫نقاط‬ 𝑦 ‫آغوش‬ ‫در‬ ‫را‬ ‫می‬ ‫گیرند‬ .) • ‫بتواند‬ ‫که‬ ‫هستیم‬ ‫معیاری‬ ‫دنبال‬ ‫به‬ ، ‫متفاوت‬ ‫بسیار‬ ‫موقعیت‬ ‫دو‬ ‫این‬ ‫بین‬ ‫تمایز‬ ‫قائل‬ ‫شود‬ .
  • 96.
    ‫ضریب‬ ‫تعیین‬  𝑦 : « ‫شده‬ ‫برآورد‬ ‫رگرسیون‬‫خط‬ » • 𝑦 = 𝛽0 + 𝛽1𝑥  𝑦 : « ‫عدم‬ ‫خط‬ ‫رابطه‬ » ، ‫دهنده‬ ‫نشان‬ « ‫برآورد‬ ‫رگرسیون‬ ‫خط‬ ‫شده‬ » ‫در‬ ‫ک‬ ‫حالتی‬ ‫ه‬ ‫بین‬ ‫ای‬ ‫رابطه‬ X ‫و‬ Y ‫نداشته‬ ‫وجود‬ ‫باشد‬ • 𝑦 = 𝑖=1 𝑛 𝑦𝑖 𝑛
  • 97.
    ‫ضریب‬ ‫تعیین‬ (𝑦𝑖−𝑦) = (𝑦𝑖−𝑦𝑖)+ (𝑦𝑖 − 𝑦) 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 + 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2 SST = SSE + SSR • ‫در‬ ‫تغییر‬ y ( ‫یعنی‬ 𝑦𝑖 − 𝑦 ) ‫کرد‬ ‫تقسیم‬ ‫بخش‬ ‫دو‬ ‫به‬ ‫میتوان‬ ‫را‬ :  𝑦𝑖 − 𝑦 : ‫متغیرمستقل‬ ‫با‬ ‫که‬ ‫بخشی‬ x ‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬ ( ‫قابل‬ ‫بخش‬ ‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬ .)  𝑦𝑖 − 𝑦𝑖 : ‫است‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫که‬ ‫بخشی‬ ( ‫غیرقابل‬ ‫بخش‬ ‫مدل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫توضیح‬ .) • 𝑅2 ‫تغییرات‬ ‫از‬ ‫کسری‬ Y ‫که‬ ‫است‬ ‫توسط‬ ‫داده‬ ‫توضیح‬ ‫مدل‬ ‫میشود‬ ( ‫با‬ ‫متغیرمستقل‬ ‫است‬ ‫بینی‬ ‫پیش‬ ‫قابل‬ : ) 𝑅2 = ‫توضیح‬ ‫قابل‬ ‫تغییرات‬ ‫کل‬ ‫تغییرات‬ 𝑅2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 = 1 − 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 𝑖=1 𝑛 (𝑦𝑖−𝑦)2
  • 98.
    ‫ضریب‬ ‫تعیین‬ • 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 : SST •𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 : SSE  R2 = 𝑆𝑆𝑅 𝑆𝑆𝑇 = SST −SSE SST = 1 − SSE SST
  • 99.
    ‫تعیین‬ ‫ضریب‬ 0 ≤R2 ≤ 1 • R2 ‫بین‬ ‫مقداری‬ ‫همیشه‬ 0 ‫تا‬ 1 ، ‫دارد‬ ‫از‬ ‫مستقل‬ ‫آن‬ ‫تفسیر‬ ‫که‬ ‫معنی‬ ‫این‬ ‫به‬ ‫داده‬ ‫معیار‬ ‫هاست‬ .  R2 = 1 : ‫این‬ ‫به‬ ‫که‬ ‫معناست‬ ‫هیچ‬ ‫در‬ ‫خطایی‬ ‫ندارد‬ ‫وجود‬ ‫رگرسیون‬ ‫خط‬ ( 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 = 0 ) .  R2 = 0 : ‫به‬ ‫که‬ ‫معناست‬ ‫این‬ ‫بهتر‬ ‫رگرسیون‬ ‫خط‬ ‫​نیست‬​ ‫متوسط‬ ‫اندازه‬ ‫از‬ ( 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2 = 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 ) ، ‫از‬ ‫یعنی‬ ‫اطالعات‬ ‫استفاده‬ ‫متغیرمستقل‬ ‫نمی‬ ‫شود‬ .  R2 ‫بزرگ‬ ( ‫یک‬ ‫به‬ ‫نزدیک‬ ) : ‫تغییرات‬ ‫از‬ ‫زیادی‬ ‫بخش‬ ‫که‬ ‫میدهد‬ ‫نشان‬ Y ‫میشود‬ ‫داده‬ ‫توضیح‬ ‫مدل‬ ‫توسط‬ ( ‫از‬ ‫استفاده‬ ‫با‬ X ‫بخش‬ ‫میتوان‬ ‫رفتار‬ ‫از‬ ‫زیادی‬ Y ‫کرد‬ ‫بینی‬ ‫پیش‬ ‫را‬ .)  R2 ‫کوچک‬ ( ‫صفر‬ ‫به‬ ‫نزدیک‬ ) : ‫تغییرات‬ ‫نمیتواند‬ ‫رگرسیون‬ ‫مدل‬ ‫که‬ ‫میدهد‬ ‫نشان‬ Y ‫دهد‬ ‫توضیح‬ ‫خوبی‬ ‫به‬ ‫را‬ ( ‫مدل‬ ‫بینی‬ ‫پیش‬ ‫به‬ ‫توان‬ ‫نمی‬ ‫کرد‬ ‫اعتماد‬ ) ‫؛‬ ‫مدل‬ ‫است‬ ‫ممکن‬ ‫اشتباه‬ ‫خطای‬ ‫یا‬ ‫باشد‬ ‫ذاتی‬ 𝜎2 = Var(𝜖) ‫بزرگ‬ ، ‫باشد‬ ‫دو‬ ‫هر‬ ‫یا‬ . • ‫نیست‬ ‫معلولی‬ ‫و‬ ‫علت‬ ‫رابطه‬ ‫وجود‬ ‫ضامن‬ ‫باال‬ ‫تعیین‬ ‫ضریب‬ .
  • 100.
    ‫ضریب‬ ‫تعیین‬  ‫است‬ ‫ممکن‬ ‫آیا‬ R2 ‫منفی‬ ‫باشد؟‬ ( 𝑖=1 𝑛 (𝑦𝑖−𝑦𝑖)2> 𝑖=1 𝑛 (𝑦𝑖−𝑦)2 ) • ‫اگر‬ ‫مقدار‬ ، ‫باشد‬ ‫میانگین‬ ‫مقدار‬ ‫از‬ ‫استفاده‬ ‫از‬ ‫بدتر‬ ‫رگرسیون‬ ‫خط‬ R2 ‫خواهد‬ ‫منفی‬ ‫شده‬ ‫محاسبه‬ ‫بود‬ . • ‫کمترین‬ ، ‫عملی‬ ‫کاربردهای‬ ‫در‬ R2 ‫است‬ ‫صفر‬ ‫کنید‬ ‫دریافت‬ ‫توانید‬ ‫می‬ ‫که‬ . • ‫معمولی‬ ‫مربعات‬ ‫حداقل‬ ‫رگرسیون‬ ‫کار‬ ‫نحوه‬ ( OLS regression ) ‫مشخصی‬ ‫نقطه‬ ‫از‬ ‫که‬ ‫میکند‬ ‫ایجاد‬ ‫خط‬ ‫یک‬ ‫که‬ ‫است‬ ‫صورت‬ ‫این‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬ ، ‫حالت‬ ‫این‬ ‫در‬ ‫و‬ ‫میگذرد‬ . • ‫از‬ ‫رگرسیون‬ ‫معادالت‬ ، ‫فرض‬ ‫پیش‬ ‫طور‬ ‫به‬ (𝑥,𝑦) ‫آمده‬ ‫بدست‬ ‫خط‬ ، ‫میکنند‬ ‫استفاده‬ ‫گذرد‬ ‫می‬ ‫آن‬ ‫از‬ ‫رگرسیون‬ ‫خط‬ ‫که‬ ‫ای‬ ‫نقطه‬ ‫عنوان‬ ‫به‬ ‫مقدار‬ ‫باالترین‬ ‫و‬ ‫ممکن‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫کمترین‬ ‫دارای‬ R2 ‫است‬ ‫ممکن‬ . ‫برای‬ ‫منفی‬ ‫مقدار‬ ‫یک‬ ‫توانید‬ ‫نمی‬ ‫شرایط‬ ‫این‬ ‫در‬ R2 ‫بدست‬ ‫آورید‬ . • ‫ا‬ ‫گذر‬ ‫با‬ ‫را‬ ‫خطا‬ ‫کمترین‬ ‫که‬ ‫کنید‬ ‫می‬ ‫دریافت‬ ‫را‬ ‫خطی‬ ‫همچنان‬ ، ‫کنید‬ ‫مشخص‬ ‫رگرسیون‬ ‫خط‬ ‫عبور‬ ‫برای‬ ‫را‬ ‫متفاوتی‬ ‫نقطه‬ ‫اگر‬ ‫نقطه‬ ‫آن‬ ‫ز‬ ‫است‬ ‫خوب‬ ‫خط‬ ‫آن‬ ‫که‬ ‫نیست‬ ‫معنا‬ ‫آن‬ ‫به‬ ‫این‬ ‫اما‬ ، ‫کند‬ ‫می‬ ‫ایجاد‬ !! • ‫به‬ ‫باعث‬ ‫است‬ ‫ممکن‬ ‫که‬ ‫راههایی‬ ‫از‬ ‫یکی‬ ‫دست‬ ‫آمدن‬ ‫مقدار‬ ‫برای‬ ‫منفی‬ R2 ‫است‬ ‫این‬ ‫شود‬ ‫رگرسیون‬ ‫خط‬ ‫که‬ ‫را‬ ‫خاص‬ ‫نقطه‬ ‫یک‬ ‫از‬ ‫عبور‬ ‫به‬ ‫کنید‬ ‫الزام‬ ( ‫از‬ ‫عرض‬ ‫تنظیم‬ ‫با‬ ً‫ال‬‫معمو‬ ‫مبدا‬ .)
  • 101.
  • 102.
    ‫ضریب‬ ‫تعیین‬  ‫مثال‬ : • ‫عرض‬ ‫خط‬ ‫دو‬ ‫هر‬‫برای‬ ‫مبدا‬ ‫از‬ ‫رگرسیون‬ ‫تعیین‬ ‫صفر‬ ‫است‬ ‫شده‬ . • ‫برای‬ ‫نقاط‬ ‫ز‬ ‫ممکن‬ ‫رگرسیون‬ ‫خط‬ ‫بهترین‬ ‫از‬ ‫فاصله‬ ‫این‬ ، ‫آبی‬ ‫یاد‬ ‫مقدار‬ ‫بنابراین‬ ‫و‬ ، ‫نیست‬ R2 ‫است‬ ‫مثبت‬ . • ‫برای‬ ‫نقاط‬ ، ‫قرمز‬ ‫مبدا‬ ‫از‬ ‫عرض‬ ‫حدود‬ ‫در‬ ‫باید‬ ‫واقعی‬ 120 ، ‫باشد‬ ‫رگرسیون‬ ‫خط‬ ‫بنابراین‬ ‫باش‬ ‫باید‬ ‫که‬ ‫جایی‬ ‫از‬ ‫دورتر‬ ‫بسیار‬ ، ‫د‬ ‫تنظیم‬ ‫است‬ ‫شده‬ . ‫که‬ ‫است‬ ‫این‬ ‫نتیجه‬ ‫رگرسیون‬ ‫خطای‬ ‫مربعات‬ ‫مجموع‬ ‫م‬ ‫بنابراین‬ ‫و‬ ‫است‬ ‫میانگین‬ ‫از‬ ‫شده‬ ‫استفاده‬ ‫مقدار‬ ‫از‬ ‫بیشتر‬ ‫قدار‬ R2 ‫منفی‬ ‫است‬ . • ‫که‬ ‫زمانی‬ R2 ‫است‬ ‫منفی‬ ‫هر‬ ‫میتوانید‬ ‫اس‬ ‫که‬ ‫رگرسیونی‬ ‫محاسبه‬ ‫تفاده‬ ‫کنار‬ ‫را‬ ‫کنید‬ ‫می‬ ‫و‬ ‫بگذارید‬ ‫پیش‬ ‫متوسط‬ ‫مقدار‬ ‫با‬ ‫فقط‬ ‫برو‬ ‫ید‬ !!
  • 103.
    ‫همبستگی‬ ‫ضریب‬ ‫و‬‫تعیین‬ ‫ضریب‬ • ‫تعیین‬ ‫ضریب‬ ، ‫قدرت‬ ‫مدل‬ ‫دهندگی‬ ‫توضیح‬ ‫را‬ ‫دهد‬‫می‬ ‫نشان‬ . • ‫یک‬ ‫تعیین‬ ‫ضریب‬ ‫آماری‬ ‫مقیاس‬ ‫رویداد‬ ‫یک‬ ‫نتیجه‬ ‫بینی‬ ‫پیش‬ ‫هنگام‬ ‫کند‬ ‫می‬ ‫بررسی‬ ‫که‬ ‫است‬ ‫معین‬ ، ‫چگونه‬ ‫ت‬ ‫یک‬ ‫در‬ ‫فاوت‬ ‫در‬ ‫تفاوت‬ ‫با‬ ‫توان‬ ‫می‬ ‫را‬ ‫متغیر‬ ‫متغیر‬ ( ‫های‬ ) ‫داد‬ ‫توضیح‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ . • ‫با‬ ‫آن‬ ‫ارتباط‬ ‫از‬ ‫ناشی‬ ‫تواند‬ ‫می‬ ‫عامل‬ ‫یک‬ ‫بودن‬ ‫متغیر‬ ‫چقدر‬ ‫اینکه‬ ‫توضیح‬ ‫برای‬ ‫تعیین‬ ‫ضریب‬ ‫عوامل‬ ‫ب‬ ‫دیگر‬ ‫می‬ ‫استفاده‬ ‫اشد‬ ‫شود‬ . • ‫وقتی‬ ‫بینی‬ ‫پیش‬ ‫یک‬ ‫فقط‬ ‫در‬ ‫کننده‬ ‫آماره‬ ،‫شود‬ ‫گنجانده‬ ‫مدل‬ 𝑅2 ‫معیاری‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬ 𝑋 ‫و‬ 𝑌 ‫است‬ . • ‫همبستگی‬ ‫ضریب‬ ، 𝑟 ، ‫همچنین‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫از‬ ‫معیاری‬ 𝑋 ‫و‬ 𝑌 ‫است‬ . • ‫در‬ ‫خطی‬ ‫رگرسیون‬ ‫تنظیم‬ ‫ساده‬ ، 𝑅2 = 𝑟2 ‫باشد‬ ‫می‬ . • ‫از‬ ‫میتوانیم‬ 𝑟 = 𝐶𝑜𝑟(𝑋,𝑌) ‫به‬ ‫جای‬ 𝑅2 ‫برای‬ ‫مدل‬ ‫برازش‬ ‫ارزیابی‬ ‫ساده‬ ‫خطی‬ ‫کنیم‬ ‫استفاده‬ .
  • 104.
    ‫ضریب‬ ‫همبستگی‬  ‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬ ( 𝑟 ) : • ‫کردن‬‫ی‬ّ‫م‬‫ک‬ ‫برای‬ ‫خطی‬ ‫رابطه‬ ‫بین‬ ‫متغیر‬ ‫دو‬ ‫استفاده‬ ‫میشود‬ . • ‫رابطه‬ ‫جهت‬ ‫همچنین‬ ‫و‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫ی‬ ‫رابطه‬ ‫شدت‬ ( ‫معکوس‬ ‫یا‬ ‫مستقیم‬ ) ‫دهد‬‫می‬ ‫نشان‬ ‫را‬ .  ‫کوواریانس‬ : • ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫که‬ ‫است‬ ‫معیاری‬ ‫با‬ ‫چگونه‬ ‫هم‬ ‫کنند‬ ‫می‬ ‫پیدا‬ ‫تغییر‬ . • ‫متغیر‬ ‫دو‬ ‫هر‬ ‫برای‬ ‫همزمان‬ ‫طور‬ ‫به‬ ‫را‬ ‫میانگین‬ ‫از‬ ‫انحراف‬ ‫کوواریانس‬ ‫در‬ ‫ولی‬ ‫است‬ ‫واریانس‬ ‫مشابه‬ ‫کوواریانس‬ 𝑋 ‫و‬ 𝑌 ‫کنیم‬‫می‬ ‫محاسبه‬ . • 𝑉𝑎𝑟 𝑋 = 𝐸 𝑋 − 𝐸 𝑋 2 = 1 𝑛−1 𝑖=1 𝑛 (𝑥𝑖 − 𝑥)2 • 𝐶𝑜𝑣 𝑋, 𝑌 = 𝐸 𝑋 − 𝐸 𝑋 𝑌 − 𝐸 𝑌 = 1 𝑛−1 𝑖=1 𝑛 (𝑥𝑖 − 𝑥)(𝑦𝑖 − 𝑦) • ‫مقدار‬ ‫مت‬ ‫دو‬ ‫بین‬ ‫منفی‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫منفی‬ ‫مقدار‬ ‫که‬ ‫حالی‬ ‫در‬ ‫است‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫مثبت‬ ‫رابطه‬ ‫دهنده‬ ‫نشان‬ ‫کواریانس‬ ‫مثبت‬ ‫است‬ ‫غیر‬ .
  • 105.
  • 106.
    ‫ضریب‬ ‫همبستگی‬ • ‫خطی‬ ‫رابطه‬ ‫در‬‫گرایش‬ ‫نوع‬ ‫دهنده‬‫نشان‬ ‫کوواریانس‬ ‫عالمت‬ ‫است‬ ‫متغیرها‬ ‫بین‬ :  ‫کوواریانس‬ ‫مثبت‬ ( ‫دارد‬ ‫غلبه‬ ‫قرمز‬ ‫بر‬ ‫آبی‬ ) : ‫دو‬ ‫د‬ ‫تمایل‬ ‫متغیر‬ ‫ارند‬ ‫کنند‬ ‫حرکت‬ ‫جهت‬ ‫یک‬ ‫در‬ .  ‫کوواریانس‬ ‫منفی‬ ( ‫دارد‬ ‫غلبه‬ ‫آبی‬ ‫بر‬ ‫قرمز‬ ) : ‫د‬ ‫تمایل‬ ‫متغیر‬ ‫دو‬ ‫ارند‬ ‫حرکت‬ ‫معکوس‬ ‫جهت‬ ‫در‬ ‫کنند‬ .  ‫کوواریانس‬ ‫صفر‬ : ‫ندارند‬ ‫هم‬ ‫به‬ ‫خطی‬ ‫وابستگی‬ ‫متغیرها‬ .
  • 107.
    ‫ضریب‬ ‫همبستگی‬ • ‫بست‬ ‫متغیرها‬ ‫معیار‬‫به‬ ‫رو‬ ‫این‬ ‫از‬ ،‫است‬‫نشده‬ ‫سازی‬‫نرمال‬ ‫کوواریانس‬ ‫زیرا‬ ‫نیست‬ ‫ساده‬ ‫کوواریانس‬ ‫اندازه‬ ‫تفسیرکردن‬ ‫دارد‬ ‫گی‬ .  ‫پیرسون‬ ‫همبستگی‬ ‫ضریب‬ ( 𝑟 : ) • 𝑟 = 𝐶𝑜𝑟𝑟 𝑋, 𝑌 = 𝐶𝑜𝑣(𝑋,𝑌) 𝜎𝑋𝜎𝑌 = 𝐸[(𝑋−𝐸(𝑋))(𝑌−𝐸(𝑌))] 𝜎𝑋𝜎𝑌 = 𝑖=1 𝑛 (𝑥𝑖−𝑥)(𝑦𝑖−𝑦) 𝑖=1 𝑛 (𝑥𝑖−𝑥)2 𝑖=1 𝑛 (𝑦𝑖−𝑦)2  ‫یکی‬ ‫مزایای‬ ‫از‬ 𝑟 ‫واحد‬ ‫بدون‬ ‫که‬ ‫است‬ ‫این‬ ‫است‬ .  ‫می‬ ‫توصیف‬ ‫را‬ ‫دیگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫متغیر‬ ‫یک‬ ‫حرکت‬ ‫نحوه‬ ‫همبستگی‬ ‫ضریب‬ ‫کند‬ .  ‫سنجد‬‫می‬ ‫را‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫بین‬ ‫خطی‬ ‫همبستگی‬ ‫میزان‬ .  ‫منظور‬ ‫است‬ ‫دیگری‬ ‫برحسب‬ ‫یکی‬ ‫مقدار‬ ‫بینی‬‫پیش‬ ‫قابلیت‬ ،‫متغیر‬ ‫دو‬ ‫بین‬ ‫همبستگی‬ ‫ضریب‬ ‫از‬ .
  • 108.
    ‫ضریب‬ ‫همبستگی‬  ‫از‬ ‫می‬ ‫استفاده‬ ‫متغیر‬‫دو‬ ‫بین‬ ‫رابطه‬ ‫قدرت‬ ‫گیری‬ ‫اندازه‬ ‫برای‬ ‫همبستگی‬ ‫ضرایب‬ ‫شود‬ . ‫کلی‬ ‫بطور‬ :  ‫اگر‬ 𝑟 = −1 ‫باشد‬ ‫بین‬ ، 𝑋 ‫و‬ 𝑌 ‫دارد‬ ‫وجود‬ ‫کامل‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ‫یک‬ .  ‫اگر‬ 𝑟 = 1 ‫باشد‬ ‫بین‬ ، 𝑋 ‫و‬ 𝑌 ‫دارد‬ ‫وجود‬ ‫کامل‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ‫یک‬ .  ‫اگر‬ 𝑟 = 0 ‫باشد‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ، 𝑋 ‫و‬ 𝑌 ‫ندارد‬ ‫وجود‬ .  ‫دیگر‬ ‫مقادیر‬ ‫همه‬ 𝑟 ‫بین‬ ‫رابطه‬ ‫که‬ ‫گویند‬ ‫می‬ ‫ما‬ ‫به‬ 𝑋 ‫و‬ 𝑌 ‫نیست‬ ‫کامل‬ . ‫هرچه‬ 𝑟 ‫به‬ 0 ‫است‬ ‫تر‬ ‫ضعیف‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬ . ‫هرچه‬ r ‫به‬ −1 ‫است‬ ‫تر‬ ‫قوی‬ ‫منفی‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬ . ‫هرچه‬ ‫و‬ 𝑟 ‫به‬ 1 ‫تر‬ ‫قوی‬ ‫مثبت‬ ‫خطی‬ ‫رابطه‬ ، ‫باشد‬ ‫نزدیکتر‬ ‫است‬ .  ‫مهم‬ ‫نکات‬ :  ‫برای‬ ‫تنها‬ « ‫خطی‬ ‫رابطه‬ » ‫بین‬ « ‫متغیر‬ ‫دو‬ » ‫معنا‬ ‫دارد‬ ( ‫چندگانه‬ ‫رگرسیون‬ ‫در‬ R2 ‫میکند‬ ‫پر‬ ‫را‬ ‫نقش‬ ‫این‬ .)  ‫همبستگی‬ ‫نمی‬ ‫نتیجه‬ ‫را‬ ‫علیت‬ ‫دهد‬ .  ‫شود‬ ‫قائل‬ ‫تفاوت‬ ‫مستقل‬ ‫و‬ ‫وابسته‬ ‫متغیرهای‬ ‫بین‬ ‫تواند‬ ‫نمی‬ .
  • 109.
    ‫همبستگی‬ ‫ضریب‬  ‫نکته‬ : ‫تصادفی‬ ‫متغیر‬‫دو‬ ‫اگر‬ 𝑋 ‫و‬ 𝑌 ‫است‬ ‫صفر‬ ‫آنها‬ ‫کواریانس‬ ‫آنگاه‬ ‫باشند‬ ‫مستقل‬ . ‫م‬ ‫این‬ ‫به‬ ،‫نیست‬ ‫صحیح‬ ‫موضوع‬ ‫این‬ ‫عکس‬ ‫که‬ ‫عنا‬ ‫نباشند‬ ‫هم‬ ‫از‬ ‫مستقل‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫آن‬ ً‫ا‬‫الزام‬ ‫ولی‬ ‫باشد‬ ‫صفر‬ ‫تصادفی‬ ‫متغیر‬ ‫دو‬ ‫کواریانس‬ ‫است‬ ‫ممکن‬ .
  • 110.
    ‫تفسیر‬ ‫در‬ ‫احتیاط‬ 𝑅2  ‫شماره‬‫احتیاط‬ 1 : • ‫ضریب‬ ‫تعیین‬ 𝑅2 ‫همبستگی‬ ‫ضریب‬ ‫و‬ 𝑟 ‫یک‬ ‫قدرت‬ « ‫خطی‬ ‫رابطه‬ » ‫کنند‬ ‫می‬ ‫کمی‬ ‫را‬ . • ‫است‬ ‫ممکن‬ 𝑟 = 0 ‫و‬ 𝑅2 = 0 ‫دهد‬ ‫نشان‬ ‫بین‬ ‫خطی‬ ‫رابطه‬ ‫هیچ‬ ‫که‬ 𝑥 ‫و‬ 𝑦 ‫وجود‬ ‫یک‬ ‫حال‬ ‫عین‬ ‫در‬ ‫و‬ ،‫ندارد‬ « ‫منحنی‬ ‫رابطه‬ » ‫باشد‬ ‫داشته‬ ‫وجود‬ . • ‫معیارها‬ ‫است‬ ‫ممکن‬ ‫رو‬ ‫روبه‬ ‫مثال‬ ‫در‬ ‫تفسیر‬ ‫اشتباه‬ ‫را‬ ‫کنید‬ ‫نتیجه‬ ‫این‬ ‫به‬ ‫و‬ ‫ب‬ ‫رسید‬ ‫که‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫هیچ‬ 𝑥 ‫و‬ 𝑦 ‫ندارد‬ ‫وجود‬ . ‫این‬ ،‫اما‬ ‫درست‬ ‫نیست‬ ! ‫رابطه‬ ‫یک‬ ‫واقع‬ ‫در‬ ‫بین‬ ‫کامل‬ ‫منحنی‬ 𝑥 ‫و‬ 𝑦 ‫دارد‬ ‫وجود‬ - ‫فقط‬ ‫نیست‬ ‫خطی‬ .  ‫پایین‬ ‫نمودار‬ ‫در‬ :  𝑅2 = 100% ‫تغییرات‬ ‫تمام‬ ‫که‬ ‫میدهد‬ ‫نشان‬ 𝑦 ‫داد‬ ‫توضیح‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫توسط‬ ‫ه‬ ‫میشود‬ .  𝑟 = 0 ‫که‬ ‫میدهد‬ ‫نشان‬ ‫ای‬ ‫رابطه‬ ‫اگر‬ ‫بین‬ 𝑥 ‫و‬ 𝑦 ‫وجود‬ ‫نیست‬ ‫خطی‬ ،‫باشد‬ ‫داشته‬ .
  • 111.
    ‫تفسیر‬ ‫در‬ ‫احتیاط‬ 𝑅2  ‫شماره‬‫احتیاط‬ 2 : • ‫مقدار‬ ‫یک‬ 𝑅2 ‫رگ‬ ‫خط‬ ‫که‬ ‫شود‬ ‫تفسیر‬ ‫معنا‬ ‫این‬ ‫به‬ ‫نباید‬ ‫بزرگ‬ ‫رسیون‬ ‫دارد‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫خوبی‬ ‫به‬ ‫شده‬ ‫زده‬ ‫تخمین‬ . ‫مم‬ ‫دیگری‬ ‫تابع‬ ‫کن‬ ‫کند‬ ‫توصیف‬ ‫بهتر‬ ‫را‬ ‫ها‬ ‫داده‬ ‫روند‬ ‫است‬ . • ‫مقدار‬ 𝑅2 ‫بزرگ‬ ‫که‬ ‫میدهد‬ ‫نشان‬ ‫ر‬ ‫وابسته‬ ‫متغیر‬ ‫خواهید‬ ‫می‬ ‫اگر‬ ‫ا‬ ‫بگی‬ ‫نظر‬ ‫در‬ ‫را‬ ‫متغیرمستقل‬ ‫است‬ ‫بهتر‬ ، ‫کنید‬ ‫بینی‬ ‫پیش‬ ‫تا‬ ‫رید‬ ‫نه‬ . ‫اما‬ ‫هنوز‬ ‫آیا‬ ‫که‬ ‫نمیدهد‬ ‫نشان‬ ‫می‬ ‫هم‬ ‫توان‬ ‫عمل‬ ‫بهتر‬ ‫کرد‬ . • ‫است‬ ‫ممکن‬ ‫منحنی‬ ‫کردن‬ ‫رسم‬ ‫ساده‬ ‫خالصه‬ ‫معیار‬ ‫یک‬ ‫از‬ ‫بیشتر‬ ‫مانند‬ 𝑟 ‫یا‬ 𝑅2 ‫باشد‬ ‫کننده‬ ‫کمک‬ .
  • 112.
    ‫تفسیر‬ ‫در‬ ‫احتیاط‬ 𝑅2  ‫شماره‬‫احتیاط‬ 3 : • ‫تعیین‬ ‫ضریب‬ 𝑅2 ‫همبستگی‬ ‫ضریب‬ ‫و‬ 𝑟 ‫تأثیر‬ ‫تحت‬ ‫شدت‬ ‫به‬ ‫توانند‬ ‫می‬ ‫دو‬ ‫هر‬ ‫داده‬ ‫نقطه‬ ‫یک‬ ( ‫داده‬ ‫نقطه‬ ‫چند‬ ‫یا‬ ) ‫گیرند‬ ‫قرار‬ . • ‫توجه‬ ‫رو‬ ‫به‬ ‫رو‬ ‫مثال‬ ‫در‬ ‫نقطه‬ ‫یک‬ ‫حذف‬ ‫با‬ ‫فقط‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫داده‬ ‫غیرعا‬ ، ‫دی‬ ‫تخمینی‬ ‫خط‬ ‫شیب‬ ‫مثبت‬ ‫از‬ ‫به‬ ‫منفی‬ ‫تغییر‬ ‫می‬ ‫کند‬ . • ‫می‬ ‫که‬ ‫کرد‬ ‫استدالل‬ ‫توان‬ ‫مجموعه‬ ‫این‬ ‫داده‬ ‫برای‬ ‫نتیجه‬ ‫بسیار‬ ‫گیری‬ ‫کوچ‬ ‫ک‬ ‫است‬ .
  • 113.
    ‫بازاریابی‬ ‫برنامه‬  ‫دیتاست‬ Advertising ‫شامل‬ ‫در‬ ‫آن‬‫برای‬ ‫تبلیغات‬ ‫ی‬ ‫بودجه‬ ‫و‬ ‫مشخص‬ ‫کاالی‬ ‫یک‬ ‫فروش‬ ‫میزان‬ 200 ‫مختلف‬ ‫مارکت‬ ‫است‬ .  ‫تلویزیون‬ ‫مختلف‬ ‫ی‬ ‫رسانه‬ ‫سه‬ ‫در‬ ‫تبلیغ‬ ‫ها‬ ‫مارکت‬ ‫این‬ ‫از‬ ‫هریک‬ ‫در‬ ، ‫میگیرد‬ ‫انجام‬ ‫روزنامه‬ ‫و‬ ‫رادیو‬ .  ‫دیتا‬ ‫اساس‬ ‫بر‬ ‫تا‬ ‫میشود‬ ‫درخواست‬ ‫ما‬ ‫از‬ ‫و‬ ‫هستیم‬ ‫آماری‬ ‫مشاوران‬ ‫ما‬ ‫کنید‬ ‫فرض‬ ، ‫پیشنها‬ ‫آینده‬ ‫سال‬ ‫برای‬ ‫بازاریابی‬ ‫برنامه‬ ‫یک‬ ‫دهیم‬ ‫د‬ .
  • 114.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬  ‫ساده‬‫خطی‬ ‫رگرسیون‬ : ‫بینی‬ ‫پیش‬ Y ‫مستقل‬ ‫متغیر‬ ‫یک‬ ‫تنها‬ ‫اساس‬ ‫بر‬ . Y = 𝛽0 + 𝛽1𝑋 + 𝜖 Sales = β0 + (β1∗ TV) + 𝜖 𝑦 = 𝛽0 + 𝛽1𝑥 • 𝛽1 ‫نشان‬ ‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬ 𝑋 ‫بر‬ Y ‫است‬ ، ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬ ‫ها‬ ( ‫وجود‬ ‫صورت‬ ‫در‬ ) ‫گرفت‬ ‫نادیده‬ ‫ه‬ ‫شوند‬ . • ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مشکالت‬ :  ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫سایر‬ ‫تاثیر‬ ( ‫وجود‬ ‫صورت‬ ‫در‬ ) ‫میشود‬ ‫گرفته‬ ‫نادیده‬ .  ‫بسیار‬ ‫های‬‫تخمین‬ ‫به‬ ‫منجر‬ ‫تواند‬‫می‬ ‫امر‬ ‫این‬ ،‫باشد‬ ‫داشته‬ ‫وجود‬ ‫همبستگی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫بین‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫گ‬ ‫مراه‬ ‫کننده‬ ‫از‬ ‫تأثیر‬ ‫بر‬ ‫مستقل‬ ‫متغیر‬ Y ‫شود‬ .
  • 115.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬  ‫چندگانه‬‫خطی‬ ‫رگرسیون‬ : ‫بینی‬ ‫پیش‬ Y ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫چند‬ ‫اساس‬ ‫بر‬ . Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖 Sales = β0 + (β1∗ TV) + (β2∗ radio) +(β3 ∗ newspaper) + 𝜖 𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝 • ‫هر‬ ‫ضریب‬ 𝑋𝑖 ، ‫آن‬ ‫واحدی‬ ‫یک‬ ‫افزایش‬ ‫تاثیر‬ ‫میانگین‬ ‫دهنده‬ ‫نشان‬ ‫کننده‬ ‫بینی‬ ‫متغیرپیش‬ ‫بر‬ Y ‫است‬ ، ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫سایر‬ ‫که‬ ‫شرایطی‬ ‫در‬ ‫شوند‬ ‫داشته‬ ‫نگه‬ ‫ثابت‬ ‫ها‬ . • ‫باشد‬ ‫متفاوت‬ ‫کامال‬ ‫میتواند‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫یک‬ ‫برای‬ ‫چندگانه‬ ‫و‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬ !
  • 116.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫چندگانه‬‫خطی‬ ‫رگرسیون‬ ‫همبستگی‬ ‫ماتریکس‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬
  • 117.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬  ‫قبل‬‫صفحه‬ ‫های‬ ‫جدول‬ ‫در‬ :  ‫بین‬ ‫ارتباطی‬ ‫هیچ‬ ‫چندگانه‬ ‫رگرسیون‬ ‫در‬ ‫که‬ ‫است‬ ‫منطقی‬ ‫آیا‬ « ‫فروش‬ ‫میزان‬ » ‫و‬ « ‫روزنامه‬ ‫تبلیغات‬ » ‫ن‬ ‫وجود‬ ‫باشد‬ ‫داشته‬ ‫دهد؟‬ ‫نشان‬ ‫را‬ ‫آن‬ ‫عکس‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫که‬ ‫حالی‬ ‫در‬  ‫بله‬ !! • ‫بین‬ ‫همبستگی‬ « ‫رادیو‬ » ‫و‬ « ‫روزنامه‬ » 0.35 ‫است‬ . ‫بازارهایی‬ ‫در‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتر‬ ‫هزینه‬ ‫به‬ ‫تمایل‬ ‫دهنده‬ ‫نشان‬ ‫این‬ ‫است‬ ‫میشود‬ ‫رادیویی‬ ‫تبلیغات‬ ‫برای‬ ‫بیشتری‬ ‫هزینه‬ ‫که‬ . • ‫یابد‬ ‫افزایش‬ ‫رادیویی‬ ‫تبلیغات‬ ‫که‬ ‫بازارهایی‬ ‫در‬ ‫فروش‬ ‫میزان‬ ، ‫ن‬ ‫همبستگی‬ ‫ماتریس‬ ‫که‬ ‫طور‬ ‫همان‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫بیشتر‬ ‫میدهد‬ ‫شان‬ ‫یابد‬ ‫می‬ ‫افزایش‬ ‫بازارها‬ ‫همان‬ ‫در‬ ‫نیز‬ ‫روزنامه‬ ‫تبلیغات‬ . • ‫میکند‬ ‫بررسی‬ ‫را‬ ‫روزنامه‬ ‫تبلیغات‬ ‫برابر‬ ‫در‬ ‫فروش‬ ‫فقط‬ ‫که‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ، ‫روزنامه‬ « ‫اعتبار‬ » ‫رادیو‬ ‫تاثیر‬ ‫را‬ ‫فروش‬ ‫بر‬ ‫میگیرد‬ .
  • 118.
    ‫برآورد‬ ‫رگرسیون‬ ‫ضرایب‬ • 𝑋= 𝑥1 ⋮ 𝑥𝑛 , 𝑌 = 𝑦1 ⋮ 𝑦𝑛 • RSS = 𝑋𝛽 − 𝑌 2 = 𝑋𝛽 − 𝑌 𝑇 (𝑋𝛽 − 𝑌) = • 𝑌𝑇 𝑌 − 𝑌𝑇 𝑋𝛽 − 𝛽𝑇 𝑋𝑇 𝑌 + 𝛽𝑇 𝑋𝑇 𝑋𝛽 • 𝜕𝑅𝑆𝑆 𝜕𝛽 = 𝜕(𝑌𝑇𝑌 −𝑌𝑇𝑋𝛽−𝛽𝑇𝑋𝑇𝑌+𝛽𝑇𝑋𝑇𝑋𝛽) 𝜕𝛽 = • −2𝑋𝑇 𝑌 + 2𝑋𝑇 𝑋𝛽 • −2𝑋𝑇 𝑌 + 2𝑋𝑇 𝑋𝛽 = 0 → 𝛽 = (𝑋𝑇 𝑋)−1 𝑋𝑇 𝑌 𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚 𝑅𝑆𝑆 = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦𝑖)2 = 𝑖=1 𝑛 (𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑚𝑥𝑚 − 𝑦𝑖)2 • 𝑥 = [1 , 𝑥1 , 𝑥2 , … , 𝑥𝑚] • 𝛽 = [𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑚] • 𝑦 = 𝑖=0 𝑚 (𝑥𝑖 ∗ 𝛽𝑖) = 𝑥. 𝛽 • 𝐷 = { (𝑥1 , 𝑦1) , … , (𝑥𝑛 , 𝑦𝑛) } • 𝑅𝑆𝑆 = 𝑖=1 𝑛 (𝛽. 𝑥𝑖 − 𝑦𝑖)2
  • 119.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ • ‫صورت‬‫به‬ ‫وابسته‬ ‫و‬ ‫مستقل‬ ‫متغیر‬ ‫بین‬ ‫رابطه‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫ی‬ ‫ک‬ « ‫خط‬ » ‫شود‬‫می‬ ‫بیان‬ . • ‫راب‬ ‫در‬ ‫وابسته‬ ‫متغیر‬ ‫یک‬ ‫با‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫اگر‬ ،‫چندگانه‬ ‫رگرسیون‬ ‫در‬ ‫خطی‬ ‫طه‬ ‫یک‬ ‫صورت‬ ‫به‬ ‫رابطه‬ ‫این‬ ‫شکل‬ ،‫باشند‬ « ‫صفحه‬ » ‫در‬ ‫آمد‬ ‫خواهد‬ . • ‫رو‬ ‫کار‬ ‫به‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫در‬ ‫مستقل‬ ‫متغیر‬ ‫دو‬ ‫از‬ ‫بیش‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫مدل‬ ،‫ند‬ ‫یک‬ ‫شکل‬ ‫به‬ « ‫ابرصفحه‬ » ‫ظاهر‬ ‫شود‬‫می‬ .
  • 120.
    ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬  ‫مربعات‬‫حداقل‬ ‫روش‬ ‫مشکالت‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫معمولی‬ : .A ‫محاسبه‬ (𝑋𝑇 𝑋)−1 ‫باشد‬ ‫زمانبر‬ ‫است‬ ‫ممکن‬ . .B XT X ‫نباشد‬ ‫پذیر‬ ‫معکوس‬ ‫است‬ ‫ممکن‬ . • « ‫تصادفی‬ ‫کاهشی‬ ‫گرادیان‬ » ‫باشد‬ ‫می‬ ‫بهینه‬ ‫پارامتر‬ ‫تخمین‬ ‫برای‬ ‫سریعتر‬ ‫و‬ ‫کاراتر‬ ‫روشی‬ .
  • 121.
    ‫کاهشی‬ ‫گرادیان‬  ‫گرادیان‬ ‫کاهشی‬ ( Gradient Descent :) • ‫سازی‬ ‫بهینه‬ ‫الگوریتم‬ ‫یک‬ ‫تکراری‬ ‫اول‬ ‫مرتبه‬ ‫ت‬ ‫یک‬ ‫کمینه‬ ‫یافتن‬ ‫برای‬ ‫است‬ ‫ابع‬ . • ‫گامهای‬ ‫مخالف‬ ‫جهت‬ ‫در‬ ‫مکرر‬ ‫تابع‬ ‫گرادیان‬ ‫فعلی‬ ‫نقطه‬ ‫در‬ ‫میشود‬ ‫برداشته‬ ‫به‬ ‫تا‬ ‫محلی‬ ‫کمینه‬ / ‫برسد‬ ‫سراسری‬ .
  • 122.
    ‫کاهشی‬ ‫گرادیان‬  ‫الگوریتم‬ GD ‫تابع‬ ‫مینیمم‬‫محاسبه‬ ‫برای‬ y = f(x) : .A ‫کن‬ ‫انتخاب‬ ‫رندوم‬ ‫نقطه‬ ‫یک‬ . .B ‫بود‬ ‫صفر‬ ‫برابر‬ ‫نقطه‬ ‫این‬ ‫در‬ ‫گرادیان‬ ‫اگر‬ ، ‫است‬ ‫کمینه‬ ‫نقطه‬ ‫این‬ . .C ‫رابطه‬ ‫از‬ 𝑥𝑡+1 = 𝑥𝑡 − η𝛻xf ‫کن‬ ‫استفاده‬ ‫جدید‬ ‫مقدار‬ ‫محاسبه‬ ‫برای‬ . ‫به‬ ‫برگرد‬ ‫مرحله‬ B • η ‫میکند‬ ‫تنظیم‬ ‫را‬ ‫گامها‬ ‫طول‬ ‫و‬ ‫است‬ ‫یادگیری‬ ‫نرخ‬ .
  • 123.
    ‫کاهشی‬ ‫گرادیان‬  ‫هزینه‬ ‫تابع‬ ، ‫میکند‬‫توصیف‬ ‫را‬ ‫کرده‬ ‫بینی‬ ‫پیش‬ ‫مدل‬ ‫آنچه‬ ‫و‬ ‫شده‬ ‫مشاهده‬ ‫مقدار‬ ‫بین‬ ‫اختالف‬ .  ‫تنظیم‬ ‫هدف‬ ‫پارامترها‬ ، ‫است‬ ‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬ ‫به‬ . • Hypothesis: ℎ𝜃 𝑥 = 𝜃. x = 𝜃0+ 𝜃1𝑥1 + ⋯ + 𝜃𝑛𝑥𝑛 • Parameters: 𝜃0 , 𝜃1 , … , 𝜃𝑛 • Cost function: 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 = 1 2𝑚 𝑖=1 𝑚 (ℎ𝜃 𝑥(𝑖) − 𝑦(𝑖) )2 • Goal: minimize 𝐽 𝜃 = 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 • ‫مثال‬ : ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫هزینه‬ ‫تابع‬ : • 𝐽 𝛽0 , 𝛽1 = 1 2𝑚 𝑖=1 𝑚 (𝛽0 + 𝛽1𝑥(𝑖) − 𝑦(𝑖) )2
  • 124.
    ‫کاهشی‬ ‫گرادیان‬  ‫مانند‬ ‫سهمی‬‫تابعی‬ ‫همیشه‬ ‫خطی‬ ‫رگرسیون‬ ‫برای‬ ‫هزینه‬ ‫تابع‬ ‫است‬ .  ‫د‬ ‫کلی‬ ‫مینیمم‬ ‫یک‬ ‫فقط‬ ‫و‬ ‫ندارد‬ ‫محلی‬ ‫مینیمم‬ ‫محدب‬ ‫تابع‬ ‫این‬ ‫ارد‬ .
  • 125.
  • 126.
    ‫کاهشی‬ ‫گرادیان‬  ‫تنظیم‬ ‫هدف‬ 𝜃 ‫به‬ ‫است‬‫هزینه‬ ‫تابع‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫منظور‬ . i. 𝜃 = 𝜃 − 𝜂𝛻𝜃𝐽(𝜃) ii. 𝜃𝑗 = 𝜃𝑗 − 𝜂 𝜕 𝜕𝜃𝑗 𝐽 𝜃 = 𝜃𝑗 − 𝜂 𝜕 𝜕𝜃𝑗 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 iii. 𝜕 𝜕𝜃𝑗 𝐽 𝜃0 , 𝜃1 , … , 𝜃𝑛 = 𝜕 𝜕𝜃𝑗 1 2𝑚 𝑖=1 𝑚 ℎ𝜃 𝑥 𝑖 − 𝑦 𝑖 2 = 1 𝑚 𝑖=1 𝑚 (ℎ𝜃 𝑥 𝑖 − 𝑦 𝑖 ) 𝑥𝑗 • ‫پارامتر‬ ‫هر‬ ‫بنابراین‬ 𝜃𝑗 ، ‫میشود‬ ‫روزرسانی‬ ‫به‬ ‫زیر‬ ‫روش‬ ‫به‬ ‫گام‬ ‫هر‬ ‫در‬ : • 𝜃𝑗 = 𝜃𝑗 − η m 𝑖=1 𝑚 (ℎ𝜃 𝑥 𝑖 − 𝑦 𝑖 ) 𝑥𝑗
  • 127.
    ‫کاهشی‬ ‫گرادیان‬ • ‫کاهشی‬ ‫گرادیان‬‫الگوریتم‬ : • repeat until convergence { • 𝜑𝑗 = 𝜃𝑗 − η m 𝑖=1 𝑚 ℎ𝜃 𝑥 𝑖 − 𝑦 𝑖 𝑥𝑗 (for j = 0 to n) • 𝜃𝑗 = 𝜑𝑗 (for j = 0 to n) • } • ‫دور‬ ‫هر‬ ‫در‬ ‫که‬ ‫باشید‬ ‫داشته‬ ‫توجه‬ ، ‫پارامترهای‬ ‫رسانی‬ ‫روز‬ ‫به‬ 𝜃𝑗 ‫و‬ ‫موازی‬ ‫صورت‬ ‫به‬ ‫صورت‬ ‫به‬ ‫نه‬ ‫صورت‬ ‫ترتیبی‬ ‫گرفت‬ ‫خواهد‬ .
  • 128.
    ‫کاهشی‬ ‫گرادیان‬  ‫کاهشی‬ ‫گرادیان‬‫انواع‬ : • ‫کاهشی‬ ‫گرادیان‬ ‫تصادفی‬ : ‫میش‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫تصادفی‬ ‫آموزشی‬ ‫نمونه‬ ‫یک‬ ‫تنها‬ ‫از‬ ، ‫تکرار‬ ‫هر‬ ‫در‬ ‫ود‬ . • ‫دسته‬ ‫کاهشی‬ ‫گرادیان‬ ‫ای‬ : ‫در‬ ، ‫تکرار‬ ‫هر‬ ‫میشود‬ ‫استفاده‬ ‫پارامترها‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫تمام‬ ‫از‬ . • ‫دسته‬ ‫کاهشی‬ ‫گرادیان‬ ‫کوچک‬ ‫ای‬ : ‫تکرار‬ ‫هر‬ ‫در‬ ‫روزرسانی‬ ‫به‬ ‫برای‬ ‫آموزشی‬ ‫های‬ ‫نمونه‬ ‫از‬ ‫تصادفی‬ ‫کوچک‬ ‫ی‬ ‫دسته‬ ‫یک‬ ‫از‬ ، ‫میشود‬ ‫استفاده‬ ‫پارامترها‬ .
  • 129.
    Stochastic GD  ‫گریز‬ ‫پرنویز‬ ‫های‬‫گام‬ ‫دلیل‬ ‫به‬ ‫محلی‬ ‫های‬ ‫کمینه‬ ‫از‬  ‫سریعتر‬ ‫همگرایی‬ ‫بزرگ‬ ‫بسیار‬ ‫های‬ ‫دیتاست‬ ‫برای‬ ‫مناسب‬ ‫و‬  ‫آنالین‬ ‫پردازش‬ ‫مزیت‬ 𝐒𝐭𝐨𝐜𝐡𝐚𝐬𝐭𝐢𝐜 𝐆𝐃 Initialize 𝛽 randomly Randomly shuffle training examples Loop until convergence : • Sample (𝑥,𝑦) from the training set • for j=1 to n : • 𝑔𝑗 = 𝛽.𝑥 − 𝑦 𝑥𝑗 • 𝛽 = 𝛽 − η𝑔
  • 130.
    Batch GD  ‫مشکل‬ ‫حافظه‬ ‫حجم‬  ‫میانگین‬‫شیب‬ ‫با‬ ‫رسانی‬ ‫روز‬ ‫به‬ ‫دلیل‬ ‫به‬ ‫پایدارتر‬ ‫همگرایی‬  ‫مزیت‬ ‫رس‬ ‫روز‬ ‫به‬ ‫و‬ ‫محاسبات‬ ‫عملیات‬ ‫تفکیک‬ ‫با‬ ‫موازی‬ ‫پردازش‬ ‫انی‬ 𝐁𝐚𝐭𝐜𝐡 𝐆𝐃 Initialize 𝛽 randomly Sample all training data : {(𝑥(1) ,𝑦(1) ),…,(𝑥(𝑚) ,𝑦(𝑚) )} Loop until convergence : • for j=1 to n : • 𝑔𝑗 = 0 • for i=1 to m : • 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖 − 𝑦 𝑖 𝑥𝑗 𝑖 • 𝛽 = 𝛽 − η m 𝑔
  • 131.
    mini − BatchGD 𝐦𝐢𝐧𝐢 − 𝐁𝐚𝐭𝐜𝐡 𝐆𝐃 Initialize 𝛽 randomly 𝑘 = 0 Loop until convergence : • Sample {(𝑥(𝑘+1) ,𝑦(𝑘+1) ), …,(𝑥(𝑘+𝑏) ,𝑦(𝑘+𝑏) )} from the training set • for j=1 to n : • 𝑔𝑗 = 0 • for i=(k+1) to (k+b) : • 𝑔𝑗 = 𝑔𝑗 + 𝛽.𝑥 𝑖 − 𝑦 𝑖 𝑥𝑗 𝑖 • 𝛽 = 𝛽 − η 𝑏 𝑔 • 𝑘 = 𝑘 + 𝑏
  • 132.
    ‫کاهشی‬ ‫گرادیان‬ ‫روش‬‫مشکالت‬ .A ‫ومینیمم‬ ‫کند‬ ‫گیر‬ ‫محلی‬ ‫کمینه‬ ‫در‬ ‫است‬ ‫ممکن‬ ‫نیابد‬ ‫را‬ ‫تابع‬ ‫کل‬ . • ‫تابع‬ ‫برای‬ ‫هزینه‬ ‫رگرسیون‬ ‫همواره‬ ‫خطی‬ ‫محدب‬ ‫است‬ ‫کلی‬ ‫آن‬ ‫مینیمم‬ ‫نقطه‬ ‫و‬ ‫است‬ . 𝑅𝑆𝑆 = 𝑖=1 𝑛 (𝛽. 𝑥𝑖 − 𝑦𝑖)2
  • 133.
    ‫کاهشی‬ ‫گرادیان‬ ‫روش‬‫مشکالت‬ .B ‫یادگیری‬ ‫نرخ‬ ‫تعیین‬ : • ‫نرخ‬ ‫واگرایی‬ ‫سبب‬ ‫است‬ ‫ممکن‬ ‫بزرگ‬ ‫بسیار‬ ‫یادگیری‬ ‫الگور‬ ‫یتم‬ ، ‫یا‬ ‫شود‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬ ‫نوسان‬ . • ، ‫الگوریتم‬ ‫همگرایی‬ ‫کندی‬ ‫سبب‬ ‫کوچک‬ ‫یادگیری‬ ‫نرخ‬ ‫گی‬ ‫یا‬ ‫کردن‬ ‫ر‬ ‫نامطلوب‬ ‫محلی‬ ‫کمینه‬ ‫در‬ ‫شود‬ ‫می‬ .  ‫حل‬ ‫راه‬ : ‫آموزش‬ ‫حین‬ ‫در‬ ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬ o ‫مجز‬ ‫آموزش‬ ‫زمینه‬ ‫این‬ ‫در‬ ، ‫یادگیری‬ ‫نرخ‬ ‫تنظیم‬ ‫اهمیت‬ ‫دلیل‬ ‫به‬ ‫ایی‬ ‫میشود‬ ‫تهیه‬ .
  • 134.
    ‫مقیاس‬ ‫بندی‬ ‫ویژگی‬  ‫بندی‬ ‫مقیاس‬ ‫ویژگی‬ ( feature scaling :) • ‫شود‬ ‫می‬ ‫انجام‬ ‫داده‬ ‫پردازش‬ ‫پیش‬ ‫مرحله‬ ‫در‬ . • ‫الگوریتم‬ ‫چیست‬ ‫دهنده‬ ‫نشان‬ ‫عدد‬ ‫این‬ ‫داند‬ ‫نمی‬ ‫و‬ ‫کند‬ ‫می‬ ‫کار‬ ‫اعداد‬ ‫روی‬ ‫بر‬ ‫ماشین‬ ‫یادگیری‬ .  ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ ‫رایج‬ ‫روشهای‬ : .A ‫داده‬ ‫سازی‬ ‫نرمال‬ ( Normalization ) .B ‫داده‬ ‫استانداردسازی‬ ( Standardization )
  • 135.
    ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬  ‫سازی‬‫نرمال‬ : 𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 𝑋 − 𝑋𝑚𝑖𝑛 𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛 • 0 ≤ 𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 ≤ 1 ‫بود‬ ‫خواهد‬  ‫استانداردسازی‬ : 𝑋𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 𝑋 − 𝜇 𝜎 • ‫دارای‬ ‫حاصل‬ ‫توزیع‬ 𝜇𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 0 ‫و‬ 𝜎𝑐ℎ𝑎𝑛𝑔𝑒𝑑 = 1 ‫خواهد‬ ‫شد‬ .
  • 136.
    ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬  ‫بندی‬‫مقیاس‬ ‫ویژگی‬ ‫الگوریتم‬ ‫در‬ ‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫های‬ : • ‫فاصله‬ ‫های‬ ‫الگوریتم‬ ‫مانند‬ KNN ، K − means ‫و‬ SVM ‫بیشتر‬ ‫تأثیر‬ ‫تحت‬ ‫مقیاس‬ ‫گیرند‬ ‫می‬ ‫قرار‬ ‫ها‬ ‫ویژگی‬ . • ‫به‬ ‫ها‬ ‫الگوریتم‬ ‫این‬ ‫موقعیت‬ ‫نقاط‬ ‫نسبی‬ ‫هستند‬ ‫حساس‬ ‫یکدیگر‬ ‫به‬ ‫نسبت‬ ‫داده‬ . • ‫قبل‬ ‫نتیج‬ ‫در‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫تا‬ ‫کنیم‬ ‫می‬ ‫بندی‬ ‫مقیاس‬ ‫را‬ ‫خود‬ ‫های‬ ‫داده‬ ، ‫فاصله‬ ‫بر‬ ‫مبتنی‬ ‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫از‬ ‫داشته‬ ‫نقش‬ ‫ه‬ ‫باشند‬ .
  • 137.
    ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬  ‫ویژگی‬‫بندی‬ ‫مقیاس‬ ‫در‬ ‫الگوریتم‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫درخت‬ : • ‫به‬ ‫نسبت‬ ‫مقیاس‬ ‫ویژگی‬ ‫حساس‬ ‫ها‬ ‫نیستند‬ . • ‫هر‬ ‫تصمیم‬ ‫درخت‬ ‫را‬ ‫گره‬ ‫بر‬ ‫فقط‬ ‫واحد‬ ‫ویژگی‬ ‫یک‬ ‫اساس‬ ‫منشعب‬ ‫ک‬ ‫می‬ ‫ند‬ . • ‫انشعاب‬ ‫این‬ ‫یک‬ ‫روی‬ ‫بر‬ ‫ویژگی‬ ، ‫ها‬ ‫ویژگی‬ ‫سایر‬ ‫تأثیر‬ ‫تحت‬ ‫نیس‬ ‫و‬ ‫ت‬ ً‫ال‬‫عم‬ ‫در‬ ‫باقیمانده‬ ‫های‬ ‫ویژگی‬ ‫بر‬ ‫تأثیری‬ ‫هیچ‬ ‫ندارد‬ ‫انشعاب‬ .
  • 138.
    ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬  ‫خطی‬‫رگرسیون‬ ‫در‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ : • ‫دهند‬ ‫نشان‬ ‫را‬ ‫ویژگی‬ ‫اهمیت‬ ‫دهد‬ ‫می‬ ‫اجازه‬ ‫ضرایب‬ ‫به‬ . 𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + … + 𝛽𝑝𝑥𝑝 • ‫بر‬ ‫میزان‬ ‫چه‬ ‫ویژگی‬ ‫این‬ ‫که‬ ‫دهند‬ ‫می‬ ‫ایده‬ ‫ما‬ ‫به‬ ، ‫ویژگی‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ضرایب‬ ‫تأثیر‬ ‫مدل‬ ‫نتیجه‬ ‫گذارد‬ ‫می‬ .  ‫مثال‬ : • ‫شامل‬ ‫اندام‬ ‫تناسب‬ ‫مورد‬ ‫در‬ ‫داده‬ ‫مجموعه‬ ‫یک‬ ‫ویژگیهای‬ ‫با‬ ‫هایی‬ ‫داده‬ ‫قد‬ ( ‫متر‬ ) ‫وزن‬ ‫و‬ ( ‫کیلوگرم‬ ) ‫است‬ . • ‫اختالف‬ 1 ‫به‬ ‫نسبت‬ ‫متر‬ 1 ‫کیلوگرم‬ ‫خیلی‬ ‫است‬ ‫توجهتر‬ ‫قابل‬ . • ‫اگر‬ ‫حتی‬ ، ‫باشند‬ ‫مهم‬ ‫اندازه‬ ‫یک‬ ‫به‬ ‫وزن‬ ‫و‬ ‫قد‬ ‫های‬ ‫ویژگی‬ ‫ضرایب‬ 𝛽 ‫مربوط‬ ‫داشت‬ ‫خواهند‬ ‫متفاوتی‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫آنها‬ ‫به‬ .
  • 139.
    ‫کاهشی‬ ‫گرادیان‬ ‫در‬‫ویژگی‬ ‫بندی‬ ‫مقیاس‬  ‫الگوریتم‬ ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ ‫ک‬ ‫گرادیان‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫اهشی‬ :  ‫سرعت‬ ‫میدهد‬ ‫افزایش‬ ‫را‬ ‫هگرایی‬ . • ‫ویژگی‬ ‫شک‬ ‫به‬ ‫ای‬ ‫هزینه‬ ‫تابع‬ ، ‫متفاوت‬ ‫بسیار‬ ‫های‬ ‫مقیاس‬ ‫با‬ ‫های‬ ‫یک‬ ‫ل‬ ‫دره‬ ‫و‬ ‫باریک‬ ‫طوالنی‬ ‫میکنند‬ ‫ایجاد‬ . • ‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ ، ‫به‬ ‫هزینه‬ ‫تابع‬ ‫شکلی‬ « ‫تر‬ ‫کروی‬ » ‫خ‬ ‫به‬ ‫و‬ ‫طوط‬ ‫یک‬ ‫آن‬ ‫کانتور‬ ‫شکل‬ « ‫دایره‬ ‫ای‬ ‫تر‬ » ‫می‬ ‫دهد‬ . • ‫حالت‬ ‫در‬ ، ‫تر‬ ‫ای‬ ‫دایره‬ ‫است‬ ‫مرکز‬ ‫سمت‬ ‫به‬ ‫مستقیما‬ ‫گرادیان‬ . • ‫حالت‬ ‫در‬ ‫تر‬ ‫بیضوی‬ ، ‫بزرگ‬ ‫محور‬ ‫امتداد‬ ‫در‬ ‫مدام‬ ‫الگوریتم‬ ‫های‬ ‫گام‬ ‫سمت‬ ‫به‬ ‫آرام‬ ‫خیلی‬ ‫که‬ ‫حالی‬ ‫در‬ ‫پرد‬ ‫می‬ ‫جلو‬ ‫و‬ ‫عقب‬ ‫سمت‬ ‫به‬ ‫بیضی‬ ‫کند‬ ‫می‬ ‫حرکت‬ ‫مرکز‬ .
  • 140.
    ‫کاهشی‬ ‫گرادیان‬ ‫در‬‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ • ‫تابع‬ ‫منفی‬ ‫گرادیان‬ ، ‫هزینه‬ ‫است‬ ‫نقطه‬ ‫آن‬ ‫در‬ ‫تابع‬ ‫کانتور‬ ‫خط‬ ‫بر‬ ‫عمود‬ ‫همواره‬ ‫نقطه‬ ‫یک‬ ‫در‬ . • ‫حرکت‬ ‫راستای‬ ‫به‬ ‫نسبت‬ ‫منفی‬ ‫گرادیان‬ ‫بردار‬ ، ‫بهینه‬ ‫کوچکتری‬ ‫مولفه‬ ‫و‬ ‫بیضی‬ ‫کوچک‬ ‫محور‬ ‫راستای‬ ‫در‬ ‫بزرگتری‬ ‫مولفه‬ ‫راستای‬ ‫در‬ ‫دارد‬ ‫بیضی‬ ‫بزرگ‬ ‫محور‬ . • ‫ویژگی‬ ‫مقیاس‬ ‫با‬ ‫بزرگتر‬ ‫می‬ ‫غلبه‬ ‫گرادیان‬ ‫بر‬ ‫کند‬ . ( β𝑗 = β𝑗 − η m i=1 m (ℎβ 𝑥 𝑖 − 𝑦 𝑖 ) 𝑥j ) • ‫حرکت‬ ‫یک‬ ‫داشتن‬ « ‫زاگ‬ ‫زیگ‬ » ، ‫این‬ ‫به‬ ‫معنی‬ ‫نیستند‬ ‫بهینه‬ ‫جهت‬ ‫در‬ ‫لزوما‬ ‫که‬ ‫داریم‬ ‫برمی‬ ‫را‬ ‫زیادی‬ ‫های‬ ‫گام‬ ‫که‬ ‫است‬ . • ‫اینکه‬ ‫از‬ ‫اطمینان‬ ‫برای‬ ‫به‬ ‫کاهشی‬ ‫گرادیان‬ ‫نزول‬ ‫مراحل‬ ‫و‬ ‫کند‬ ‫می‬ ‫حرکت‬ ‫حداقل‬ ‫سمت‬ ‫به‬ ‫نرمی‬ ‫گرادیان‬ ‫همان‬ ‫با‬ ‫ها‬ ‫ویژگی‬ ‫همه‬ ‫برای‬ ، ‫شود‬ ‫می‬ ‫روز‬ ‫به‬ ‫سرعت‬ ‫مقیاس‬ ‫را‬ ‫ها‬ ‫داده‬ ‫الگوریتم‬ ‫اجرای‬ ‫از‬ ‫قبل‬ ‫کنیم‬ ‫می‬ ‫بندی‬ .
  • 141.
    ‫کاهشی‬ ‫گرادیان‬ ‫در‬‫ویژگی‬ ‫بندی‬ ‫مقیاس‬ • ‫کوچک‬ ‫باریک‬ ‫های‬ ‫دره‬ ‫در‬ ‫نرخ‬ ‫کردن‬ ‫بهبود‬ ‫باعث‬ ‫یادگیری‬ ‫کمکی‬ ‫اما‬ ‫میشود‬ ‫زیگزاگی‬ ‫حرکت‬ ‫همگ‬ ‫سرعت‬ ‫افزایش‬ ‫به‬ ‫رایی‬ ‫کند‬ ‫نمی‬ .
  • 142.
    ‫ارزیابی‬ ‫سوال‬ ‫چهار‬ ‫قالب‬‫در‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬
  • 143.
    ‫اول‬ ‫سوال‬  ‫چندگانه‬ ‫خطی‬‫رگرسیون‬ ‫مدل‬ : Y = 𝛽0 + 𝛽1𝑋1+ 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 + 𝜖 .I ‫آیا‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ X1 ,X2, … ,Xp ‫بینی‬ ‫پیش‬ ‫در‬ Y ‫است؟‬ ‫مفید‬ • ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫؛‬ ‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬  ‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ 𝛽1 = 0 ‫خیر‬ ‫یا‬ ‫است‬ .  ‫در‬ ‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫آیا‬ ‫که‬ ‫میکنیم‬ 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0 ‫خیر‬ ‫یا‬ ‫است‬ .  𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0  𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p) • ‫که‬ ‫دید‬ ‫خواهیم‬ ‫زودی‬ ‫به‬ ‫فرض‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫صفر‬ « ‫آزمون‬ F ‫تحلیل‬ ‫واریانس‬ » ‫آزمایش‬ ‫شود‬ ‫می‬ .
  • 144.
    ‫اول‬ ‫سوال‬ .II ‫کننده‬ ‫بینی‬‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬ ( ‫بیش‬ ‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬ ‫همه‬ ) ‫از‬ ‫یکی‬ ‫حداقل‬ ‫با‬ ‫متغیرها‬ ‫پاس‬ ‫خ‬ Y ‫ارتباط‬ ‫دارد؟‬  𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0  𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = (p − q + 1) to p) • ‫را‬ ‫نظر‬ ‫مورد‬ ‫زیرمجموعه‬ ،‫کار‬ ‫راحتی‬ ‫برای‬ q ‫ایم‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫لیست‬ ‫انتهای‬ ‫متغیر‬ . • ‫یک‬ « ‫آزمون‬ F ‫کلی‬ ‫خطی‬ » ‫گرفت‬ ‫خواهیم‬ ‫یاد‬ ‫ای‬ ‫فرضیه‬ ‫چنین‬ ‫آزمایش‬ ‫برای‬ ‫را‬ . .III ‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬ Xj ‫پاسخ‬ ‫با‬ Y ‫؟‬ ‫دارد‬ ‫ارتباط‬ • 𝐻0 ∶ 𝛽𝑗 = 0 • 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0 • ‫انجام‬ ‫فقط‬ ‫این‬ ‫آیا‬ « ‫آزمون‬ t » ‫برای‬ 𝛽𝑗 ‫نیست‬ ‫؟‬ !
  • 145.
    ‫اول‬ ‫سوال‬  ‫زاویه‬ ‫ضریب‬‫یک‬ ‫تنها‬ ،‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬ 𝛽1 ‫وجود‬ ‫فرضیه‬ ‫های‬ ‫آزمون‬ ‫آن‬ ‫مورد‬ ‫در‬ ‫توان‬ ‫می‬ ‫که‬ ‫دارد‬ ‫داد‬ ‫انجام‬ ‫را‬ .  ‫مختلف‬ ‫فرضیه‬ ‫آزمون‬ ‫سه‬ ،‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫برای‬ ‫ضرایب‬ ‫برای‬ ‫انجام‬ ‫توان‬‫می‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫داد‬ : .I ‫تمام‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬ ‫ضرایب‬ 0 ‫هستند‬ . .II ‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬ ‫زیرمجموعه‬ - ‫همه‬ ‫نه‬ ‫اما‬ ،‫یک‬ ‫از‬ ‫بیش‬ - ‫از‬ ‫ضرایب‬ 0 ‫هستند‬ . .III ‫یک‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫فرضیه‬ ‫آزمون‬ ‫خاص‬ ‫ضریب‬ 0 ‫است‬ .
  • 146.
    ‫اول‬ ‫سوال‬ : ‫ضرایب‬ ‫ی‬‫همه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬  ‫آیا‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ X1 ,X2, … ,Xp ‫بینی‬ ‫پیش‬ ‫در‬ Y ‫است؟‬ ‫مفید‬ • ‫دیگر‬ ‫عبارت‬ ‫به‬ ‫؛‬ ‫دارد؟‬ ‫وجود‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫و‬ ‫پاسخ‬ ‫بین‬ ‫ای‬ ‫رابطه‬ ‫آیا‬  ‫آیا‬ ‫که‬ ‫میکردیم‬ ‫بررسی‬ ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ 𝛽1 = 0 ‫خیر‬ ‫یا‬ ‫است‬ . • 𝐻0 ∶ 𝛽1 = 0 • 𝐻𝑎 ∶ 𝛽1 ≠ 0  ‫آیا‬ ‫که‬ ‫میکنیم‬ ‫بررسی‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫در‬ 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0 ‫خیر‬ ‫یا‬ ‫است‬ . • 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0 • 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 for(i = 1 to p)
  • 147.
    ‫آزمون‬ F ‫کلی‬ ‫خطی‬  « ‫آزمون‬ F ‫خطی‬ ‫کلی‬ » ‫شامل‬ ‫از‬ ‫عبارتند‬‫که‬ ‫است‬ ‫اساسی‬ ‫مرحله‬ ‫سه‬ : .1 ‫تعریف‬ ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ ‫یک‬ ‫کنید‬ ( ‫منظور‬ ‫از‬ « ‫بزرگتر‬ » ‫بیشتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬ ‫است‬ .) .2 ‫یک‬ ‫تعریف‬ ‫کوچکتر‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫کنید‬ ( ‫منظور‬ ‫از‬ « ‫کوچکتر‬ » ‫کمتر‬ ‫پارامترهای‬ ‫با‬ ‫یکی‬ ‫است‬ .) .3 ‫از‬ ‫آماره‬ ‫یک‬ F ‫برای‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ ‫مورد‬ ‫در‬ ‫گیری‬ ‫تصمیم‬ « ‫مدل‬ ‫یافته‬ ‫کاهش‬ ‫کوچکتر‬ » ‫نفع‬ ‫به‬ « ‫مدل‬ ‫کامل‬ ‫بزرگتر‬ » ‫استف‬ ‫کنید‬ ‫اده‬ . • ‫فرض‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫می‬ ‫مربوط‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫صفر‬ ‫فرضیه‬ ،‫بینید‬ ‫می‬ ‫سوم‬ ‫مرحله‬ ‫عبارت‬ ‫در‬ ‫که‬ ‫همانطور‬ ‫یه‬ ‫شود‬ ‫می‬ ‫مربوط‬ ‫کامل‬ ‫مدل‬ ‫به‬ ‫همیشه‬ ‫جایگزین‬ . • 𝐻0 ∶ The reduced model • 𝐻𝑎 ∶ The full model
  • 148.
    ‫آزمون‬ F ‫خطی‬ ‫کلی‬  ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ : ‫باشد‬‫ها‬ ‫داده‬ ‫برای‬ ‫ترین‬ ‫مناسب‬ ‫رسد‬ ‫می‬ ‫نظر‬ ‫به‬ ‫که‬ ‫است‬ ‫مدلی‬ . y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖  ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫کوچکتر‬ : ‫شود‬ ‫می‬ ‫توصیف‬ ‫صفر‬ ‫فرضیه‬ ‫توسط‬ ‫که‬ ‫است‬ ‫مدلی‬ . 𝑦 = 𝛽0 + 𝜖 • ‫از‬ ‫یک‬ ‫کدام‬ « ‫یافته‬ ‫کاهش‬ ‫مدل‬ » ‫یا‬ « ‫کامل‬ ‫مدل‬ » ‫کند‬ ‫می‬ ‫عمل‬ ‫بهتر‬ ‫ها‬ ‫داده‬ ‫در‬ ‫روند‬ ‫توصیف‬ ‫در‬ ‫؟‬ • 𝐻0 ∶ 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑝 = 0 • 𝐻𝑎 ∶ The full model
  • 149.
    ‫آزمون‬ F ‫کلی‬ ‫خطی‬  « ‫یافته‬ ‫کاهش‬‫مدل‬ » ‫دهید‬ ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬ : o ‫مربعات‬ ‫حداقل‬ ‫برآورد‬ 𝛽0 ‫آورید‬ ‫بدست‬ ‫را‬ . o ، ‫خطا‬ ‫مربعات‬ ‫مجموع‬ SSE(R) ‫کنید‬ ‫تعیین‬ ‫را‬ ، .  𝑦i = 𝛽0 + 𝜖𝑖  𝑦i = 𝐸 𝑦i = 𝛽0 • SSE = 𝑖=1 𝑛 (𝑦observed − 𝑦fitted)2 • SSE R = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦)2  « ‫کامل‬ ‫مدل‬ » ‫مطابقت‬ ‫ها‬ ‫داده‬ ‫با‬ ‫را‬ ‫دهید‬ : o ‫مربعات‬ ‫حداقل‬ ‫برآورد‬ 𝛽0 ، 𝛽1 ، ... ، 𝛽𝑝 ‫آورید‬ ‫بدست‬ ‫را‬ . o ، ‫خطا‬ ‫مربعات‬ ‫مجموع‬ SSE(F) ‫کنید‬ ‫تعیین‬ ‫را‬ ، .  𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝 + 𝜖𝑖  𝑦i = 𝐸 𝑦i = 𝛽0 + 𝛽1𝑥𝑖,1+ 𝛽2𝑥𝑖,2 + ⋯ + 𝛽𝑝𝑥𝑖,𝑝 • SSE = 𝑖=1 𝑛 (𝑦observed − 𝑦fitted)2 • SSE F = 𝑖=1 𝑛 (𝑦𝑖 − 𝑦𝑖)2
  • 150.
    ‫آزمون‬ F ‫خطی‬ ‫کلی‬  ، ‫ها‬ ‫داده‬‫با‬ ‫مدل‬ ‫دو‬ ‫از‬ ‫یک‬ ‫هر‬ ‫تطبیق‬ ‫از‬ ‫پس‬ ‫مجموع‬ ‫مربعات‬ ‫خطا‬ ‫کنیم‬ ‫می‬ ‫تعیین‬ ‫را‬ .  ‫آزمون‬ ‫خطی‬ ‫کلی‬ ‫بین‬ ‫مقایسه‬ ‫شامل‬ SSE(R) ‫و‬ SSE(F) ‫است‬ .  SSE(R) ‫هرگز‬ ‫از‬ ‫کوچکتر‬ ‫تواند‬ ‫نمی‬ SSE(F) ‫باشد‬ ( SSE(R) ≥ SSE(F) .) • ‫اگر‬ SSE(F) ‫نزدیک‬ ‫به‬ SSE(R) ‫باشد‬ : ‫پراکندگی‬ ‫کامل‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬ ‫در‬ ً‫ا‬‫تقریب‬ ‫اندازه‬ ‫به‬ ‫پراکندگی‬ ‫در‬ ‫اطراف‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫رگرسیون‬ ‫تابع‬ ‫است‬ . ،‫حالت‬ ‫این‬ ‫در‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ ‫از‬ ‫استفاده‬ ‫تر‬ ‫منطقی‬ ‫است‬ . • ‫اگر‬ SSE(F) ‫و‬ SSE(R) ‫داشته‬ ‫زیادی‬ ‫تفاوت‬ ‫باشند‬ : ‫پارامتر‬ ( ‫های‬ ) ‫ای‬ ‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫کامل‬ ‫مدل‬ ‫در‬ ‫اضافی‬ ‫پراکند‬ ‫گی‬ ‫دهد‬ ‫می‬ ‫کاهش‬ ‫را‬ ‫شده‬ ‫برآورد‬ ‫رگرسیون‬ ‫تابع‬ ‫اطراف‬ . ‫با‬ ‫که‬ ‫است‬ ‫منطقی‬ ،‫مورد‬ ‫این‬ ‫در‬ ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ ‫شوید‬ ‫همراه‬ .
  • 151.
    ‫آزمون‬ F ‫خطی‬ ‫کلی‬  ‫اختالف‬ ‫هرچقدر‬ SSE(R) ‫و‬ SSE(F) ‫استفاده‬ ‫میتوان‬‫تر‬ ‫راحت‬ ،‫باشد‬ ‫بیشتر‬ ‫از‬ « ‫مدل‬ ‫کامل‬ ‫بزرگتر‬ » ‫توجیه‬ ‫را‬ ‫کرد‬ .  ‫آماره‬ F ‫کلی‬ ‫خطی‬ : • 𝐹∗ = SSE R −SSE(F) dfR−dfF SSE(F) dfF • ‫اگر‬ ،‫کلی‬ ‫طور‬ ‫به‬ 𝐹∗ ‫بزرگ‬ ‫کافی‬ ‫اندازه‬ ‫به‬ ‫باشد‬ ‫رد‬ ‫صفر‬ ‫فرض‬ ‫می‬ ‫شود‬ . • ‫دارد‬ ‫ارتباط‬ ‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫معناست‬ ‫این‬ ‫به‬ ‫صفر‬ ‫فرض‬ ‫رد‬ .
  • 152.
    ‫آزمون‬ F  ‫آماره‬ F ‫کلی‬ ‫خطی‬ ‫آماره‬ ‫به‬‫را‬ F ‫واریانس‬ ‫تحلیل‬ ( ANOVA ) ‫دهیم‬ ‫می‬ ‫کاهش‬ ‫شدیم‬ ‫آشنا‬ ‫قبال‬ ‫که‬ : • 𝐹∗ = ( SSE R −SSE(F) dfR−dfF ) 𝑆𝑆𝐸(𝐹) dfF = ( SS𝑇−SSE (𝑛−1)−(𝑛−(𝑝+1)) ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) = ( SS𝑅 𝑝 ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) = 𝑀𝑆𝑅 𝑀𝑆𝐸
  • 153.
    ‫آزمون‬ F Fstatistic = 𝑀𝑆𝑅 𝑀𝑆𝐸  ‫باشد‬ ‫درست‬‫خطی‬ ‫مدل‬ ‫مفروضات‬ ‫اگر‬ : E MSE = 𝜎2  ‫صفر‬ ‫فرض‬ ‫اگر‬ ( 𝐻0 ) ‫باشد‬ ‫درست‬ : 𝐸 𝑀𝑆𝑅 = 𝜎2  ‫مقابل‬ ‫فرض‬ ‫اگر‬ ( 𝐻𝑎 ) ‫باشد‬ ‫درست‬ : 𝐸 𝑀𝑆𝑅 > 𝜎2 • ‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ( 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0 ) ، ‫داریم‬ ‫انتظار‬ Fstatistic ‫باشد‬ ‫داشته‬ ‫یک‬ ‫به‬ ‫نزدیک‬ ‫مقداری‬ . • ‫صفر‬ ‫فرض‬ ‫رد‬ ‫برای‬ ( 𝐻𝑎 ∶ 𝑎𝑡 𝑙𝑒𝑎𝑠𝑡 𝑜𝑛𝑒 𝛽𝑖 ≠ 0 ) ، ‫داریم‬ ‫انتظار‬ Fstatistic ‫باشد‬ ‫بزرگتر‬ ‫یک‬ ‫از‬ ‫کافی‬ ‫اندازه‬ ‫به‬ .
  • 154.
    ‫آزمون‬ ‫ی‬ ‫آماره‬‫توزیع‬  ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫نسبت‬ 𝑀𝑆𝑅 𝑀𝑆𝐸 ‫توزیع‬ ‫دارای‬ F ‫آزادی‬ ‫درجه‬ ‫با‬ ‫صورت‬ ‫برابر‬ 𝑝 ‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬ (𝑛 − 𝑝 + 1 ) ‫است‬ . Fstatistic = 𝑀𝑆𝑅 𝑀𝑆𝐸 • ‫ی‬ ‫محاسبه‬ ‫با‬ Fstatistic ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫توزیع‬ F ‫و‬ ‫صورت‬ ‫آزادی‬ ‫های‬ ‫درجه‬ ‫با‬ ‫مرتبط‬ ‫میتوان‬ ‫مخرج‬ P_value ‫آورد‬ ‫بدست‬ ‫را‬ . ‫این‬ ‫اساس‬ ‫بر‬ ‫و‬ P_value ‫مورد‬ ‫در‬ ‫میتوان‬ ‫گرفت‬ ‫تصمیم‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫یا‬ ‫رد‬ .
  • 155.
    ‫آزمون‬ ‫ی‬ ‫دنباله‬ ‫صورت‬‫به‬ ‫ما‬ ‫آزمون‬ ‫برای‬ ‫مقابل‬ ‫فرض‬ (𝐻𝑎 ∶ 𝐹𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐 > 1) ‫بود‬ ‫خواهد‬ .
  • 156.
    ‫اول‬ ‫سوال‬ : ‫ضرایب‬ ‫از‬‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬  ‫قبل‬ ‫قسمت‬ ‫در‬ ، ‫گذاشتیم‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫همه‬ ‫میکرد‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬ : 𝐻0 ∶ 𝛽1 = ⋯ = 𝛽𝑝 = 0  ‫بگذاری‬ ‫آزمون‬ ‫به‬ ‫را‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫میکند‬ ‫بیان‬ ‫که‬ ‫صفر‬ ‫فرض‬ ‫بخواهیم‬ ‫است‬ ‫ممکن‬ ‫م‬ : 𝐻0 ∶ 𝛽𝑝−𝑞+1 = 𝛽𝑝−𝑞+2 = ⋯ = 𝛽𝑝 = 0 • ‫شده‬ ‫انتخاب‬ ‫متغیرهای‬ ،‫کار‬ ‫راحتی‬ ‫برای‬ ‫را‬ ‫حذف‬ ‫برای‬ ‫ایم‬ ‫داده‬ ‫قرار‬ ‫لیست‬ ‫انتهای‬ ‫در‬ . • ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫خاصی‬ ‫زیرمجموعه‬ ‫در‬ ‫آیا‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫که‬ ‫است‬ ‫آن‬ ‫هدف‬ ( ‫اینجا‬ ‫در‬ q ‫لیست‬ ‫انتهای‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ) ‫پاسخ‬ ‫با‬ ‫ها‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫از‬ ‫یکی‬ ‫حداقل‬ Y ‫دارد‬ ‫ارتباط‬ .
  • 157.
    ‫اول‬ ‫سوال‬ : ‫ضرایب‬ ‫از‬‫ای‬ ‫زیرمجموعه‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬  ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ : y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖  ‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ : 𝑦 = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝−𝑞𝑥(𝑝−𝑞) + 𝜖 • 𝐹∗ = ( SSE R −SSE(F) dfR−dfF ) 𝑆𝑆𝐸(𝐹) dfF = ( SSE R −SSE (𝑛−(𝑝−𝑞+1))−(𝑛−(𝑝+1)) ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) = ( SSE R −SSE 𝑞 ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) • ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ 𝐹∗ ‫دارای‬ ‫توزیع‬ F ‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬ 𝑞 ‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬ (𝑛 − 𝑝 − 1) ‫باشد‬ ‫می‬ .
  • 158.
    ‫سوال‬ ‫اول‬ : ‫مشخص‬ ‫ضریب‬ ‫یک‬‫بودن‬ ‫صفر‬ ‫آزمون‬  ‫مشخص‬ ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫یک‬ ‫آیا‬ Xj ‫پاسخ‬ ‫با‬ Y ‫؟‬ ‫دارد‬ ‫ارتباط‬ • 𝐻0 ∶ 𝛽𝑗 = 0 • 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0  ‫بزرگتر‬ ‫کامل‬ ‫مدل‬ : y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖  ‫کوچکتر‬ ‫ی‬ ‫یافته‬ ‫کاهش‬ ‫مدل‬ : 𝑦 = 𝛽0 + 𝛽2𝑥2+ 𝛽3𝑥3 + ⋯ + 𝛽𝑝𝑥𝑝 + 𝜖 • 𝐹∗ = ( SSE R −SSE(F) dfR−dfF ) 𝑆𝑆𝐸(𝐹) dfF = ( SSE R −SSE (𝑛−𝑝)−(𝑛−(𝑝+1)) ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) = ( SSE R −SSE 1 ) 𝑆𝑆𝐸 (𝑛−(𝑝+1)) • ،‫صفر‬ ‫فرض‬ ‫صحت‬ ‫صورت‬ ‫در‬ 𝐹∗ ‫توزیع‬ ‫دارای‬ F ‫برابر‬ ‫صورت‬ ‫آزادی‬ ‫درجه‬ ‫با‬ 1 ‫برابر‬ ‫مخرج‬ ‫آزادی‬ ‫درجه‬ ‫و‬ (𝑛 − 𝑝 − 1) ‫باشد‬ ‫می‬ .
  • 159.
    ‫اول‬ ‫سوال‬ : ‫مشخص‬ ‫ضریب‬‫یک‬ ‫بودن‬ ‫صفر‬ ‫آزمون‬  ‫آزمون‬ ‫یک‬ ‫منفرد‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫روی‬ ‫بر‬ ‫میتوان‬ t ‫نه‬ ‫یا‬ ‫است‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫آیا‬ ‫شود‬ ‫مشخص‬ ‫تا‬ ‫داد‬ ‫انجام‬ . • 𝐻0 ∶ 𝛽𝑗 = 0 • 𝐻𝑎 ∶ 𝛽𝑗 ≠ 0  t − test ‫بینی‬ ‫پیش‬ ‫متغیر‬ ‫هر‬ ‫برای‬ ‫منفرد‬ ‫کننده‬ ‫با‬ ‫ارز‬ ‫هم‬ F − test ‫مدل‬ ‫در‬ ‫را‬ ‫بقیه‬ ‫و‬ ‫کند‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ‫که‬ ‫است‬ ‫باقی‬ ‫گذارد‬‫می‬ . ‫بنابراین‬ ‫کند‬‫می‬ ‫گزارش‬ ‫را‬ ‫مدل‬ ‫به‬ ‫متغیر‬ ‫آن‬ ‫کردن‬ ‫اضافه‬ ‫جزئی‬ ‫اثر‬ . • 𝐻0 ∶ The reduced model • 𝐻𝑎 ∶ The full model  ‫شرایط‬ ‫این‬ ‫در‬ P − value ‫آزمون‬ ‫برای‬ t ‫برابر‬ P − value ‫آزمون‬ ‫برای‬ 𝐹 ‫خواهد‬ ‫بود‬ .
  • 160.
    « ‫یک‬ F − test » ‫یا‬ « ‫چند‬ t− test » !!  ‫چرا‬ ‫توانیم‬‫نمی‬ ‫آیا‬ ‫اینکه‬ ‫آزمایش‬ ‫برای‬ ‫ای‬‫زیرمجموعه‬ ‫از‬ ‫هستند‬ ‫صفر‬ ‫ضرایب‬ ، ‫های‬‫تست‬ ‫سری‬ ‫یک‬ ‫فقط‬ t ‫انجام‬ ‫جداگانه‬ ‫؟‬ ‫دهیم‬  ‫به‬ ‫نوع‬ ‫خطای‬ ‫افزایش‬ ‫عدم‬ ‫و‬ ‫سهولت‬ ‫دلیل‬ ‫اول‬  ‫آزمون‬ ‫انجام‬ ‫بار‬ ‫هر‬ ‫با‬ t ‫دهید‬ ‫انجام‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫شما‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫احتمال‬ ‫این‬ . ‫معموال‬ ‫خطا‬ ‫این‬ 5% ‫در‬ ‫می‬ ‫گرفته‬ ‫نظر‬ ‫شود‬ . ‫با‬ ‫آزمون‬ ‫چند‬ ‫یا‬ ‫دو‬ ‫اجرای‬ t ‫داده‬ ‫روی‬ ‫بر‬ ‫دهید‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫اول‬ ‫نوع‬ ‫خطای‬ ‫احتمال‬ ،‫مشابه‬ ‫های‬ . ‫آزمون‬ F ‫این‬ ‫می‬ ‫کنترل‬ ‫را‬ ‫خطا‬ ‫کند‬ ‫تا‬ ‫سطح‬ ‫در‬ ‫اول‬ ‫نوع‬ ‫خطای‬ 5% ‫بماند‬ ‫باقی‬ .
  • 161.
    ‫آزمون‬ ‫چند‬ ‫در‬‫اول‬ ‫نوع‬ ‫خطای‬ t  ‫آماری‬ ‫آزمون‬ ‫یک‬ ‫برای‬ ( ‫آزمون‬ ‫مانند‬ t ) ‫با‬ 𝛼 = 0.05% : • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬ : 0.05% • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬ : 0.95%  ‫دو‬ ‫برای‬ ‫آزمون‬ : • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬ : 1 − .9025 = 0.0975% • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬ : 0.95 ∗ 0.95 = .9025%  ‫برای‬ n ‫آزمون‬ : • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫احتمال‬ : (1 − 0.95𝑛 )% • ‫آن‬ ‫صحت‬ ‫صورت‬ ‫در‬ ‫صفر‬ ‫فرض‬ ‫رد‬ ‫عدم‬ ‫احتمال‬ : 0.95𝑛 %
  • 162.
     ‫مهم‬ ‫نکته‬ : • ‫ی‬ ‫آماره‬‫از‬ ‫میتوان‬ ‫زمانی‬ ‫تا‬ F ‫بین‬ ‫ارتباط‬ ‫آزمایش‬ ‫برای‬ « ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ » ‫و‬ « ‫پاسخ‬ » ‫ک‬ ‫کرد‬ ‫استفاده‬ ‫ه‬ 𝑝 < 𝑛 ‫باشد‬ . • ‫اگر‬ 𝑝 > 𝑛 ‫ضرایب‬ ‫تعداد‬ ، ‫یعنی‬ ‫باشد‬ 𝛽j ‫دارد‬ ‫وجود‬ ‫آنها‬ ‫تخمین‬ ‫برای‬ ‫مشاهدات‬ ‫به‬ ‫نسبت‬ ‫بیشتری‬ . ‫حتی‬ ‫مورد‬ ‫این‬ ‫در‬ ‫دهیم‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫را‬ ‫چندگانه‬ ‫خطی‬ ‫رگرسیون‬ ‫مدل‬ ‫نمیتوانیم‬ ( ‫یک‬ ‫حداق‬ ‫ضریب‬ ‫تخمین‬ ‫مربعات‬ ‫ل‬ ‫وجود‬ ‫فرد‬ ‫به‬ ‫منحصر‬ ‫ندارد‬ .) ‫آماره‬ ‫بنابراین‬ F ‫نیستند‬ ‫استفاده‬ ‫قابل‬ ‫کنون‬ ‫تا‬ ‫شده‬ ‫بیان‬ ‫مفاهیم‬ ‫از‬ ‫بسیاری‬ ‫و‬ .
  • 163.
    ‫دوم‬ ‫سوال‬  ‫پیش‬ ‫متغیرهای‬‫همه‬ ‫آیا‬ ‫بینی‬ ‫کننده‬ ‫توضیح‬ ‫به‬ Y ‫فقط‬ ‫یا‬ ‫کنند‬ ‫می‬ ‫کمک‬ ‫زیرمجموعه‬ ‫پیش‬ ‫از‬ ‫ای‬ ‫کننده‬ ‫بینی‬ ‫مفید‬ ‫ها‬ ‫هستند‬ ‫؟‬ • ‫باشد‬ ‫می‬ ‫مهم‬ ‫متغیرهای‬ ‫کردن‬ ‫مشخص‬ ‫هدف‬ .  ‫اساس‬ ‫بر‬ ‫چنانچه‬ Fstatistic ‫و‬ P − value ‫پاسخ‬ ‫با‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫حداقل‬ ‫که‬ ‫شود‬ ‫مشخص‬ ‫مربوطه‬ Y ‫مرتبط‬ ‫است‬ ‫متغیر‬ ‫که‬ ‫است‬ ‫آن‬ ‫نوبت‬ ‫اکنون‬ ، ( ‫های‬ ) ‫کنیم‬ ‫مشخص‬ ‫را‬ ‫پاسخ‬ ‫با‬ ‫مرتبط‬ .  ‫بینی‬‫پیش‬ ‫آن‬ ‫فقط‬ ‫که‬ ‫واحد‬ ‫مدل‬ ‫یک‬ ‫برازش‬ ‫منظور‬ ‫به‬ ،‫هستند‬ ‫مرتبط‬ ‫پاسخ‬ ‫با‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫کدام‬ ‫اینکه‬ ‫تعیین‬ ‫شامل‬ ‫را‬ ‫ها‬‫کننده‬ ‫عنوان‬ ‫به‬ ،‫شود‬‫می‬ « ‫متغیر‬ ‫انتخاب‬ » ‫شود‬‫می‬ ‫نامیده‬ .
  • 164.
    ‫متغیر‬ ‫انتخاب‬  ‫از‬ ‫استفاده‬‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫چرا‬ p − values ‫ایده‬ ‫است‬ ‫بدی‬ ‫؟‬ !  ‫از‬ ‫استفاده‬ ‫با‬ ‫متغیر‬ ‫انتخاب‬ ‫روش‬ p − values : 𝛽𝑖 − 0 𝑆𝐸[𝛽𝑖] = 𝛽𝑖 𝑆𝐸[𝛽𝑖] • ‫متغیرهای‬ ‫دار‬‫معنی‬ ‫گنجانده‬ ‫مدل‬ ‫در‬ ‫متغیرهای‬ ،‫شوند‬‫می‬ ‫اهمیت‬ ‫بدون‬ ‫با‬ ‫متغیرهایی‬ ،‫شوند‬‫نمی‬ ‫گنجانده‬ p − values ‫تر‬‫کوچک‬ ( ‫بنابراین‬ ‫ی‬ ‫آماره‬ ‫تر‬‫بزرگ‬ ‫آزمون‬ ) ‫شدن‬ ‫انتخاب‬ ‫برای‬ ‫باالتری‬ ‫های‬‫اولویت‬ ‫نسبت‬ ‫که‬ ‫مواردی‬ ‫به‬ ‫است‬ ‫کوچکتر‬ ‫آنها‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ، ‫دارند‬ .
  • 165.
    ‫متغیر‬ ‫انتخاب‬ 𝛽𝑖 𝑆𝐸[𝛽𝑖] = 𝛽𝑖 𝜎 𝑛𝑉𝑎𝑟 𝑋𝑖 𝑉𝐼𝐹𝑖 ,𝑉𝐼𝐹𝑖 = 1 1 − 𝑅𝑖 2 • 𝛽𝑖 ‫صورت‬ ‫در‬ : ‫ضرایب‬ ،‫بزرگتر‬ ‫ی‬ ‫آماره‬ ، ‫یکسان‬ ‫شرایط‬ ‫در‬ ‫بزرگتر‬ ‫آزمون‬ ‫داشت‬ ‫خواهند‬ ‫دارتر‬ ‫معنی‬ ‫و‬ . • 𝜎 ‫مخرج‬ ‫در‬ : ‫کاهش‬ ‫خط‬ ‫اطراف‬ ‫در‬ ‫نویز‬ ‫رگرسیون‬ ، ‫تمام‬ ‫های‬ ‫آماره‬ ‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬ ‫میکند‬ ‫معنادارتر‬ . • 𝑛 ‫صورت‬ ‫در‬ : ‫افزایش‬ ‫حجم‬ ‫نمونه‬ ، ‫تمام‬ ‫های‬ ‫آماره‬ ‫می‬ ‫دارتر‬ ‫معنی‬ ‫را‬ ‫متغیر‬ ‫هر‬ ‫و‬ ‫دهد‬ ‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬ ‫کند‬ . • 𝑉𝑎𝑟 𝑋𝑖 ‫صورت‬ ‫در‬ : ‫متغیر‬ ‫یک‬ ‫در‬ ‫بیشتر‬ ‫واریانس‬ ، ‫کننده‬‫بینی‬‫پیش‬ ‫یکسان‬ ‫شرایط‬ ‫در‬ ‫ی‬ ‫آماره‬ ، ‫و‬ ‫دهد‬‫می‬ ‫افزایش‬ ‫را‬ ‫آزمون‬ ‫را‬ ‫متغیر‬ ‫معنادارتر‬ ‫کند‬‫می‬ . • 𝑉𝐼𝐹𝑖 ‫مخرج‬ ‫در‬ : ‫بین‬ ‫بیشتر‬ ‫همبستگی‬ 𝑋𝑖 ‫و‬ ‫یکسان‬ ‫شرایط‬ ‫در‬ ،‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬ ‫ی‬ ‫آماره‬ ، ‫را‬ ‫متغیر‬ ‫و‬ ‫دهد‬‫می‬ ‫کاهش‬ ‫را‬ ‫آزمون‬ ‫معنادار‬ ‫کمتر‬ ‫کند‬‫می‬ .
  • 166.
    ‫متغیر‬ ‫انتخاب‬ • ‫با‬ ‫نداشته‬‫چندانی‬ ‫همبستگی‬ ‫ها‬‫کننده‬‫بینی‬‫پیش‬ ‫سایر‬ ‫با‬ ‫و‬ ‫باشد‬ ‫داشته‬ ‫زیادی‬ ‫واریانس‬ ‫کننده‬‫بینی‬‫پیش‬ ‫اگر‬ ً‫ال‬‫کام‬ ‫متغیرهای‬ ،‫شد‬ ‫باشند‬ ‫دار‬‫معنی‬ ‫بسیار‬ ‫ضرایب‬ ‫دارای‬ ‫توانند‬‫می‬ ‫اهمیت‬‫بی‬ . • ‫مهم‬ ‫بسیار‬ ‫متغیرهای‬ ‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫استاندارد‬ ‫خطای‬ ‫اگر‬ ( ‫بزرگ‬ ‫ضرایب‬ ‫دارای‬ ) ‫باشد‬ ‫بزرگ‬ ‫این‬ ‫است‬ ‫ممکن‬ ، ‫باشند‬ ‫آماری‬ ‫اهمیت‬ ‫بدون‬ ‫متغیرها‬ . • ‫نهایت‬ ‫در‬ ،‫نیست‬ ‫صفر‬ ً‫ا‬‫دقیق‬ ‫آن‬ ‫ضریب‬ ‫که‬ ‫متغیری‬ ‫هر‬ (𝑛 → ∞) ‫یک‬ ‫و‬ ‫بزرگ‬ ‫آزمون‬ ‫ی‬ ‫آماره‬ ‫یک‬ p − value ‫داشت‬ ‫خواهد‬ ‫کوچک‬ .
  • 167.
    ‫متغیر‬ ‫انتخاب‬  ‫است‬ ‫بهترین‬‫مدل‬ ‫کدام‬ ‫که‬ ‫دهیم‬ ‫تشخیص‬ ‫چگونه‬ ‫؟‬  ‫از‬ ‫توان‬ ‫می‬ ‫مدل‬ ‫یک‬ ‫کیفیت‬ ‫مورد‬ ‫در‬ ‫قضاوت‬ ‫برای‬ ‫های‬ ‫آماره‬ ‫استفاده‬ ‫مختلفی‬ ‫کرد‬ : • Mallow’s Cp • Akaike information criterion (AIC) • Bayesian information criterion (BIC) • adjusted 𝑅2  ‫مختل‬ ‫های‬‫مدل‬ ‫آزمایش‬ ‫با‬ ‫را‬ ‫متغیر‬ ‫انتخاب‬ ،‫آل‬‫ایده‬ ‫حالت‬ ‫در‬ ‫ف‬ ‫کن‬‫بینی‬‫پیش‬ ‫از‬ ‫متفاوت‬ ‫ای‬‫زیرمجموعه‬ ‫شامل‬ ‫کدام‬ ‫هر‬ ‫که‬ ‫ها‬‫نده‬ ‫دهیم‬ ‫می‬ ‫انجام‬ ‫هستند‬ .  ‫اگر‬ ،‫مثال‬ ‫عنوان‬ ‫به‬ p = 2 ‫در‬ ‫را‬ ‫مدل‬ ‫چهار‬ ‫توانیم‬‫می‬ ،‫باشد‬ ‫بگیریم‬ ‫نظر‬ : • y = 𝛽0 + 𝜖 • y = 𝛽0 + 𝛽1𝑥1𝜖 • y = 𝛽0+ 𝛽2𝑥2𝜖 • y = 𝛽0 + 𝛽1𝑥1+ 𝛽2𝑥2𝜖 • ‫ن‬ ‫در‬ ‫که‬ ‫هایی‬‫مدل‬ ‫همه‬ ‫بین‬ ‫از‬ ‫را‬ ‫مدل‬ ‫بهترین‬ ‫توانیم‬‫می‬ ‫سپس‬ ‫ظر‬ ‫کنیم‬ ‫انتخاب‬ ‫ایم‬‫گرفته‬ .
  • 168.
    ‫متغیر‬ ‫انتخاب‬  ‫متاسفانه‬ ،‫متغیر‬‫انتخاب‬ ‫برای‬ ‫ازای‬ ‫به‬ p ‫کننده‬ ‫بینی‬ ‫متغیرپیش‬ ‫در‬ ‫مجموع‬ 2𝑝 ‫خواهیم‬ ‫مختلف‬ ‫مدل‬ ‫داشت‬ .  ‫داریم‬ ‫نیاز‬ ‫ها‬‫مدل‬ ‫از‬ ‫تری‬‫کوچک‬ ‫مجموعه‬ ‫انتخاب‬ ‫برای‬ ‫کارآمد‬ ‫و‬ ‫خودکار‬ ‫رویکرد‬ ‫یک‬ ‫به‬ . .A ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ( Forward selection : ) • ‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬ - ‫که‬ ‫مدلی‬ ‫شامل‬ 𝛽0 ‫است‬ ‫ندارد‬ ‫ای‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫هیچ‬ ‫اما‬ . • ‫سپس‬ p ‫ساده‬ ‫خطی‬ ‫رگرسیون‬ ‫را‬ ‫متغیری‬ ‫و‬ ‫کنیم‬ ‫می‬ ‫برازش‬ ‫که‬ ‫کمترین‬ SSE ‫دارد‬ ‫را‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫تهی‬ ‫مدل‬ ‫به‬ . ‫به‬ ‫را‬ ‫متغیری‬ ‫سپس‬ ‫کمترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫مدل‬ ‫آن‬ SSE ‫را‬ ‫کند‬ ‫می‬ ‫ایجاد‬ ‫جدید‬ ‫متغیره‬ ‫دو‬ ‫مدل‬ ‫برای‬ . ‫تا‬ ‫روش‬ ‫این‬ ‫زمانی‬ ‫برقرار‬ ‫توقف‬ ‫شرط‬ ‫که‬ ‫شود‬ ‫می‬ ‫ادامه‬ ‫یابد‬ . .B ‫عقبگرد‬ ‫انتخاب‬ ( Backward selection : ) • ‫همه‬ ‫با‬ ‫در‬ ‫متغیرها‬ ‫شروع‬ ‫مدل‬ ‫کنیم‬‫می‬ . • ‫که‬ ‫متغیری‬ ‫بیشترین‬ P − value ‫را‬ ‫یعنی‬ ،‫کنیم‬‫می‬ ‫حذف‬ ‫دارد‬ ‫حذف‬ ‫را‬ ‫معنی‬ ‫کمترین‬ ‫آماری‬ ‫نظر‬ ‫از‬ ‫که‬ ‫متغیری‬ ‫دارد‬ . ‫دارای‬ ‫جدید‬ ‫مدل‬ (𝑝 − 1) ‫است‬ ‫متغیر‬ . ‫شرط‬ ‫به‬ ‫رسیدن‬ ‫تا‬ ‫روش‬ ‫این‬ ‫یابد‬ ‫می‬ ‫ادامه‬ ‫توقف‬ . ،‫مثال‬ ‫عنوان‬ ‫به‬ ‫زمانی‬ ‫است‬ ‫ممکن‬ ‫باق‬ ‫متغیرهای‬ ‫همه‬ ‫که‬ ‫یمانده‬ ‫دارای‬ P − value ‫کمتر‬ ‫از‬ ‫مقدار‬ ‫یک‬ ‫آستانه‬ ‫متوقف‬ ‫باشند‬ ‫شویم‬ .
  • 169.
    ‫متغیر‬ ‫انتخاب‬ .C ‫انتخاب‬ ‫مختلط‬ ( Mixed selection ) : • ‫و‬‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫ترکیبی‬ ‫عقب‬ ‫است‬ . • ‫کنیم‬ ‫می‬ ‫شروع‬ ‫تهی‬ ‫مدل‬ ‫با‬ ‫و‬ ‫کند‬ ‫می‬ ‫فراهم‬ ‫را‬ ‫تناسب‬ ‫بهترین‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫اضافه‬ ‫را‬ ‫متغیری‬ ،‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫مانند‬ . ‫ب‬ ‫ه‬ ‫کردن‬ ‫اضافه‬ ‫دهیم‬ ‫می‬ ‫ادامه‬ ‫یک‬ ‫به‬ ‫یک‬ ‫متغیرها‬ . • ،‫البته‬ ،‫مدل‬ ‫به‬ ‫جدید‬ ‫های‬‫کننده‬‫بینی‬‫پیش‬ ‫شدن‬ ‫اضافه‬ ‫با‬ P − values ‫شود‬ ‫تر‬‫بزرگ‬ ‫تواند‬‫می‬ ‫متغیرها‬ ‫برای‬ . ‫اگر‬ ،‫بنابراین‬ ‫ای‬‫نقطه‬ ‫در‬ ، P − value ‫یک‬ ‫از‬ ‫مدل‬ ‫متغیرهای‬ ‫از‬ ‫یکی‬ ‫برای‬ ‫آستانه‬ ‫مقدار‬ ‫کنیم‬‫می‬ ‫حذف‬ ‫مدل‬ ‫از‬ ‫را‬ ‫متغیر‬ ‫آن‬ ،‫رود‬ ‫باالتر‬ ‫خاص‬ . • ‫دارای‬ ‫مدل‬ ‫متغیرهای‬ ‫همه‬ ‫که‬ ‫زمانی‬ ‫تا‬ ‫دهیم‬ ‫می‬ ‫ادامه‬ ‫عقب‬ ‫و‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫مراحل‬ ‫این‬ ‫انجام‬ ‫به‬ P − values ‫باشند‬ ‫پایین‬ ‫کافی‬ ‫اندازه‬ ‫به‬ ،‫شوند‬ ‫اضافه‬ ‫مدل‬ ‫به‬ ‫اگر‬ ‫مدل‬ ‫از‬ ‫خارج‬ ‫متغیرهای‬ ‫همه‬ ‫و‬ P − values ‫داشت‬ ‫خواهند‬ ‫زیادی‬ .
  • 170.
     ‫مهم‬ ‫نکته‬ : • ‫اگر‬ p >n ‫کرد‬ ‫استفاده‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫از‬ ‫توان‬ ‫می‬ ‫همیشه‬ ‫که‬ ‫حالی‬ ‫در‬ ،‫شود‬ ‫نمی‬ ‫استفاده‬ ‫عقبگرد‬ ‫انتخاب‬ ‫از‬ . • ‫اگر‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ ‫در‬ p > n ‫باشد‬ ‫حداکثر‬ ‫با‬ ‫های‬ ‫زیرمدل‬ ‫میتوان‬ ‫تنها‬ ، 𝑛 − 1 ‫روش‬ ‫با‬ ‫زیرمدل‬ ‫هر‬ ‫چون‬ ‫کرد‬ ‫درست‬ ‫متغیر‬ ‫اگر‬ ‫و‬ ‫یابد‬ ‫می‬ ‫برازش‬ ‫مربعات‬ ‫حداقل‬ p ≥ 𝑛 ‫آورد‬ ‫نخواهد‬ ‫دست‬ ‫به‬ ‫فردی‬ ‫به‬ ‫منحصر‬ ‫حل‬ ‫راه‬ ، ‫باشد‬ . • ‫شوند‬ ‫می‬ ‫اضافی‬ ً‫ا‬‫بعد‬ ‫که‬ ‫باشد‬ ‫متغیرهایی‬ ‫شامل‬ ‫است‬ ‫ممکن‬ ‫و‬ ‫است‬ ‫حریصانه‬ ‫رویکرد‬ ‫یک‬ ‫جلو‬ ‫به‬ ‫رو‬ ‫انتخاب‬ . ‫ت‬ ‫انتخاب‬ ‫می‬ ‫رکیبی‬ ‫کند‬ ‫برطرف‬ ‫را‬ ‫مشکل‬ ‫این‬ ‫تواند‬ .
  • 171.
    ‫سوم‬ ‫سوال‬  ‫است؟‬ ‫متناسب‬‫ها‬ ‫داده‬ ‫با‬ ‫چقدر‬ ‫مدل‬ • ،‫مدل‬ ‫برازش‬ ‫عددی‬ ‫معیارهای‬ ‫ترین‬‫رایج‬ ‫از‬ ‫مورد‬ ‫دو‬ RSE ‫و‬ R2 ‫هستند‬ . • ‫مشاهده‬ ‫بر‬ ‫عالوه‬ ‫های‬ ‫آماره‬ RSE ‫و‬ 𝑅2 ، ‫باشد‬ ‫مفید‬ ‫تواند‬ ‫می‬ ‫نیز‬ ‫ها‬ ‫داده‬ ‫ترسیم‬ .
  • 172.
    ‫سوم‬ ‫سوال‬ .A R2 :  𝑅2 ‫ساده‬ ‫خطی‬‫رگرسیون‬ ‫در‬ : ‫متغیر‬ ‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬ ( 𝐶𝑜𝑟(𝑋,𝑌)2 ) ‫است‬ .  𝑅2 ‫خطی‬ ‫رگرسیون‬ ‫در‬ ‫چندگانه‬ : ‫و‬ ‫پاسخ‬ ‫همبستگی‬ ‫مربع‬ ‫معادل‬ ‫شده‬ ‫برازش‬ ‫خطی‬ ‫مدل‬ ( 𝐶𝑜𝑟(𝑌,𝑌)2 ) ‫است‬ . • ‫مقدار‬ 𝑅2 ‫نزدیک‬ ‫به‬ 1 ‫از‬ ‫بزرگی‬ ‫بخش‬ ‫مدل‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫تغییرات‬ ‫دهد‬ ‫می‬ ‫توضیح‬ ‫را‬ ‫پاسخ‬ ‫متغیر‬ ‫در‬ . • ‫با‬ ‫متغیرهای‬ ‫شدن‬ ‫اضافه‬ ‫بیشتر‬ ‫به‬ ‫مدل‬ ، ‫همواره‬ 𝑅2 ‫افزایش‬ ‫یابد‬‫می‬ ‫متغیرها‬ ‫آن‬ ‫اگر‬ ‫حتی‬ ‫با‬ ‫باشند‬ ‫داشته‬ ‫ضعیفی‬ ‫ارتباط‬ ‫پاسخ‬ . ‫چون‬ ‫افزودن‬ ‫مربعات‬ ‫حداقل‬ ‫معادالت‬ ‫به‬ ‫دیگری‬ ‫متغیر‬ ‫به‬ ‫اجازه‬ ‫ما‬ ‫دهد‬ ‫می‬ ‫آموزشی‬ ‫های‬‫داده‬ ‫که‬ ‫را‬ ‫کنیم‬ ‫برازش‬ ‫بیشتری‬ ‫دقت‬ ‫با‬ . ،‫بنابراین‬ ‫آمار‬ ‫ه‬ 𝑅2 ‫هم‬ ‫که‬ ‫آموزشی‬ ‫های‬ ‫داده‬ ‫روی‬ ‫بر‬ ‫محاسبه‬ ،‫شود‬ ‫می‬ ‫یابد‬ ‫می‬ ‫افزایش‬ . • ً‫ا‬‫اساس‬ ، ‫هیچ‬ ‫سبب‬ ‫دارد‬ ‫پاسخ‬ ‫با‬ ‫ضعیفی‬ ‫ارتباط‬ ‫که‬ ‫متغیری‬ ‫کردن‬ ‫اضافه‬ ‫مدل‬ ‫در‬ ‫واقعی‬ ‫بهبود‬ ‫نمیشود‬ ‫گنجاندن‬ ‫و‬ ‫احتماال‬ ‫آن‬ ‫به‬ ‫دلیل‬ ‫برازش‬ ‫حد‬ ‫از‬ ‫بیش‬ ( overfitting ) ، ‫منجر‬ ‫مستقل‬ ‫آزمایشی‬ ‫های‬‫نمونه‬ ‫در‬ ‫ضعیف‬ ‫نتایج‬ ‫به‬ ‫شود‬‫می‬ .
  • 173.
    ‫سوم‬ ‫سوال‬ .B RSE : • 𝑅𝑆𝐸= 𝑅𝑆𝑆 𝑛−(𝑝+1) • ‫اگر‬ ‫کاهش‬ RSS ‫نسبت‬ ‫افزایش‬ ‫به‬ p ‫کم‬ ‫توانند‬‫می‬ ‫بیشتر‬ ‫متغیرهای‬ ‫با‬ ‫هایی‬‫مدل‬ ،‫باشد‬ RSE ‫باشند‬ ‫داشته‬ ‫باالتری‬ .
  • 174.
    ‫سوم‬ ‫سوال‬ .C ‫ها‬ ‫داده‬‫ترسیم‬ : • ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫نیستند‬ ‫مشاهده‬ ‫قابل‬ ‫عددی‬ ‫ی‬ ‫آماره‬ ‫از‬ ‫که‬ ‫مدل‬ ‫یک‬ ‫مشکالت‬ ‫از‬ ‫بعضی‬ ‫ها‬ ‫داده‬ ‫ترسیم‬ . • ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫فروش‬ ‫مقابل‬ ‫در‬ ‫رادیو‬ ‫و‬ ‫تلویزیون‬ ‫بعدی‬ ‫سه‬ ‫نمودار‬ ‫شکل‬ .
  • 175.
    ‫سوم‬ ‫سوال‬ • ‫از‬ ‫دارد‬ ‫وجود‬‫ها‬ ‫داده‬ ‫در‬ ‫مشخص‬ ‫غیرخطی‬ ‫رابطه‬ ‫یک‬ ‫که‬ ‫دریافت‬ ‫توان‬ ‫می‬ ،‫ها‬ ‫باقیمانده‬ ‫الگوی‬ . • ‫مثبت‬ ‫های‬ ‫باقیمانده‬ ( ‫هستند‬ ‫مشاهده‬ ‫قابل‬ ‫سطح‬ ‫باالی‬ ‫در‬ ‫که‬ ‫آنهایی‬ ) ‫خط‬ ‫امتداد‬ ‫در‬ ، 45 ‫تلویزیون‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫دارند‬ ‫قرار‬ ‫درجه‬ ‫شود‬ ‫می‬ ‫تقسیم‬ ‫مساوی‬ ‫طور‬ ‫به‬ ‫رادیو‬ ‫و‬ . • ‫منفی‬ ‫های‬ ‫باقیمانده‬ ( ‫اکثرا‬ ‫نیستند‬ ‫مشاهده‬ ‫قابل‬ ) ‫نابرابر‬ ‫ها‬ ‫بودجه‬ ‫که‬ ‫جایی‬ ،‫بگیرند‬ ‫فاصله‬ ‫خط‬ ‫این‬ ‫از‬ ‫دارند‬ ‫تمایل‬ ، ‫هستند‬ ‫تر‬ . • ‫هم‬ ‫اثر‬ ‫یک‬ ‫این‬ ‫افزایی‬ ( synergy ) ‫یا‬ ‫تعاملی‬ ( interaction ) ‫ترکیب‬ ‫آن‬ ‫موجب‬ ‫به‬ ‫که‬ ‫دهد‬ ‫می‬ ‫نشان‬ ‫را‬ ‫تبلیغاتی‬ ‫های‬ ‫رسانه‬ ‫بین‬ ‫با‬ ‫ها‬ ‫رسانه‬ ، ‫هم‬ ‫واحد‬ ‫رسانه‬ ‫هر‬ ‫از‬ ‫استفاده‬ ‫به‬ ‫نسبت‬ ‫فروش‬ ‫افزایش‬ ‫به‬ ‫منجر‬ ‫می‬ ‫شود‬ .
  • 176.
    ‫چهارم‬ ‫سوال‬  ‫کنیم‬ ‫بینی‬‫پیش‬ ‫باید‬ ‫را‬ ‫پاسخی‬ ‫مقدار‬ ‫چه‬ ،‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫به‬ ‫توجه‬ ‫با‬ ‫ما‬ ‫بینی‬ ‫پیش‬ ‫و‬ ‫است‬ ‫دقیق‬ ‫چقدر‬ ‫؟‬ • ‫پاسخ‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫زیر‬ ‫رابطه‬ ‫از‬ Y ‫های‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫برای‬ ‫مقادیر‬ ‫مجموعه‬ ‫یک‬ ‫اساس‬ ‫بر‬ 𝑋1 ، 𝑋2 ، ... ، 𝑋𝑝 ‫میکنیم‬ ‫استفاده‬ . 𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝  ‫دارد‬ ‫وجود‬ ‫بینی‬‫پیش‬ ‫این‬ ‫با‬ ‫مرتبط‬ ‫قطعیت‬ ‫عدم‬ ‫نوع‬ ‫سه‬ . .I ‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬ ‫ضرایب‬ ( ‫پذیر‬ ‫کاهش‬ ‫خطای‬ ) .II ‫خطی‬ ‫مدل‬ ‫قطعیت‬ ‫عدم‬ ( ‫پذیر‬ ‫کاهش‬ ‫خطای‬ ) .III ‫تصادفی‬ ‫خطای‬ ( ‫کاهش‬ ‫غیرقابل‬ ‫خطای‬ )
  • 177.
    ‫چهارم‬ ‫سوال‬ .1  ‫ضرایب‬ 𝛽0 ، 𝛽1 ، ... ، 𝛽𝑝 ‫برای‬ ‫برآوردهایی‬ 𝛽0 ، 𝛽1 ، ... ، 𝛽𝑝 ‫هستند‬ . • ‫مربعات‬‫حداقل‬ ‫صفحه‬ ‫بنابرای‬ 𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝 • ‫باشد‬ ‫می‬ ‫واقعی‬ ‫جمعیت‬ ‫رگرسیون‬ ‫ی‬ ‫صفحه‬ ‫برای‬ ‫برآوردی‬ ‫نیز‬ . f(X) = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + … + 𝛽𝑝𝑋𝑝  ‫به‬ ‫مربوط‬ ‫ضرایب‬ ‫برآورد‬ ‫در‬ ‫دقت‬ ‫عدم‬ « ‫پذیر‬ ‫کاهش‬ ‫خطای‬ » ‫است‬ .  ‫کنیم‬ ‫مشخص‬ ‫تا‬ ‫کنیم‬ ‫محاسبه‬ ‫را‬ ‫اطمینان‬ ‫فاصله‬ ‫یک‬ ‫توانیم‬ ‫می‬ 𝑌 ‫به‬ f(X) ‫چقدر‬ ‫نزدیک‬ ‫بود‬ ‫خواهد‬ .
  • 178.
    ‫متوسط‬ ‫پاسخ‬ ‫برای‬‫اطمینان‬ ‫ی‬ ‫فاصله‬  ‫متوسط‬ ‫پاسخ‬ ‫برای‬ ‫اطمینان‬ ‫فاصله‬ 𝜇𝑌 ‫که‬ ‫زمانی‬ ، ‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬ 𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇 ‫باشد‬ : ‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫حاشیه‬ ‫خطا‬ ‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error) ‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (t_multiplier × 𝑆𝐸(𝑦ℎ)) ‫اطمینان‬ ‫فاصله‬ = 𝑦ℎ ± (𝑡𝛼 2 ,𝑛− 𝑝+1 × 𝑀𝑆𝐸(𝑋ℎ 𝑇 (𝑋𝑇𝑋)−1𝑋ℎ)) • 𝑦ℎ « ‫شده‬ ‫برازش‬ ‫مقدار‬ » ‫یا‬ « ‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬ » ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬ 𝑋ℎ ‫باشد‬ ‫می‬ . • ‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬ ( 𝑀𝑆𝐸 ) ‫آن‬ ‫مخرج‬ ‫که‬ 𝑛 − 𝑝 + 1 ‫است‬ ، ‫میکند‬ ‫استفاده‬ ‫بنابراین‬ t_multiplier ‫دارای‬ ‫آزادی‬ ‫ی‬ ‫درجه‬ 𝑛 − 𝑝 + 1 ‫باشد‬ ‫می‬ .
  • 179.
    ‫متوسط‬ ‫پاسخ‬ ‫برای‬‫اطمینان‬ ‫ی‬ ‫فاصله‬  ‫اعتماد‬ ‫سطح‬ ‫با‬ ‫اطمینان‬ ‫ی‬ ‫فاصله‬ 95% ، ‫احتمال‬ ‫یعنی‬ 95% ‫وجود‬ ‫که‬ ‫دارد‬ ‫واقعی‬ ‫خط‬ ‫جمعیت‬ ( ‫از‬ ‫یک‬ ‫هر‬ ‫مثال‬ ‫عنوان‬ ‫به‬ ‫راست‬ ‫سمت‬ ‫شکل‬ ‫در‬ ‫خطوط‬ ) ‫فاصله‬ ‫در‬ ‫اطمینان‬ ( ‫چین‬ ‫نقطه‬ ‫خط‬ ‫دو‬ ‫بین‬ ‫فضای‬ ) ‫باشد‬ ‫داشته‬ ‫قرار‬ .
  • 180.
    ‫متوسط‬ ‫پاسخ‬ ‫برای‬‫اطمینان‬ ‫ی‬ ‫فاصله‬  ‫فاصله‬ ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬ ‫برای‬ ‫اطمینان‬ 𝜇𝑌 ‫است‬ ‫مناسب‬ ‫؟‬ • ‫که‬ ‫زمانی‬ 𝑋ℎ ‫در‬ ‫محدوده‬ « ‫مدل‬ » ‫باشد‬ . ‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬ ‫ندارد‬ ‫لزومی‬ ‫که‬ 𝑋ℎ ‫یک‬ ‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬ ‫باشد‬ ‫داده‬ . • ‫وقتی‬ ‫شرایط‬ ‫خطی‬ ‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬ ‫و‬ ‫نرمال‬ ‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬ ‫باشد‬ ‫برقرار‬ ‫به‬ ‫فرمول‬ ‫می‬ ‫کار‬ ‫خوبی‬ ‫کند‬ . • ‫توزیع‬ ‫اگر‬ ‫باشد‬ ‫نرمال‬ ً‫ا‬‫تقریب‬ ‫خطا‬ ‫و‬ ‫عبارات‬ ، ‫نمونه‬ ‫بودن‬ ‫بزرگ‬ ‫صورت‬ ‫در‬ ‫حتی‬ ‫خطا‬ ‫میتوانند‬ ‫ز‬ ‫حد‬ ‫تا‬ ‫از‬ ‫یادی‬ ‫حالت‬ ‫نرمال‬ ‫منحرف‬ ‫شوند‬ .
  • 181.
    ‫چهارم‬ ‫سوال‬ .2 • ‫در‬ ‫برای‬ ‫خطی‬‫مدل‬ ‫یک‬ ‫فرض‬ ‫عمل‬ f(X) ، ً‫ا‬‫تقریب‬ ‫واقعیت‬ ‫از‬ ‫تقریبی‬ ‫همیشه‬ ‫است‬ . ‫ق‬ ‫بالقوه‬ ‫خطای‬ ‫از‬ ‫اضافی‬ ‫منبع‬ ‫یک‬ ‫بنابراین‬ ‫کاهش‬ ‫ابل‬ ‫را‬ ‫آن‬ ‫ما‬ ‫که‬ ‫دارد‬ ‫وجود‬ « ‫مدل‬ ‫بایاس‬ » ‫نامیم‬ ‫می‬ . • ‫برای‬ ‫را‬ ‫خطی‬ ‫تقریب‬ ‫بهترین‬ ‫واقع‬ ‫در‬ ،‫کنیم‬ ‫می‬ ‫استفاده‬ ‫خطی‬ ‫مدل‬ ‫یک‬ ‫از‬ ‫وقتی‬ ‫ی‬ ‫رویه‬ ‫زنیم‬ ‫می‬ ‫تخمین‬ ‫واقعی‬ . ‫در‬ ،‫حال‬ ‫این‬ ‫با‬ ‫این‬ ‫ما‬ ‫اینجا‬ ‫است‬ ‫درست‬ ‫خطی‬ ‫مدل‬ ‫گویی‬ ‫که‬ ‫کنیم‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫گونه‬ ‫به‬ ‫و‬ ‫گیریم‬ ‫می‬ ‫نادیده‬ ‫را‬ ‫اختالف‬ . .3 • ‫اگر‬ ‫حتی‬ f(X) ‫دانستیم‬ ‫می‬ ‫را‬ - ‫مقادیر‬ ‫اگر‬ ‫حتی‬ ‫یعنی‬ ‫واقعی‬ 𝛽0 ، 𝛽1 ، ... ، 𝛽𝑝 ‫دانستیم‬ ‫می‬ ‫را‬ - ، ‫مدل‬ ‫در‬ ‫تصادفی‬ ‫خطای‬ ‫دلیل‬ ‫به‬ ‫مقدار‬ ‫طور‬ ‫به‬ ‫توان‬ ‫نمی‬ ‫را‬ ‫پاسخ‬ ‫پیش‬ ‫دقیق‬ ‫بینی‬ ‫کرد‬ . ‫این‬ « ‫ناپذیر‬ ‫کاهش‬ ‫خطای‬ » ‫است‬ . • Y ‫چقدر‬ ‫از‬ 𝑌 ‫متفاوت‬ ‫از‬ ‫سوال‬ ‫این‬ ‫به‬ ‫پاسخ‬ ‫برای‬ ‫بود؟‬ ‫خواهد‬ « ‫فواصل‬ ‫پیش‬ ‫بینی‬ » ‫کنیم‬ ‫می‬ ‫استفاده‬ .
  • 182.
    ‫جدید‬ ‫پاسخ‬ ‫یک‬‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬  ‫جدید‬ ‫پاسخ‬ ‫بینی‬‫پیش‬ ‫بازه‬ 𝑦𝑛𝑒𝑤 ، ‫کننده‬‫بینی‬‫پیش‬ ‫مقادیر‬ ‫که‬ ‫زمانی‬ 𝑋ℎ = (1,𝑋ℎ,1,𝑋ℎ,2, … ,𝑋ℎ,𝑝)𝑇 ‫هستند‬ : ‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± ‫خطا‬ ‫حاشیه‬ ‫اطمینان‬ ‫فاصله‬ = ‫شده‬ ‫برآورد‬ ‫مقدار‬ ± (t_multiplier × standard error) ‫فاصله‬ ‫اطمینان‬ = 𝑦ℎ ± (𝑡𝛼 2 ,𝑛− 𝑝+1 × 𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2) • 𝑦ℎ « ‫شده‬ ‫برازش‬ ‫مقدار‬ » ‫یا‬ « ‫شده‬ ‫بینی‬ ‫پیش‬ ‫مقدار‬ » ‫ی‬ ‫کننده‬ ‫بینی‬ ‫پیش‬ ‫مقادیر‬ ‫ازای‬ ‫به‬ ‫پاسخ‬ 𝑋ℎ ‫باشد‬ ‫می‬ . • ‫ی‬ ‫فاصله‬ ‫بینی‬ ‫پیش‬ ‫خطا‬ ‫مربعات‬ ‫میانگین‬ ‫از‬ ( 𝑀𝑆𝐸 ) ‫آن‬ ‫مخرج‬ ‫که‬ 𝑛 − 𝑝 + 1 ‫میکند‬ ‫استفاده‬ ، ‫است‬ . ‫بنابراین‬ t_multiplier ‫دارای‬ ‫آزادی‬ ‫ی‬ ‫درجه‬ 𝑛 − 𝑝 + 1 ‫باشد‬ ‫می‬ . • 𝑀𝑆𝐸 + [𝑆𝐸(𝑦ℎ)]2 « ‫بینی‬ ‫پیش‬ ‫استاندارد‬ ‫خطای‬ » ، ‫است‬ ‫شبیه‬ ‫بسیار‬ ‫که‬ « ‫برازش‬ ‫استاندارد‬ ‫خطای‬ » ‫برآورد‬ ‫هنگام‬ 𝜇𝑌 ‫باشد‬ ‫می‬ .
  • 183.
    « ‫فاصله‬ ‫پیش‬ ‫بینی‬ » 𝑣𝑠 « ‫اطمینان‬ ‫ی‬ ‫فاصله‬ »  ‫ارتباط‬ « ‫خطای‬ ‫استاندارد‬ ‫بینی‬‫پیش‬ » ‫با‬ « ‫خطای‬ ‫استاندارد‬ ‫برازش‬ » : • ‫تغییرپذیری‬ ‫بستگی‬‫جزء‬ ‫دو‬ ‫به‬ ‫جدید‬ ‫پاسخ‬ ‫یک‬ ‫بینی‬ ‫پیش‬ ‫در‬ ‫دارد‬ :  ‫برآورد‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬ 𝜇𝑌 ‫با‬ ‫را‬ ‫آن‬ ‫که‬ 𝜎2 (𝑌ℎ) ‫میدهیم‬ ‫نشان‬ ( ‫کمیت‬ ‫این‬ « ‫خطای‬ ‫استاندارد‬ ‫برازش‬ » ‫اطمینان‬ ‫فاصله‬ ‫فرمول‬ ‫در‬ ‫که‬ ‫است‬ ‫می‬ ‫ظاهر‬ ‫شود‬ .)  ‫که‬ ‫تصادفی‬ ‫خطای‬ ‫از‬ ‫ناشی‬ ‫تغییرات‬ ‫را‬ ‫آن‬ ‫با‬ 𝜎2 ‫دهیم‬‫می‬ ‫نشان‬ ( ‫خطای‬ ‫مربعات‬ ‫میانگین‬ ‫با‬ MSE ‫تخمین‬ ‫شود‬ ‫می‬ ‫زده‬ .) • ‫مولفه‬ ‫دو‬ ‫کردن‬ ‫اضافه‬ ‫با‬ ‫تغییرات‬ : 𝜎2 + 𝜎2 𝑌ℎ = MSE + [𝑆𝐸(𝑦ℎ)]2
  • 184.
    « ‫بینی‬ ‫پیش‬ ‫فاصله‬ » 𝑣𝑠 « ‫اطمینان‬‫ی‬ ‫فاصله‬ »  ‫توجه‬ ‫روی‬ ‫بر‬ ‫بازه‬ ‫دو‬ ‫هر‬ ‫که‬ ‫باشید‬ ‫داشته‬ 𝑦 ( ‫شده‬ ‫برازش‬ ‫رگرسیون‬ ‫خط‬ ) ‫متمرکز‬ ‫اط‬ ‫فاصله‬ ‫از‬ ‫تر‬‫وسیع‬ ‫ای‬‫مالحظه‬ ‫قابل‬ ‫طور‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫اما‬ ،‫اند‬‫شده‬ ‫مینان‬ ‫است‬ .  ‫حاوی‬ ‫احتماال‬ ‫اطمینان‬ ‫فاصله‬ « ‫واقعی‬ ‫مقدار‬ f(X) » ‫است‬ ، ‫پیش‬ ‫فاصله‬ ‫که‬ ‫حالی‬ ‫در‬ ‫حاوی‬ ‫احتماال‬ ‫بینی‬ « ‫واقعی‬ ‫مقدار‬ y » ‫است‬ .  ‫خطا‬ ‫هم‬ ‫زیرا‬ ،‫هستند‬ ‫اطمینان‬ ‫فواصل‬ ‫از‬ ‫تر‬‫وسیع‬ ‫همیشه‬ ‫بینی‬‫پیش‬ ‫فواصل‬ ‫در‬ ‫تخمین‬ f(X) ( ‫پذیر‬ ‫کاهش‬ ‫خطای‬ ) ‫نقطه‬ ‫یک‬ ‫اینکه‬ ‫مورد‬ ‫در‬ ‫قطعیت‬ ‫عدم‬ ‫هم‬ ‫و‬ ‫داشت‬ ‫خواهد‬ ‫تفاوت‬ ‫جمعیت‬ ‫رگرسیون‬ ‫صفحه‬ ‫با‬ ‫چقدر‬ ‫منفرد‬ ( ‫ناپ‬‫کاهش‬ ‫خطای‬ ‫ذیر‬ ) ‫گیرد‬‫می‬ ‫بر‬ ‫در‬ ‫را‬ .
  • 185.
    ‫جدید‬ ‫پاسخ‬ ‫یک‬‫برای‬ ‫بینی‬ ‫پیش‬ ‫فاصله‬  ‫فرمول‬ ‫از‬ ‫استفاده‬ ‫زمانی‬ ‫چه‬ ‫برای‬ ‫بینی‬ ‫پیش‬ ‫بازه‬ 𝑦𝑛𝑒𝑤 ‫است؟‬ ‫مناسب‬  ‫دراستفاده‬ ‫هستند‬ ‫اطمینان‬ ‫فاصله‬ ‫به‬ ‫مربوط‬ ‫موارد‬ ‫از‬ ‫محدودتر‬ ‫کمی‬ ‫اما‬ ،‫مشابه‬ ‫شروط‬ ‫بینی‬ ‫پیش‬ ‫ی‬ ‫فاصله‬ ‫از‬ . • ‫که‬ ‫زمانی‬ 𝑋ℎ ‫محدوده‬ ‫در‬ « ‫مدل‬ » ‫باشد‬ . ‫باشید‬ ‫داشته‬ ‫توجه‬ ،‫اما‬ ‫ندارد‬ ‫لزومی‬ ‫که‬ 𝑋ℎ ‫یک‬ ‫داده‬ ‫مجموعه‬ ‫در‬ ‫واقعی‬ ‫مشاهده‬ ‫باشد‬ . • ‫ک‬ ‫خوبی‬ ‫به‬ ‫فرمول‬ ‫باشد‬ ‫برقرار‬ ‫مساوی‬ ‫خطای‬ ‫های‬ ‫واریانس‬ ‫و‬ ‫نرمال‬ ‫خطاهای‬ ،‫مستقل‬ ‫خطاهای‬ ،‫بودن‬ ‫خطی‬ ‫شرایط‬ ‫وقتی‬ ‫ار‬ ‫کند‬ ‫می‬ . • ‫برخالف‬ ‫به‬ ‫شدت‬ ‫به‬ ‫بینی‬‫پیش‬ ‫فاصله‬ ‫فرمول‬ ،‫اطمینان‬ ‫فاصله‬ ‫فرمول‬ ‫نرمال‬ ‫توزیع‬ ‫شرط‬ ‫خطا‬ ‫عبارات‬ ‫بستگی‬ ‫دارد‬ .