4. ماشین یادگیری تعریف
From Mitchell (1997: 2):
A computer program is said to learn from
experience E with respect to some class of
tasks T and performance measure P, if its
performance at tasks in T, as measured by P,
improves with experience E.
From Witten and Frank (2000: 6):
Things learn when they change their behavior in a
way that makes them perform better in the future.
In practice this means:
We have sets of examples from which we want to extract regularities.
4
7. مراجع
درس کتاب
:
Machine learning by Tom Mitchell, McGraw Hill, 1997.
مراجع سایر
Artificial Intelligence: A Modern Approach, By Stuart J.
Russell and Peter Norvig, 2nd Edition.
Reinforcement learning: An introduction, By Richard S.
Sutton & Andrew G Barto.
Introduction to machine learning by Nils J. Nilson.
7
9. درس سیالبس
Introduction
Learning Concept
Decision Tree Learning
Artificial Neural Networks
Evaluating Hypothesis
Bayesian Learning & Networks
Computational Learning Theory
Learning based Instance
Algorithms Genetic
Reinforcement Learning
SupportVector Machine (SVM)
9
مقدمه
مفهوم
یادگیری
یادگیری
با
درخت
تصمیم
شبکه
مصنوعی عصبی های
فرضیه ارزیابی
و بیزین یادگیری
شبکه
بیزی باور های
یادگیری تئوری
محاسباتی
یادگیری
بر مبتنی
نمونه
ژنتیک الگوریتم
ی
تقویتی ادگیری
پشتیبان بردار ماشین
12. یادگیری کاربردهای از برخی
ماشین
روباتها کنترل
کاوی داده
گفتار تشخیص
متن شناسائی
داده پردازش
اینترنتی های
Bioinformatics
کامپیوتری بازیهای
12
15. ماشین و انسان یادگیری
است؟ چگونه انسان یادگیری
طریق از انسان
بیرونی محیط با تعامل
می یاد
گیرد
.
است؟ چگونه ماشین یادگیری
طریق از
برنامه نوشتن
می
بکند باید چه که گفت ماشین به توان
.
طریق از
متعدد مثالهای نمایش
می
یادگیری به وادار را ماشین توان
نمود
.
می ماشین
طریق از تواند
واقعی محیط تجربه
بگیرید یاد
.
15
16. تکنیک
یادگیری مختلف های
استقرایی یادگیری
(Inductive)
متعدد مثالهای مبنای بر یادگیری که
می انجام
شود
.
درخت مثل
تصمیم های
یادگیری
Connectionist
صورت بشر مغز مدل مبنای بر یادگیری که
می
پذیرد
.
شبکه مثل
مصنوعی عصبی های
یادگیری
Bayesian
فرضیه که
ارائه داده مورد در مختلفی های
می
شود
.
یادگیری
Reinforcement
استفاده محیط در تجربه و سنسورها از که
می
شود
.
یادگیری
Evolutionary
16
19. یادگیرنده عنصر
(Learning element)
است زیر عوامل تاثیر تحت یادگیرنده عنصر طراحی
:
دارند آموزش قابلیت اجرایی عنصر اجزاء از کدامیک
.
است موجود اجزا این آموزش برای بازخوردی چه
.
است شده گرفته بکار اجزا این برای دانشی نمایش شیوه چه
.
بازخورد انواع
:
ناظر با یادگیری
(Supervised learning)
:
چند برای درست جوابهای داشتن
مثال
.
ناظر بدون یادگیری
(Unsupervised learning)
:
جوابهای به دسترسی عدم
درست
.
19
21. ناظر با یادگیری از مثالی
یک
پایگاه
داده
شامل
قیمت
50
خانه
و
مساحت
خانه
ها
وجود
دارد
چگونه
می
توان
نرخ
خانه
ها
را
بر
اساس
تابعی
از
اندازه
آنها
یاد
گرفت؟
21
مساحت
قیمت
560
1012
893
2196
936
37
79
76
130
82
22. ناظر با یادگیری از مثالی
خانه مساحت
Input feature: x(i) =
خانه قیمت
Output feature: y(i) =
< x(i), y(i) >
یادگیری مثال
{x(i), y(i) , i=1:m}
یادگیری مجموعه
عمل
یادگیری
:
با
داشتن
یک
مجموعه
یادگیری
می
خواهیم
تابعی
بصورت
h: xy
یاد
بگیریم
که
h(x)
بتواند
مقدار
y
را
بخوبی
حدس
بزند
.
این
تابع
فرضیه
و
یا
hypothesis
نامیده
می
شود
.
22
24. 24
استقرایی یادگیری
Inductive
learning
است ناظر با یادگیری شیوه یک
.
یادگیری شکل ترینساده
:
مثال چند روی از تابع یک یادگیری
f
هدف تابع
مورد
،است نظر
یک
مثال
شکل به مرتبی زوج تابع این از
(x, f(x))
باشدمی
.
تابع یافتن ما مساله
فرضیه
h
که نحوی به است
:
باشد منطبق اصلی تابع به ممکن حد تا که
:
h ≈ f
یک ما ورودی
آموزشی مجموعه
(training set)
باشدمی مثال چندین حاوی
.
25. 25
استقرایی یادگیری روش
تابع تنظیم یا و ایجاد
h
آموزشی مجموعه روی که نحوی به
با
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
باشد داشته تطابق مثالها تمام روی
.
روش مشابه
منحنى برازاندن
(Curve fitting)
26. 26
استقرایی یادگیری روش
تابع تنظیم یا و ایجاد
h
آموزشی مجموعه روی که نحوی به
با
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
باشد داشته تطابق مثالها تمام روی
.
روش مشابه
منحنى برازاندن
(Curve fitting)
27. 27
استقرایی یادگیری روش
تابع تنظیم یا و ایجاد
h
آموزشی مجموعه روی که نحوی به
با
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
باشد داشته تطابق مثالها تمام روی
.
روش مشابه
منحنى برازاندن
(Curve fitting)
28. 28
استقرایی یادگیری روش
تابع تنظیم یا و ایجاد
h
آموزشی مجموعه روی که نحوی به
با
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
باشد داشته تطابق مثالها تمام روی
.
روش مشابه
منحنى برازاندن
(Curve fitting)
29. 29
استقرایی یادگیری روش
تابع تنظیم یا و ایجاد
h
آموزشی مجموعه روی که نحوی به
با
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
باشد داشته تطابق مثالها تمام روی
.
روش مشابه
منحنى برازاندن
(curve fitting)
30. 30
تابع تنظیم یا و ایجاد
h
با آموزشی مجموعه روی که نحوی به
f
باشد داشته تطابق
.
تابع
h
تابع یک
سازگار
(consistent)
با اگر بود خواهد
f
تمام روی
باشد داشته تطابق مثالها
.
روش مشابه
منحنى برازاندن
(curve fitting)
اصل
Ockham
:
ترینساده
است ترجیح مورد سازگار فرضیه
.
استقرایی یادگیری روش
31. 31
تصمیم درخت با یادگیری
Decision trees
مساله
:
تصمیم
میز یک شدن خالی برای نکردن یا کردن صبر مورد در گیری
زیر صفات روی شرایط به توجه با رستوران یک در
:
.1
Alternate
:
وجود رستوران این نزدیکی در جایگزینی رستوران آیا
دارد؟
.2
Bar
:
رستوران در انتظار زمان در نوشیدنی صرف برای محلی آیا
دارد؟ وجود
.3
Fri/Sat
:
است؟ هفته آخر روز یک امروز آیا
.4
Hungry
:
است؟ چقدر ما گرسنگی میزان
.5
Patrons
:
چندتاست؟ رستوران در موجود مشتریان تعداد
(None, Some,
Full)
.6
Price
:
چیست؟ رستوران قیمت محدوده
($, $$, $$$)
.7
Raining
:
بارد؟می رستوران خارج در باران آیا
.8
Reservation
:
خیر؟ یا ایمداده انجام رزرو قبل از آیا
.9
Type
:
است؟ نوعی چه از رستوران
(French, Italian, Thai, Burger)
.10
WaitEstimate
:
است؟ چقدر انتظار تخمینی زمان
(0-10, 10-30, 30-60,
>60)
32. 32
صفت بر مبتنی نمایشهای
Attribute-based representations
بوسیله مثالها
صفات مقادیر
(
پیوسته ،گسسته ،بولی
)
شوندمی توصیف
.
با مثالها
مثبت
(T)
و
منفی
(F)
اندشده بندیطبقه
.
34. 34
توصیف قابلیت
Expressiveness
دارا را ورودی صفات از تابعی هر توصیف قابلیت تصمیم درختهای
باشندمی
.
توسط حقیقت جدول یک با شده بیان بولی تابع هر دیگر عبارت به
است توصیف قابل تصمیم درخت
.
مسیر یک جدول سطر هر حال این در
است برگ تا ریشه از
.
وجود سازگار تصمیم درخت یک آموزشی مجموعه هر برای بنابراین
،دارد
(
تابع اینکه مگر
f
باشد قطعی غیر
)
وجود احتمال این اما
نباشند تعمیم قابل درخت در جدید مثالهای که دارد
.
تصمیم درختهای با ترجیح
فشرده
است
.
35. 35
فرضیه فضاهای
Hypothesis
spaces
سوال
:
تصمیم درخت چند
(
فرضیه
)
برای متمایز
n
بولی صفت
دارد؟ وجود
=
با توانمی که متمایز بولی توابع تعداد
n
بولی صفت
ساخت
.
=
با متمایز حقیقت جداول تعداد
2n
سطر
=
22n
.
برای مثال بطور
6
بولی صفت
18،446،744،073،709،551،616
دارد وجود درخت
.
36. 36
فرضیه فضاهای
Hypothesis
spaces
سوال
:
تصمیم درخت چند
(
فرضیه
)
برای متمایز
n
بولی صفت
دارد؟ وجود
=
با توانمی که متمایز بولی توابع تعداد
n
ساخت بولی صفت
.
=
با متمایز حقیقت جداول تعداد
2n
سطر
=
22n
.
برای مثال بطور
6
بولی صفت
18،446،744،073،709،551،616
دارد وجود درخت
.
سوال
:
دارد؟ وجود خالص عطفی فرضیه چند
عطفی فرضیه هر
(
نظیر
Hungry Rain
)
برگ تا ریشه از مسیر یک
است تصمیم درخت در
.
بدون یا منفی ،مثبت نقش عطفی فرضیه یک در است ممکن صفت هر
باشد داشته تاثیر
.
برای نتیجه در
n
،صفت
3n
دارد وجود متمایز عطفی فرضیه
.
شودمی باعث فرضیه فضای حجم افزایش
:
یابد افزایش هدف تابع توصیف شانس
.
آموزشی مجموعه با سازگار هایفرضیه تعداد افزایش باعث دیگر طرف از
شودمی
شودمی بیشتر نیز غاط بینی پیش احتمال نتیجه در و
.
یک فضا این در تا داریم هوشمند الگوریتم یک به نیاز پس
درخت
بیابد سازگار
.
39. 39
اطالعات تئوری از استفاده
پیاده در
سازی
Choose-Attribute
الگوریتم در
DTL
از
اطالعاتی محتوای
(
انتروپی
)
می استفاده
شود
.
حاوی آموزشی مجموعه یک برای
p
و مثبت مثال
n
منفی مثال
:
n
p
n
n
p
n
n
p
p
n
p
p
n
p
n
n
p
p
I
2
2 log
log
)
,
(
)
P(v
)
-P(v
))
, P(v
),
I(P(v
n
i i
i
n
1 2
1 log
40. 40
اطالعات تئوری از استفاده
داریم منفی و مثبت کالس دو حالتیکه در
:
اگر
I=0
کالس یک در مثالها همه یعنی باشد
هستند
.
اگر
I=1
و کالس یک در مثالها نصف یعنی باشد
هستند دوم کالس در دیگر نصف
.
41. 41
اطالعات بهره
Information
gain
نظیر منتخب صفت یک
A
آموزشی مجموعه
E
زیرمجموعه به را
هاای
E1, … , Ev
مقادیر اساس بر
A
می تقسیم
نماید
.
آنکاه فرض با
A
دارای
v
است متمایز مقدار
.
صفت اطالعات میزان
A
اسات عبارت
از
:
اطالعات بهره
(IG)
اطالعاات میازان و انتروپای تفریق حاصل که
صفت
A
است صفت انتخاب برای مناسبی معیار است
.
که شودمی انتخاب صفتی
بیشترین
اطالعات بهره مقدار
(IG)
را
باشد داشته
.
v
i i
i
i
i
i
i
i
i
n
p
n
n
p
p
I
n
p
n
p
A
remainder
1
)
,
(
)
(
)
(
)
,
(
)
( A
remainder
n
p
n
n
p
p
I
A
IG
42. 42
داریم شده ذکر آموزشی مجموعه برای
:
p = n = 6, I(6/12, 6/12) = 1 bit
صفات مجموعه این برای
Patrons
و
Type
بگیرید نظر در را
(
سایر همچنین و
صفات
:)
صفت مجموعه این در
Patrons
بیشترین
IG
به پس داراست صفات سایر به نسبت را
الگوریتم توسط درخت ریشه عنوان
DTL
شودمی انتخاب
bits
0
)]
4
2
,
4
2
(
12
4
)
4
2
,
4
2
(
12
4
)
2
1
,
2
1
(
12
2
)
2
1
,
2
1
(
12
2
[
1
)
(
bits
0541
.
)]
6
4
,
6
2
(
12
6
)
0
,
1
(
12
4
)
1
,
0
(
12
2
[
1
)
(
I
I
I
I
Type
IG
I
I
I
Patrons
IG
اطالعات بهره
Information
gain
43. 43
مثال
شده داده آموزش تصمیم درخت
با
12
مثال
:
است واقعی فرضیه درخت از ترساده درخت این
.
پیچیده هایفرضیه کوچک آموزشی هایمجموعه اساسا
کندنمی ایجاد
.
44. 44
اندازه
کارایی گیری
Performance
measurement
چگونه
توانمی
که شد مطمئن
h ≈ f
؟
.1
از استفاده
قضایای
محاسباتی
/
اطالعات تئوری آماری
.
.2
آزمایش
h
یک روی
جدید آزمایشی مجموعه
.
(
امتحان
الگوریتم
روی
هایاندازه
تست و آموزشی مجموعه از متفاوت
باقیمانده روی
هاداده
آزمایشی مجموعه عنوان به
)
آموزش منحنی
=
به نسبت آزمایشی مجموعه روی پاسخ درستی درصد
آموزشی مجموعه اندازه
46. 46
حد از بیش تطبیق
(Over
fitting)
گاهی
اوقات
در
مجموعه
آموزشی
مثالهای
نادری
وجود
دارد
که
ممکن
است
با
توزیع
کلی
داده
ها
مطابقت
نداشته
باشند
.
تعداد
زیاد
هایگره
یک
درخت
تصمیم
باعث
می
شود
تا
درخت
درجه
آزادی
زیادی
برای
انطباق
با
این
مثالها
داشته
باشد
.
47. 47
از بیش تطبیق با مقابله
حد
اجتناب
از
رشد
درخت
در
مرحله
ایجاد
.
هرس
کردن
(Post-Pruning)
درخت
پس
از
ایجاد
.
روشهای
تعیین
اندازه
درخت
:
استفاده
از
دو
مجموعه
جداگانه
آموزش
و
تست
جهت
ارزیابی
.
بکارگیری
تستهای
آماری
(
نظیر
روش
Quinlan 86
)
برای
تخمین
بسط
دادن
یا
هرس
کردن
یک
گره
.
استفاده
از
توابع
هیوریستیک
برای
تشخیص
اندازه
مناسب
درخت
.
(
نظیر
روش
Quinlan & Rivest 89
و
روش
Mehta et al.95
)
48. 48
کاهش خطای هرس
یافته
Reduced Error Pruning
یک
روش
مقابله
با
.Over fitting
ابداع
شده
توسط
Quinlan
.1987
حذف
زیردرخت
و
جایگزینی
آن
با
ریشه
زیردرخت
.
تخصیص
کالس
اکثریت
به
گره
جایگزین
شده
.
حذف
،زیردرخت
مشروط
به
اینکه
خطای
گره
جایگزین
شده
بیشتر
از
