Bayesian Decision Theory, Minimum risk classifier, Parzen estimator, KNN Estimator, Linear classifier

1. ‫صادقی‬ ‫زهرا‬
Bayesian Decision Theory
‫گیزی‬ ‫تػوین‬Bayese‫تا‬‫هقادیز‬ ‫تیي‬ ِ‫هقایس‬ ‫اًجام‬a-posterior probabilityِ‫هحاسث‬ ‫تزای‬ .‫ضَد‬ ‫هی‬ ‫اًجام‬ ‫ّا‬a-
posterior probability‫ًیاس‬‫داضتي‬ ِ‫ت‬a-prior probabilityٍconditional density.‫تاضذ‬ ‫هی‬


j
jj
jj
j
Pxp
Pxp
xP
)()(
)()(
)(



‫تاال‬ ‫فزهَل‬ ‫در‬،‫دارد‬ ‫ًام‬ ‫تیش‬ ‫فزهَل‬ ِ‫ک‬)( jP ‫ّواى‬a-prior probabilityٍ)( jxp ‫ّواى‬conditional density‫هی‬
.‫تاضذ‬‫هقادیز‬ ،‫تیش‬ ‫گیزی‬ ‫تػوین‬ ِ‫ًاحی‬ ‫یافتي‬ ‫تزای‬a-posterior probability‫تست‬ ُ‫داد‬ ٍ ‫ضًَذ‬ ‫هی‬ ِ‫هقایس‬ ‫ّن‬ ‫تا‬x‫کالسی‬ ِ‫ت‬
‫هقذار‬ ِ‫ک‬ ‫گیزد‬ ‫هی‬ ‫تؼلق‬a-posteriori probability.‫تاضذ‬ ‫تیطتز‬ ‫دیگز‬ ‫ّای‬ ‫کالس‬ ‫ی‬ ِ‫ّو‬ ‫اس‬ ‫کالس‬ ‫آى‬ ‫در‬ ‫گزفتي‬ ‫قزار‬
 ijcjPxpPxpxR jjiii  ,,...2,1),()()()( 
‫هقادیز‬ ِ‫ک‬ ‫است‬ ُ‫ضذ‬ ‫فزؼ‬ ِ‫هسال‬ ‫غَرت‬ ‫در‬prior probability‫ایي‬ ‫اس‬ ‫است؛‬ ُ‫ضذ‬ ُ‫پزاکٌذ‬ ‫یکٌَاخت‬ ‫ّا‬ ‫کالس‬ ‫ی‬ ِ‫ّو‬ ‫تزای‬ ‫ّا‬
‫هقادیز‬ ‫ًاهساٍی‬ ‫عزف‬ ٍ‫د‬ ‫در‬ ٍ‫ر‬)( jP ‫گیزی‬ ‫تػوین‬ ٍ ‫ضَد‬ ‫هی‬ ‫حذف‬ ‫ّا‬ِ‫ًاحی‬:‫آیذ‬ ‫هی‬ ‫در‬ ‫سیز‬ ‫ی‬ ُ‫ضذ‬ ُ‫ساد‬ ‫غَرت‬ ِ‫ت‬ ُ‫تزًذ‬
 ijcjxpxpxR jii  ,,...2,1),()( 
‫احتوال‬ ‫تاالتزیي‬ ِ‫ت‬ ِ‫تَج‬ ‫تا‬ ‫را‬ ‫ّا‬ ُ‫داد‬ ‫تٌذی‬ ‫کالس‬ ِ‫ک‬ ‫ًوَد‬ ‫عزاحی‬ ‫کالسیفایزّایی‬ ‫تَاى‬ ‫هی‬ ‫گیزی‬ ‫تػوین‬ ‫ًَع‬ ‫ایي‬ ‫هثٌای‬ ‫تز‬
.‫دٌّذ‬ ‫هی‬ ‫اًجام‬ ‫خاظ‬ ‫کالس‬ ‫یک‬ ‫در‬ ‫ّا‬ ُ‫داد‬ ‫ػضَیت‬
‫تخویي‬ ‫تزای‬)( jxp ‫ًاپاراهتزی‬ ‫یا‬ ٍ ‫پاراهتزی‬ ‫ّای‬ ‫رٍش‬ ‫اس‬ ‫تَاى‬ ‫هی‬.‫ًوَد‬ ُ‫استفاد‬‫هذل‬ ‫اس‬ ِ‫دست‬ ٍ‫د‬ ‫ًوایی‬ ٍ ‫گَسیي‬ ‫تخویي‬
‫ّای‬ ‫رٍش‬ ‫تَاى‬ ‫هی‬ ‫هؼزٍف‬ ‫ًاپاراهتزی‬ ‫ّای‬ ‫رٍش‬ ‫اس‬ .‫تاضٌذ‬ ‫هی‬ ‫پاراهتزی‬ ‫ّای‬ ‫رٍش‬ ‫تزای‬ ‫هؼزٍف‬ ‫ّای‬parzen windowٍk-
nearest-neighbour.‫تزد‬ ‫ًام‬ ‫را‬
‫تٌذی‬ ِ‫دست‬ ‫ارسیاتی‬
‫کالسیفایزّای‬ ‫اػتثار‬ ‫سٌجص‬ ‫تزای‬ُ‫آهذ‬ ‫دست‬ ِ‫ت‬،،‫هؼیار‬ ‫یک‬‫ّای‬ ‫هاتزیس‬ ‫اس‬ ُ‫استفاد‬confusionٍconfidence.‫تاضذ‬ ‫هی‬
Confusion_mat:ٍ ‫ساسد‬ ‫هی‬ ‫هطخع‬ ‫را‬ ‫تٌذی‬ ِ‫دست‬ ‫غحت‬ ‫هاتزیس‬ ‫ایي‬ٍ ُ‫ضذ‬ ُ‫سد‬ ‫تخویي‬ ‫ّای‬ ‫کالس‬ ‫ی‬ ُ‫درتار‬ ‫اعالػاتی‬
‫یک‬ ِ‫تَسیل‬ ُ‫ضذ‬ ‫اًجام‬ ‫گیزی‬ ‫تػوین‬ ‫هَرد‬ ‫چٌذ‬ ‫در‬ ‫فْویذ‬ ‫تَاى‬ ‫هی‬ ‫هاتزیس‬ ‫ایي‬ ‫رٍی‬ ‫اس‬ .‫دّذ‬ ‫هی‬ ‫ّا‬ ُ‫داد‬ ‫ٍاقؼی‬ ‫ّای‬ ‫کالس‬
.‫است‬ ُ‫تَد‬ ‫درست‬ ‫تػوین‬ ‫تا‬ ‫هٌغثق‬ ‫کالسیفایز‬

2. ‫صادقی‬ ‫زهرا‬
Confusion_mat_norm‫هت‬ ‫کالس‬ ‫ّای‬ ُ‫داد‬ ‫تؼذاد‬ ‫تز‬ ‫سغز‬ ‫ّز‬ ‫هقادیز‬ ‫تقسین‬ ‫تا‬ٍ ‫درست‬ ‫تٌذی‬ ِ‫دست‬ ‫احتوال‬ ،‫سغز‬ ‫آى‬ ‫تا‬ ‫ٌاظز‬
.‫آیذ‬ ‫هی‬ ‫دست‬ ِ‫ت‬ ُ‫اضتثا‬
CCR:‫هاتزیس‬ ‫ایي‬ ‫اغلی‬ ‫قغز‬ ‫ػٌاغز‬ ‫هجوَع‬‫ًام‬ ِ‫ت‬ ِ‫ک‬Correct Classification Rate(CCR)،‫است‬ ُ‫ضذ‬ ‫گذاری‬ ‫ًام‬‫ٍاقغ‬ ‫در‬
‫تؼذاد‬.‫است‬ ُ‫تَد‬ ‫غحیح‬ ُ‫ضذ‬ ‫اًجام‬ ‫گیزی‬ ‫تػوین‬ ِ‫ک‬ ‫دّذ‬ ‫هی‬ ‫ًطاى‬ ‫را‬ ‫هَاردی‬‫ایي‬ ‫هیاًگیي‬ ‫هؼوَال‬‫هقذار‬(avg_CCR)‫تقسین‬ ‫تا‬
.‫آیذ‬ ‫هی‬ ‫دست‬ ِ‫ت‬ ُ‫داد‬ ‫تؼذاد‬ ‫کل‬ ‫تز‬ ‫آى‬:‫دارین‬ ‫کلی‬ ‫عَر‬ ِ‫ت‬ .‫ضَد‬ ‫هی‬ ُ‫استفاد‬ ‫خغا‬ ِ‫هحاسث‬ ‫تزای‬ ‫رٍضی‬ ‫ػٌَاى‬ ِ‫ت‬ ،‫هقذار‬ ‫ایي‬ ‫اس‬
CCRError  }Pr{1
Confidence_mat‫دارای‬ ٍ ‫دّذ‬ ‫هی‬ ‫ًطاى‬ ‫را‬ ُ‫ضذ‬ ‫اًجام‬ ‫گیزی‬ ‫تػوین‬ ِ‫ت‬ ‫اعویٌاى‬ ‫هیشاى‬ ‫هاتزیس‬ ‫ایي‬ :ِ‫درج‬ ‫ی‬ ُ‫درتار‬ ‫اعالػاتی‬
.‫تاضذ‬ ‫هی‬ ‫تٌذی‬ ِ‫دست‬ ِ‫ت‬ ‫درستی‬ ِ‫ت‬ ‫اػتواد‬‫کالس‬ ٍ‫د‬ ‫تزیي‬ ‫هحتول‬ ِ‫ت‬ ُ‫داد‬ ‫یک‬ ‫تؼلق‬ ‫تیي‬ ِ‫فاغل‬ ‫ی‬ ِ‫هحاسث‬ ‫تا‬ ‫هاتزیس‬ ‫ایي‬ ‫ٍاقغ‬ ‫در‬
.‫ضَد‬ ‫هی‬ ‫گیزی‬ ُ‫اًذاس‬‫است‬ ‫غَرت‬ ‫ایي‬ ِ‫ت‬ ‫هاتزیس‬ ‫ایي‬ ‫ػٌاغز‬ ِ‫هحاسث‬ ‫رٍش‬:
1
12
),(
M
MM
jiconfidence


،‫فزهَل‬ ‫ایي‬ ‫در‬i‫د‬ ‫یک‬ ‫ٍاقؼی‬ ‫کالس‬ٍ ،ُ‫اد‬j‫است‬ ‫آى‬ ‫ی‬ ُ‫ضذ‬ ُ‫سد‬ ‫تخویي‬ ‫کالس‬.
2Mُ‫داد‬ ِ‫ک‬ ‫است‬ ‫تؼلقی‬ ‫تیطتزیي‬ ‫هقذار‬iٍ ‫است‬ ِ‫داضت‬ ‫کالس‬ ‫یک‬ ِ‫ت‬1Mُ‫داد‬ ‫تؼلق‬ ‫تیطتزیي‬ ‫دٍهیي‬i‫هی‬ ‫دیگز‬ ‫کالسی‬ ِ‫ت‬
.‫تاضذ‬
a‫گَسیي‬ ‫تخویي‬ )
‫تخویي‬ ‫تزای‬ ‫گَسیي‬ ‫پاراهتزی‬ ‫رٍش‬ ‫اس‬ ‫سَال‬ ‫ایي‬ ‫در‬a-posterior probability.‫ضَد‬ ‫هی‬ ُ‫استفاد‬،‫گَسیي‬ ‫ساسی‬ ‫هذل‬ ‫تزای‬
‫ّای‬ ُ‫داد‬ ‫رٍی‬ ‫اس‬ ‫هٌظَر‬ ‫تذیي‬ .‫ضًَذ‬ ُ‫سد‬ ‫تخویي‬ ‫ٍاریاًس‬ ٍ ‫هیاًگیي‬ ‫یؼٌی‬ ‫آى‬ ‫پاراهتزّای‬ ِ‫ک‬ ‫است‬ ‫ًیاس‬trainٍ ‫هیاًگیي‬ ‫هقادیز‬
‫ٍاریاًس‬‫تو‬ ِ‫ت‬ ‫تست‬ ‫ّای‬ ُ‫داد‬ ‫اس‬ ‫یک‬ ‫ّز‬ ‫تؼلق‬ ‫احتوال‬ ‫سپس‬ .‫ضًَذ‬ ‫هی‬ ِ‫هحاسث‬ ‫کالس‬ ‫ّز‬ ‫تزای‬‫هقذار‬ ‫اس‬ ُ‫استفاد‬ ‫تا‬ ‫ّا‬ ‫کالس‬ ‫اهی‬
‫آیذ‬ ‫هی‬ ‫دست‬ ِ‫ت‬ ‫گَسیي‬ ‫تاتغ‬.ُ‫داد‬ ‫تؼلق‬ ‫احتوال‬x‫کالس‬ ِ‫ت‬i:‫ضَد‬ ‫هی‬ ِ‫هحاسث‬ ‫سیز‬ ‫غَرت‬ ِ‫ت‬ ‫ام‬
))()(
2
1
exp(
)2(
1
)|(
1
5.0
2


 




xxxp i
T
i
i
ni
‫داده‬ ‫کالس‬ ،‫شد‬ ‫داده‬ ‫شرح‬ ‫قبال‬ ‫که‬ ‫بیزین‬ ‫گیری‬ ‫تصمیم‬ ‫ناحیه‬ ‫به‬ ‫توجه‬ ‫با‬ ،‫ها‬ ‫کالس‬ ‫تمامی‬ ‫برای‬ ‫مقدار‬ ‫این‬ ‫محاسبه‬ ‫از‬ ‫بعد‬x‫می‬ ‫مشخص‬
.‫شود‬

3. ‫صادقی‬ ‫زهرا‬
b)Minimum risk classifier
‫را‬ ‫خغا‬ ‫کوتزیي‬ ِ‫ک‬ ‫ضَد‬ ‫عزاحی‬ ‫کالسیفایزی‬ ِ‫ک‬ ‫است‬ ‫ایي‬ ‫ّذف‬ ِ‫هسال‬ ‫ایي‬ ‫در‬‫هَجَد‬ ٌِ‫ّشی‬ ‫تاتغ‬ ‫تؼزیف‬ ِ‫ت‬ ِ‫تَج‬ ‫تا‬.‫تاضذ‬ ِ‫داضت‬
ٌِ‫ّشی‬ ِ‫ک‬ ‫اًذ‬ ُ‫ضذ‬ ُ‫داد‬ ‫ریسک‬ ‫ضزایة‬ ‫سزی‬ ‫یک‬ ‫هٌظَر‬ ‫تذیي‬‫ػثارتی‬ ِ‫ت‬ .‫کٌٌذ‬ ‫هی‬ ‫هطخع‬ ‫را‬ ُ‫اضتثا‬ ‫ّای‬ ‫تٌذی‬ ِ‫دست‬ ‫ی‬ij
‫گیزی‬ ‫تػوین‬ ‫ی‬ ٌِ‫ّشی‬j‫درست‬ ‫تػوین‬ ِ‫ک‬ ‫ٌّگاهی‬ ‫را‬i.‫کٌذ‬ ‫هی‬ ‫هطخع‬ ،‫تاضذ‬ ‫هی‬‫غَرت‬ ِ‫ت‬ ‫تیش‬ ‫تػوین‬ ِ‫ًاحی‬ ،‫ضزایظ‬ ‫ایي‬ ‫در‬
:‫ضَد‬ ‫هی‬ ‫هطخع‬ ‫سیز‬






  
ijckPxpPxpxR ii
c
i
ikii
c
i
ijj ,,...2,1),()()()(
11

‫ٍرٍدی‬ ُ‫داد‬ ‫ػضَیت‬ ‫ریسک‬ ِ‫ک‬ ‫است‬ ‫جایی‬ ‫تػوین‬ ِ‫ًاحی‬ ِ‫ک‬ ‫است‬ ‫ایي‬ ‫تاال‬ ‫فزهَل‬ ‫اس‬ ‫هٌظَر‬xِ‫ایٌک‬ ‫اس‬ ‫ًظز‬ ‫غزف‬ ،ِ‫ًاحی‬ ‫آى‬ ِ‫ت‬x
.‫تاضذ‬ ٌِ‫کوی‬ ،‫دارد‬ ‫تؼلق‬ ‫کالسی‬ ِ‫چ‬ ِ‫ت‬ ‫ٍاقؼا‬
‫ّشی‬ ِ‫ّزچ‬ .‫کٌذ‬ ‫هی‬ ‫پیذا‬ ‫تستگی‬ ُ‫ضذ‬ ‫تؼزیف‬ ‫ّای‬ ٌِ‫ّشی‬ ‫هقذار‬ ِ‫ت‬ ‫کاهال‬ ‫ّا‬ ُ‫داد‬ ‫تٌذی‬ ِ‫دست‬ ِ‫هسال‬ ‫ایي‬ ‫در‬ ،‫تٌاتزایي‬ِ‫دست‬ ‫ی‬ ٌِ
ِ‫ت‬ ‫ّا‬ ُ‫داد‬ ُ‫اضتثا‬ ‫تؼلق‬ ‫هیشاى‬ ِ‫ک‬ ‫دارین‬ ‫اًتظار‬ ،‫کٌین‬ ‫تیطتز‬ ‫را‬ ُ‫اضتثا‬ ‫تٌذی‬ِ‫دست‬ ‫اعویٌاى‬ ‫ٍلی‬ ،‫ضَد‬ ‫کوتز‬ ‫ًظز‬ ‫هَرد‬ ‫ّای‬ ‫کالس‬
.‫ضَد‬ ‫هی‬ ‫ایجاد‬ ‫هختلف‬ ‫ّای‬ ‫کالس‬ ِ‫ت‬ ‫ّا‬ ُ‫داد‬ ‫تؼلق‬ ‫هیشاى‬ ‫تیي‬ ‫تیطتزی‬ ‫توایش‬ ‫سیزا‬ ،‫رٍد‬ ‫هی‬ ‫تاالتز‬ ‫تٌذی‬
‫هاتزیس‬.‫دّذ‬ ‫هی‬ ‫ًطاى‬ ‫را‬ ُ‫اضتثا‬ ‫ّای‬ ‫تٌذی‬ ِ‫دست‬ ٌِ‫ّشی‬ ‫هاتزیس‬ ‫ایي‬ .‫تاضذ‬ ‫هی‬ ‫سیز‬ ‫غَرت‬ ِ‫ت‬
c)Rejection
‫در‬‫کالس‬ ‫یک‬ ِ‫هسال‬ ‫ایي‬reject‫قسوت‬ ‫هغاتق‬ ‫ّوچٌاى‬ ‫تیشیي‬ ‫گیزی‬ ‫تػوین‬ .‫است‬ ُ‫ضذ‬ ِ‫اضاف‬ ‫قثلی‬ ‫ّای‬ ‫کالس‬ ِ‫ت‬a‫هی‬ ‫اًجام‬
‫تا‬ ‫ایٌجا‬ ‫در‬ ِ‫ک‬ ‫تفاٍت‬ ‫ایي‬ ‫تا‬ ،‫ضَد‬ُ‫داد‬ ‫سیز‬ ‫ضزایظ‬ ‫تزٍس‬x‫کالس‬ ِ‫ت‬ ‫را‬reject.‫دّین‬ ‫هی‬ ‫ًسثت‬





sri
ji
xP
cjxPxP


/1)|(
,...,2,1)|()|(
‫تیش‬ ‫قاًَى‬ ‫اس‬ ُ‫ضذ‬ ُ‫داد‬ ‫ضزایظ‬ ‫اػوال‬ ‫تزای‬.‫کٌین‬ ‫هی‬ ُ‫استفاد‬


i ii
ii
i
Pxp
Pxp
xp
)()|(
)()|(
)|(



d)Parzen estimator

4. ‫صادقی‬ ‫زهرا‬
‫رٍش‬ ‫در‬Parzen.‫ضَد‬ ‫هی‬ ُ‫استفاد‬ ِ‫هسال‬ ‫ّای‬ ُ‫داد‬ ‫ٍیژگی‬ ‫فضای‬ ‫اتؼاد‬ ‫تؼذاد‬ ِ‫ت‬ ُ‫پٌجز‬ ‫یک‬ ‫اس‬ ،‫چگالی‬ ‫تاتغ‬ ‫تخویي‬ ‫تزای‬ِ‫ت‬ ‫تزای‬
.‫ضًَذ‬ ‫هی‬ ُ‫ضوزد‬ ‫اًذ‬ ُ‫افتاد‬ ُ‫پٌجز‬ ‫داخل‬ ِ‫ک‬ ‫ّایی‬ ُ‫داد‬ ،‫چگالی‬ ‫اس‬ ‫تخویٌی‬ ‫آٍردى‬ ‫دست‬:‫ضَد‬ ‫هی‬ ‫تؼزیف‬ ‫سیز‬ ‫غَرت‬ ِ‫ت‬ ُ‫پٌجز‬ ‫تاتغ‬


 

otherwise
dju
u j
0
,...,12/11
)(
ِ‫هحاسث‬ ‫تا‬ ‫چگالی‬ ‫تاتغ‬ ‫ًْایتا‬ُ‫پٌجز‬ ‫آى‬ ‫حجن‬ ‫کل‬ ِ‫ت‬ ‫ضًَذ‬ ‫هی‬ ‫ظاّز‬ ُ‫پٌجز‬ ‫ایي‬ ‫درٍى‬ ِ‫ک‬ ‫ّایی‬ ُ‫داد‬ ‫تؼذاد‬ ‫ًسثت‬‫هی‬ ُ‫سد‬ ‫تخویي‬
.‫ضَد‬

 

N
q
q
nn
h
h
xx
NhNh
k
xf
1
1
)(
‫تاال‬ ‫فزهَل‬ ‫در‬kُ‫داد‬ ‫تؼذاد‬ ‫تزاتز‬‫عَل‬ ِ‫ت‬ ‫ای‬ ُ‫پٌجز‬ ‫در‬ ‫ّا‬h،n‫ٍیژگی‬ ‫تؼذاد‬ٍ ‫ّا‬Nُ‫داد‬ ‫ّواى‬‫کالس‬ ‫در‬ ‫هَجَد‬ ُ‫ضذ‬ ُ‫هطاّذ‬ ‫ّای‬
.‫است‬ ‫ًظز‬ ‫هَرد‬
،‫رٍش‬ ‫ایي‬ ‫در‬ ‫هَجَد‬ ‫پاراهتز‬ ‫تٌْا‬h‫هی‬ ‫هختلف‬ ‫هقادیز‬ ‫اسای‬ ِ‫ت‬ ‫الگَریتن‬ ‫هذاٍم‬ ‫تکزار‬ ِ‫ت‬ ‫ًیاس‬ ‫آى‬ ٌِ‫تْی‬ ‫هقذار‬ ‫یافتي‬ ‫تزای‬ ِ‫ک‬ ‫تاضذ‬ ‫هی‬
.‫تاضذ‬‫هقذار‬h.‫ضَد‬ ‫اًتخاب‬ ِ‫هسال‬ ‫ّای‬ ُ‫داد‬ ‫پزاکٌذگی‬ َُ‫ًح‬ ِ‫ت‬ ِ‫تَج‬ ‫تا‬ ‫کافی‬ ُ‫اًذاس‬ ِ‫ت‬ ‫تایذ‬‫تاضذ‬ ‫تز‬ ‫کَچک‬ ‫هقذار‬ ‫ایي‬ ِ‫ّزچ‬،ِ‫دست‬
‫حاغل‬ ‫تٌذ‬unbiased‫تؼذاد‬ ‫اها‬ ،‫ضَد‬ ‫هی‬ ‫تز‬ُ‫داد‬ّ‫گیز‬ ‫هی‬ ‫قزار‬ ‫آى‬ ‫در‬ ‫ای‬ً‫ذ‬‫ضَد‬ ‫هی‬ ‫کوتز‬‫چگالی‬ ٍ‫کٌذ‬ ‫هی‬ ‫هیل‬ ‫غفز‬ ‫سوت‬ ِ‫ت‬.
ٌِ‫تْی‬ ‫هقذار‬ ،‫تسیار‬ ‫ّای‬ ‫آسهایص‬ ‫اس‬ ‫تؼذ‬h=50.‫ضذ‬ ‫یافت‬‫اگز‬h‫هقذار‬ ،‫ضَد‬ ‫تیطتز‬ ‫یا‬ ‫کوتز‬ ‫هقذار‬ ‫ایي‬ ‫اس‬CCR.‫کٌذ‬ ‫هی‬ ‫افت‬
e)KNN Estimator
‫رٍش‬ ‫اس‬ ‫دیگز‬ ‫یکی‬‫تخویي‬ ‫ًاپارهتزی‬ ‫ّای‬pdf‫تخویي‬k.‫تاضذ‬ ‫هی‬ ِ‫ّوسای‬ ‫تزیي‬ ‫ًشدیک‬‫هتغیز‬ ‫عَل‬ ‫تا‬ ُ‫پٌجز‬ ‫یک‬ ‫رٍش‬ ‫ایي‬ ‫در‬
ِ‫ک‬ ‫سهاًی‬ ‫تا‬ ‫آى‬ ‫ی‬ ُ‫اًذاس‬ ِ‫ک‬ ‫دارد‬ ‫ٍجَد‬k‫ٍرٍدی‬ ‫ی‬ ُ‫داد‬ ِ‫ت‬ ِ‫ضثی‬ ‫تسیار‬ ‫ی‬ ًَِ‫ًو‬x‫ایي‬ .‫کٌذ‬ ‫هی‬ ‫رضذ‬ ،‫اًذ‬ ُ‫ًطذ‬ ‫یافت‬kًَِ‫ًو‬
‫ّواى‬k‫ایي‬ ‫ًسثت‬ ‫تزهثٌای‬ ‫سیز‬ ِ‫راتغ‬ ‫هغاتق‬ ‫چگالی‬ ‫تاتغ‬ .‫ّستٌذ‬ ِ‫ّوسای‬kُ‫پٌجز‬ ‫یک‬ ‫اس‬ ‫حجوی‬ ‫در‬ ِ‫ک‬ ‫ّا‬ ُ‫داد‬ ‫کل‬ ِ‫ت‬ ِ‫ّوسای‬
.‫ضَد‬ ‫هی‬ ُ‫سد‬ ‫تخویي‬ ،‫اًذ‬ ُ‫ضذ‬ ‫یافت‬
V
nk
xp
/
)( 
،‫تاال‬ ِ‫راتغ‬ ‫در‬kِ‫ت‬ ‫ًشدیک‬ ‫ّای‬ ِ‫ّوسای‬ ‫تؼذاد‬x،nٍ ،‫ّا‬ ًَِ‫ًو‬ ‫کل‬ ‫تؼذاد‬Vِ‫ک‬ ‫است‬ ‫ی‬ ُ‫پٌجز‬ ‫حجن‬k‫ّوسا‬ِ‫گزفت‬ ‫جای‬ ‫آى‬ ‫در‬ ِ‫ی‬
.‫اًذ‬:‫تاضٌذ‬ ‫تزقزار‬ ‫سیز‬ ‫ضزط‬ ٍ‫د‬ ِ‫ک‬ ‫است‬ ‫ًیاس‬ ،‫دّذ‬ ِ‫ارائ‬ ‫را‬ ‫چگالی‬ ‫اس‬ ‫هٌاسثی‬ ‫تخویي‬ ِ‫راتغ‬ ‫ایي‬ ِ‫ایٌک‬ ‫تزای‬
0/lim
lim




nk
k
n
n
n
n

5. ‫صادقی‬ ‫زهرا‬
‫تزای‬ ‫را‬ ‫هقذار‬ ‫تْتزیي‬ ِ‫ک‬ ‫ّستین‬ ‫ایي‬ ‫دًثال‬ ِ‫ت‬ ‫سَال‬ ‫ایي‬ ‫در‬k‫اسای‬ ِ‫ت‬ ِ‫تزًاه‬ ‫اجزای‬ ‫اس‬ ‫تؼذ‬ .‫تیاتین‬k‫هقذار‬ ‫تیطتزیي‬ ،‫هختلف‬ ‫ّای‬
CCR‫اسای‬ ِ‫ت‬k=3.‫ضذ‬ ‫یافت‬
f)KNN classifier
‫رٍش‬ ‫اس‬knn‫کالس‬ ِ‫ت‬ ِ‫تَج‬ ‫تا‬ ‫را‬ ُ‫داد‬ ‫ّز‬ ‫کالس‬ ،‫هٌظَر‬ ‫تذیي‬ .‫ًوَد‬ ُ‫استفاد‬ ‫کالسیفایز‬ ‫عزاحی‬ ‫تزای‬ ‫تَاى‬ ‫هی‬ ‫ّوچٌیي‬k‫ًشدیک‬
‫کالس‬ ‫اتتذا‬ ،‫ػثارتی‬ ِ‫ت‬ .‫گیزین‬ ‫هی‬ ‫ًظز‬ ‫در‬ ‫آى‬ ِ‫ّوسای‬ ‫تزیي‬k‫اساس‬ ‫تز‬ ٍ ‫ضَد‬ ‫هی‬ ‫هطخع‬ ِ‫ّوسای‬ ‫تزیي‬ ‫ًشدیک‬majority of
votingٌ‫ػ‬ ِ‫ت‬ ‫کٌذ‬ ‫کسة‬ ‫را‬ ‫رای‬ ‫تیطتزیي‬ ِ‫ک‬ ‫کالسی‬ ،.‫ضَد‬ ‫هی‬ ‫اػالم‬ ُ‫تزًذ‬ ‫کالس‬ ‫َاى‬
g)Linear classifier
‫دارای‬ ِ‫ک‬ ‫ّستٌذ‬ ِ‫تَج‬ ‫هَرد‬ ‫جْت‬ ‫ایي‬ ‫اس‬ ‫کالسیفایزّا‬ ‫ایي‬ .‫تاضٌذ‬ ‫هی‬ ‫خغی‬ ‫کالسیفایزّای‬ ،‫تٌذی‬ ِ‫دست‬ ‫ّای‬ ‫رٍش‬ ‫اس‬ ‫دیگز‬ ‫یکی‬
‫اها‬ ‫ّستٌذ‬ ‫ساسی‬ ُ‫پیاد‬ ٍ ‫هحاسثات‬ ‫سادگی‬optimal‫یک‬ .‫ًیستٌذ‬discriminant function‫غَرت‬ ِ‫ت‬ ‫خغی‬
0)( wxwxg t
‫ّا‬ ‫ٍسى‬ ‫تٌظین‬ ‫تزای‬ .‫است‬ ‫تیاى‬ ‫قاتل‬.‫ضَد‬ ‫هی‬ ‫تؼزیف‬ ‫سیز‬ ‫غَرت‬ ِ‫ت‬ ‫دیگز‬ ‫تزدار‬ ٍ‫د‬ ‫اتتذا‬
:‫داضت‬ ‫خَاّین‬ ‫خغی‬ ‫جذاساس‬ ِ‫ًاحی‬ ‫تزای‬ ‫را‬ ‫سیز‬ ‫هؼادل‬ ‫فزم‬ ،‫تزتیة‬ ‫ایي‬ ِ‫ت‬

6. ‫صادقی‬ ‫زهرا‬
،‫ٍسًی‬ ‫تزدارّای‬ ‫یادگیزی‬ ‫تزای‬‫الگَریتن‬ ،‫است‬ ُ‫ضذ‬ ُ‫استفاد‬ ‫درایٌجا‬ ِ‫ک‬ ‫رٍضی‬ .‫دارد‬ ‫ٍجَد‬ ‫هتؼذدی‬ ‫ّای‬ ‫رٍش‬Ho-koshyap
.‫است‬ ُ‫ضذ‬ ُ‫استفاد‬:‫تاضذ‬ ‫هی‬ ‫سیز‬ ‫غَرت‬ ِ‫ت‬ ‫رٍش‬ ‫ایي‬ ‫الگَریتن‬
‫خظ‬ ‫چٌذیي‬ ‫اس‬ ُ‫استفاد‬ ِ‫ت‬ ‫ًیاس‬ ،ِ‫کالس‬ ‫چٌذ‬ ‫ّای‬ ‫حالت‬ ‫در‬ ،‫تاضذ‬ ‫هی‬ ‫یکذیگز‬ ‫اس‬ ِ‫ًاحی‬ ٍ‫د‬ ‫تفکیک‬ ِ‫ت‬ ‫قادر‬ ‫تٌْا‬ ،‫خظ‬ ‫ّز‬ ِ‫ک‬ ‫آًجا‬ ‫اس‬
َ‫ت‬ ‫هی‬ ‫را‬ ‫هتفاٍت‬ ‫رٍش‬ ِ‫س‬ ‫ٍرٍدی‬ ُ‫داد‬ ‫ّز‬ ‫کالس‬ ‫ًوَدى‬ ‫هطخع‬ ٍ ‫تػوین‬ ‫ًَاحی‬ ‫هَرد‬ ‫در‬ ‫گیزی‬ ‫تػوین‬ ‫تزای‬ .‫تاضذ‬ ‫هی‬‫ًظز‬ ‫در‬ ‫اى‬
.‫گزفت‬
‫اس‬ ُ‫استفاد‬ )‫اٍل‬ ‫رٍش‬L‫خغی‬ ‫کالسیفایز‬
)‫الف‬‫را‬ ‫آًْا‬ ‫ٍسًی‬ ‫هتٌاظز‬ ‫تزدار‬ ٍ ‫کٌین‬ ‫هی‬ ‫عزاحی‬ ‫خغی‬ ‫کالسیفایزّای‬ ،‫هَجَد‬ ‫ّای‬ ‫کالس‬ ‫تؼذاد‬ ِ‫ت‬ ‫هستقل‬ ‫عَر‬ ِ‫ت‬ ،‫رٍش‬ ‫ایي‬ ‫در‬
.‫دارد‬ ‫ٍجَد‬ ‫هطکل‬ ٍ‫د‬ ،‫ٍرٍدی‬ ‫ی‬ ًَِ‫ًو‬ ‫ّز‬ ‫کالس‬ ‫ی‬ ُ‫درتار‬ ‫گیزی‬ ‫تػوین‬ ‫تزای‬ .‫یاتین‬ ‫هی‬1-‫عَر‬ ِ‫ت‬ ‫ّا‬ ُ‫داد‬ ‫اس‬ ‫تزخی‬ ‫است‬ ‫هوکي‬
‫هت‬ ‫کالس‬ ‫چٌذیي‬ ‫تػوین‬ ِ‫ًاحی‬ ‫در‬ ‫ّوشهاى‬،‫حالت‬ ‫ایي‬ ‫در‬ ،‫تگیزًذ‬ ‫قزار‬ ‫فاٍت‬‫کالس‬ ‫ػٌَاى‬ ِ‫ت‬ ‫را‬ ‫ّا‬ ‫کالس‬ ‫اس‬ ‫یکی‬ ‫تػادفی‬ ‫عَر‬ ِ‫ت‬
.‫گیزین‬ ‫هی‬ ‫ًظز‬ ‫در‬ ُ‫تزًذ‬2-ِ‫ًاحی‬ ‫یک‬undecided‫کالسی‬ ‫ّیچ‬ ‫ػثارتی‬ ِ‫ت‬ ٍ ‫ًذارد‬ ‫تؼلق‬ ‫کالسی‬ ‫ّیچ‬ ِ‫ت‬ ِ‫ک‬ ‫آیذ‬ ‫هی‬ ‫ٍجَد‬ ِ‫ت‬
‫تَد‬ ‫ًخَاّذ‬ ‫آى‬ ‫هذػی‬ّ ‫کالس‬ ‫کل‬ ‫تؼذاد‬ ‫اس‬ ‫تیطتز‬ ‫کالس‬ ‫یک‬ ُ‫ّوَار‬ ِ‫ًتیج‬ ‫در‬ ٍ‫کالس‬ ‫تا‬ ‫ّای‬ ُ‫داد‬ ِ‫ت‬ ‫هزتَط‬ ِ‫ک‬ ‫داضت‬ ‫خَاّین‬ ‫ا‬
‫تاضذ‬ ‫هی‬ ‫ًاهطخع‬..
)‫ب‬،‫ًثَد‬ ‫اٍل‬ ‫کالس‬ ِ‫ت‬ ‫هتؼلق‬ ‫اگز‬ ‫ٍرٍدی‬ ُ‫داد‬ ‫ّز‬ ‫ػثارتی‬ ِ‫ت‬ .‫ضَین‬ ‫هی‬ ‫قائل‬ ‫تٌذی‬ ِ‫دست‬ ‫تزتیة‬ ‫رٍی‬ ‫اٍلَیت‬ ‫یک‬ ،‫رٍش‬ ‫ایي‬ ‫در‬
ِ‫ًاحی‬ ‫یک‬ ‫است‬ ‫هوکي‬ ‫ًیش‬ ‫رٍش‬ ‫ایي‬ ‫در‬ .‫یاتذ‬ ‫هی‬ ِ‫اداه‬ ‫کالس‬ ‫آخزیي‬ ‫تا‬ ‫کار‬ ‫ایي‬ ٍ ‫ضَد‬ ‫هی‬ ‫چک‬ ‫دٍم‬ ‫کالس‬ ِ‫ت‬ ‫آى‬ ‫تؼلق‬ ُ‫آًگا‬
undecided‫آیذ‬ ‫ٍجَد‬ ِ‫ت‬.‫هطک‬ ‫ایي‬ ‫رفغ‬ ‫تزای‬‫رٍش‬ ‫اس‬ ‫ل‬‫د‬‫ًوَد‬ ُ‫استفاد‬ ‫تَاى‬ ‫هی‬ ‫ٍم‬
‫رٍش‬‫د‬‫اس‬ ُ‫استفاد‬ )‫ٍم‬L-1‫خغی‬ ‫کالسیفایز‬
‫رٍش‬ ‫هاًٌذ‬ ‫ػیٌا‬ ‫هَارد‬ ِ‫تقی‬ ٍ .‫ضَد‬ ‫هی‬ ِ‫گزفت‬ ‫ًظز‬ ‫در‬ ‫ّا‬ ‫کالس‬ ‫کل‬ ‫تؼذاد‬ ‫اس‬ ‫کوتز‬ ‫یکی‬ ‫کالسیفایز‬ ‫تؼذاد‬ ،‫رٍش‬ ‫ایي‬ ‫در‬‫دٍم‬ُ‫پیاد‬
ِ‫ًاحی‬ ‫آخز‬ ‫در‬ ِ‫ک‬ ‫تفاٍت‬ ‫ایي‬ ‫تا‬ ،‫ضَد‬ ‫هی‬ ‫ساسی‬undecided.‫ضَد‬ ‫هی‬ ُ‫داد‬ ‫تؼلق‬ ‫آخز‬ ‫کالس‬ ِ‫ت‬

7. ‫صادقی‬ ‫زهرا‬
‫اس‬ ُ‫استفاد‬ )‫سَم‬ ‫رٍش‬L*(L-1)/2‫خغی‬ ‫کالسیفایز‬
.‫ضَد‬ ‫هی‬ ِ‫گزفت‬ ‫ًظز‬ ‫در‬ ‫دیگز‬ ‫ّای‬ ‫کالس‬ ‫تواهی‬ ‫هقاتل‬ ‫در‬ ‫کالس‬ ‫ّز‬ ٍ ‫ضًَذ‬ ‫هی‬ ‫تزرسی‬ ‫کالسی‬ ٍ‫د‬ ‫حاالت‬ ‫تواهی‬ ،‫رٍش‬ ‫ایي‬ ‫در‬
‫اساس‬ ‫تز‬ ،‫دارد‬ ‫ٍجَد‬ ‫هذػی‬ ‫چٌذ‬ ِ‫ک‬ ‫ًَاحی‬ ‫در‬ ‫ًْایتا‬majority of voting‫هز‬ ‫کالس‬.‫ضَد‬ ‫هی‬ ِ‫گزفت‬ ‫تػوین‬ ِ‫تَع‬
‫ّای‬ ‫هاتزیس‬confusionٍconfidence‫ّای‬ ‫رٍش‬ ‫در‬1‫جای‬ ِ‫ت‬10*10ُ‫اًذاس‬ ِ‫ت‬10*11ِ‫اضاف‬ ‫ػلت‬ ِ‫ت‬ ِ‫ک‬ ،‫آیٌذ‬ ‫هی‬ ‫در‬
ِ‫ًاحی‬ ‫ضذى‬undecided.‫تاضذ‬ ‫هی‬