‫یادگیری‬ ‫بر‬ ‫مبتنی‬ ‫‌ای‬
‫ه‬‫چندوظیف‬ ‫تکاملی‬ ‫یادگیری‬
‫باال‬ ‫ابعاد‬ ‫با‬ ‫‌های‬
‫ه‬‫داد‬ ‫در‬ ‫ویژگی‬ ‫انتخاب‬ ‫برای‬ ‫تقویتی‬
‫عنوان‬
:‫ارائه‬
‫محمدحسن‬ ‫سید‬ :‫دهنده‬ ‫ارائه‬
‫غفوریان‬
‫سید‬ ،‫دانش‬ ‫ملیحه‬ ‫دکتر‬ ‫خانم‬ :‫نویسندگان‬
‫غفوریان‬ ‫محمدحسن‬
‫پاییز‬
1404
‫مقدم‬
‫ه‬
•
‫انتخاب‬ ‫‌های‬
‫ش‬‫رو‬ ‫انواع‬ ‫و‬ ‫اهمیت‬
‫ویژگی‬
•
‫سنتی‬ ‫‌های‬
‫ش‬‫رو‬ ‫‌های‬
‫ت‬‫محدودی‬
‫ویژگی‬ ‫انتخاب‬
‫فهرس‬
‫ت‬
‫مقدمه‬
•
‫انتخاب‬ ‫در‬ ‫تکاملی‬ ‫‌های‬
‫م‬‫الگوریت‬ ‫نقش‬
‫ویژگی‬
12
/
•
‫الگوریتم‬ :‫پیشنهادی‬ ‫روش‬
RL-MEL
•
‫با‬ ‫‌های‬
‫ه‬‫داد‬ ‫در‬ ‫ابعاد‬ ‫نفرین‬ ‫چالش‬
‫باال‬ ‫ابعاد‬
‫مقدم‬
‫ه‬
•
sub1
‫از‬ ‫استفاده‬ ‫با‬ ‫سراسری‬ ‫‌وجو‬
‫ت‬‫جس‬ :
PSO
‫و‬
‫از‬ ‫دانش‬ ‫یادگیری‬
sub2
•
‫افزایش‬ ‫و‬ ‫دانش‬ ‫انتقال‬ ‫موجب‬ ‫‌ها‬
‫ت‬‫زیرجمعی‬ ‫بین‬ ‫تعامل‬
‫‌شود‬
‫ی‬‫م‬ ‫‌وجو‬
‫ت‬‫جس‬ ‫کارایی‬
‫فهرس‬
‫ت‬
‫روش‬
‫پیشنهادی‬
12
/
‫روش‬ ‫کلی‬ ‫نمای‬
RL-MEL
‫شکل‬
1
‫روش‬ ‫کلی‬ ‫نمای‬ .
RL-MEL
•
sub2
‫با‬ ‫ها‬ ‫ویژگی‬ ‫هوشمند‬ ‫‌برداری‬
‫ه‬‫بهر‬ :
‫تقویتی‬ ‫یادگیری‬
•
‫زیرجمعیت‬ ‫دو‬ ‫به‬ ‫جمعیت‬ ‫تقسیم‬
sub1
‫و‬
sub2
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫روش‬
‫پیشنهادی‬
12
/
‫عملکرد‬
‫زیرجمعیت‬
1
•
‫‌ها‬
‫ی‬‫ویژگ‬ ‫از‬ ‫‌ای‬
‫ه‬‫بهین‬ ‫زیرمجموعه‬ ‫برای‬ ‫‌وجو‬
‫ت‬‫جس‬
‫با‬
:‫از‬ ‫استفاده‬
personal best، global best
‫و‬
sub2 best
•
‫زیرجمعیت‬ ‫در‬ ‫دانش‬ ‫یادگیری‬
1
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫روش‬
‫پیشنهادی‬
12
/
‫‌رسانی‬
‫ز‬‫‌رو‬
‫ه‬‫ب‬
‫ها‬ ‫ویژگی‬ ‫وزن‬
‫از‬ ‫استفاده‬ ‫با‬
‫تقویتی‬ ‫یادگیری‬
‫و‬
‫پاداش‬ ‫تابع‬
•
‫برخالف‬
MEL
‫دقت‬ ‫اختالف‬ ‫ا‬O
O‫ب‬ ‫را‬ ‫ا‬O
O‫‌ه‬
‫ن‬‫وز‬ ‫ه‬O
O‫ک‬
‫یادگیری‬ ‫عامل‬ ‫ک‬O‫ی‬ ‫ا‬O‫اینج‬ ،‫‌کرد‬
‫ی‬‫م‬ ‫انی‬O‫‌روزرس‬
‫ه‬‫ب‬
‫یا‬ ‫ت‬O‫تقوی‬ ‫ی‬O‫ویژگ‬ ‫کدام‬ ‫‌گیرد‬
‫ی‬‫م‬ ‫میم‬O‫تص‬ ‫ی‬O‫تقویت‬
.‫شود‬ ‫تضعیف‬
•
‫ل‬O
‫م‬‫عا‬ ‫ه‬O
‫ک‬ ‫‌شود‬
‫ی‬‫م‬ ‫ث‬O
‫ع‬‫با‬ ‫پاداش‬ ‫ع‬O
‫ب‬‫تا‬ ‫ن‬O
‫ی‬‫ا‬
RL
‫فقط‬
‫های‬ ‫ویژگی‬ ‫پایداری‬ ‫ه‬O‫بلک‬ ،‫د‬O‫نکن‬ ‫ه‬O‫توج‬ ‫ت‬O‫دق‬ ‫ه‬O‫ب‬
‫در‬ ‫هم‬ ‫را‬ ‫ه‬O
‫زیرمجموع‬ ‫بودن‬ ‫ک‬O
‫کوچ‬ ‫و‬ ‫شده‬ ‫انتخاب‬
.‫بگیرد‬ ‫نظر‬
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫روش‬
‫پیشنهادی‬
12
/
‫ویژگی‬ ‫انتخاب‬
‫تابع‬ ‫و‬ ‫ها‬
‫برازش‬
•
‫زیرمجموعه‬ ‫اندازه‬ ‫و‬ ‫خطا‬ ‫نرخ‬ ‫بین‬ ‫توازن‬
:‫فرمول‬ ‫با‬ ‫‌ها‬
‫ی‬‫ویژگ‬
•
:‫شده‬ ‫استفاده‬ ‫مقادیر‬
α = 0.9
‫و‬
β = 0.1
•
‫اندازه‬ ‫‌سازی‬
‫ه‬‫کمین‬ ‫و‬ ‫‌بندی‬
‫ه‬‫طبق‬ ‫خطای‬ ‫نرخ‬ ‫‌سازی‬
‫ه‬‫کمین‬
‫‌ها‬
‫ی‬‫ویژگ‬ ‫زیرمجموعه‬
•
‫تابع‬ ‫با‬ ‫احتمالی‬ ‫‌صورت‬
‫ه‬‫ب‬ ‫‌ها‬
‫ی‬‫ویژگ‬ ‫انتخاب‬
softmax
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫روش‬
‫پیشنهادی‬
12
/
‫نوآوری‬ ‫و‬ ‫مزایا‬
‫ها‬
•
Sub2
‫و‬ ‫انتفاع‬ ‫قابلیت‬ ‫بیشتر‬
Sub1
‫بیشتر‬
‫پویش‬ ‫قابلیت‬
•
‫بین‬ ‫دانش‬ ‫انتقال‬ ‫از‬ ‫‌برداری‬
‫ه‬‫بهر‬
‫‌ها‬
‫ت‬‫زیرجمعی‬
•
‫دقت‬ ‫حفظ‬ ‫با‬ ‫‌ها‬
‫ی‬‫ویژگ‬ ‫ابعاد‬ ‫کاهش‬
‫باال‬
•
‫‌وجوی‬
‫ت‬‫جس‬ ‫ترکیب‬
PSO
‫بر‬ ‫تقویتی‬ ‫یادگیری‬ ‫توسط‬ ‫هدایت‬ ‫با‬
‫ها‬ ‫ویژگی‬ ‫اهمیت‬ ‫مبنای‬
exploitation
1
1
exploration
2
2
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫سازی‬ ‫پیاده‬
12
/
‫ها‬ ‫داده‬ ‫مجموعه‬
•
12
‫عمومی‬ ‫ژنتیکی‬ ‫داده‬ ‫مجموعه‬
•
‫از‬ ‫بیش‬ ‫با‬ ً‫اکثرا‬
7000
‫ویژگی‬
•
:‫مانند‬
Adenoma، ALLAML، Gastric، Stroke •
:‫مانند‬
Adenoma، ALLAML، Gastric، Stroke
‫جدول‬
1
‫ها‬ ‫داده‬ ‫مجموعه‬ .
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫سازی‬ ‫پیاده‬
12
/
8
‫های‬ ‫پارامتر‬
‫آزمایش‬
•
:‫جمعیت‬
20
‫ذره‬
•
:‫استفاده‬ ‫مورد‬ ‫‌بند‬
‫ه‬‫دست‬
KNN
‫با‬
K = 3
•
‫میانگین‬ ‫مقدار‬ :‫ارزیابی‬
5
-
fold Cross-validation
•
‫تکرار‬
10
‫پایدار‬ ‫از‬ ‫اطمینان‬ ‫جهت‬ ‫ها‬ ‫آزمایش‬ ‫باره‬
‫نتایج‬ ‫بودن‬
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫مقایسه‬
‫نتایج‬
12
/
‫با‬ ‫مقایسه‬ ‫در‬
‫ها‬ ‫روش‬ ‫سایر‬
‫و‬ ‫دقت‬ ‫نظر‬ ‫از‬
‫تعداد‬
‫‌های‬
‫ی‬‫ویژگ‬
‫‌شده‬
‫ب‬‫انتخا‬
•
RL-MEL
‫در‬
۸
‫از‬
۱۲
‫‌بندی‬
‫ه‬‫طبق‬ ‫دقت‬ ‫بیشترین‬ ‫دیتاست‬
.‫است‬ ‫کرده‬ ‫کسب‬ ‫را‬
•
‫با‬ ‫مقایسه‬
4
:‫جمعیت‬ ‫بر‬ ‫مبتنی‬ ‫کالسیک‬ ‫روش‬
PSO,
ABC, ACO, MBO
‫و‬
1
:‫پایه‬ ‫مقاله‬ ‫نوین‬ ‫روش‬
MEL
‫مقدم‬
‫ه‬
‫فهرس‬
‫ت‬
‫گیری‬ ‫نتیجه‬
•
MEL
‫ارائه‬ ‫را‬ ‫کوچک‬ ‫زیرمجموعه‬ ،‫باال‬ ‫دقت‬ ‫همزمان‬
.‫‌دهد‬
‫ی‬‫م‬
12
/
‫مقایسه‬ ‫در‬ ‫وضعیت‬
‫ارائه‬ ‫روش‬
‫شده‬
‫معیار‬
‫به‬ ‫نزدیک‬ ‫یا‬ ‫بهترین‬
‫بهترین‬
‫باال‬ ‫بسیار‬ ‫‌بندی‬
‫ه‬‫طبق‬ ‫دقت‬
‫انتخاب‬ ‫‌ترین‬
‫ه‬‫بهین‬
‫ویژگی‬
‫کم‬ ‫بسیار‬
‫زیرمجموعه‬ ‫اندازه‬
‫ویژگی‬
15
/
‫شما‬ ‫توجه‬ ‫از‬ ‫تشکر‬ ‫با‬

RL-MEL based on pso with reinforcement learning.pptx

  • 1.
    ‫یادگیری‬ ‫بر‬ ‫مبتنی‬‫‌ای‬ ‫ه‬‫چندوظیف‬ ‫تکاملی‬ ‫یادگیری‬ ‫باال‬ ‫ابعاد‬ ‫با‬ ‫‌های‬ ‫ه‬‫داد‬ ‫در‬ ‫ویژگی‬ ‫انتخاب‬ ‫برای‬ ‫تقویتی‬ ‫عنوان‬ :‫ارائه‬ ‫محمدحسن‬ ‫سید‬ :‫دهنده‬ ‫ارائه‬ ‫غفوریان‬ ‫سید‬ ،‫دانش‬ ‫ملیحه‬ ‫دکتر‬ ‫خانم‬ :‫نویسندگان‬ ‫غفوریان‬ ‫محمدحسن‬ ‫پاییز‬ 1404
  • 2.
    ‫مقدم‬ ‫ه‬ • ‫انتخاب‬ ‫‌های‬ ‫ش‬‫رو‬ ‫انواع‬‫و‬ ‫اهمیت‬ ‫ویژگی‬ • ‫سنتی‬ ‫‌های‬ ‫ش‬‫رو‬ ‫‌های‬ ‫ت‬‫محدودی‬ ‫ویژگی‬ ‫انتخاب‬ ‫فهرس‬ ‫ت‬ ‫مقدمه‬ • ‫انتخاب‬ ‫در‬ ‫تکاملی‬ ‫‌های‬ ‫م‬‫الگوریت‬ ‫نقش‬ ‫ویژگی‬ 12 / • ‫الگوریتم‬ :‫پیشنهادی‬ ‫روش‬ RL-MEL • ‫با‬ ‫‌های‬ ‫ه‬‫داد‬ ‫در‬ ‫ابعاد‬ ‫نفرین‬ ‫چالش‬ ‫باال‬ ‫ابعاد‬
  • 3.
    ‫مقدم‬ ‫ه‬ • sub1 ‫از‬ ‫استفاده‬ ‫با‬‫سراسری‬ ‫‌وجو‬ ‫ت‬‫جس‬ : PSO ‫و‬ ‫از‬ ‫دانش‬ ‫یادگیری‬ sub2 • ‫افزایش‬ ‫و‬ ‫دانش‬ ‫انتقال‬ ‫موجب‬ ‫‌ها‬ ‫ت‬‫زیرجمعی‬ ‫بین‬ ‫تعامل‬ ‫‌شود‬ ‫ی‬‫م‬ ‫‌وجو‬ ‫ت‬‫جس‬ ‫کارایی‬ ‫فهرس‬ ‫ت‬ ‫روش‬ ‫پیشنهادی‬ 12 / ‫روش‬ ‫کلی‬ ‫نمای‬ RL-MEL ‫شکل‬ 1 ‫روش‬ ‫کلی‬ ‫نمای‬ . RL-MEL • sub2 ‫با‬ ‫ها‬ ‫ویژگی‬ ‫هوشمند‬ ‫‌برداری‬ ‫ه‬‫بهر‬ : ‫تقویتی‬ ‫یادگیری‬ • ‫زیرجمعیت‬ ‫دو‬ ‫به‬ ‫جمعیت‬ ‫تقسیم‬ sub1 ‫و‬ sub2
  • 4.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫روش‬ ‫پیشنهادی‬ 12 / ‫عملکرد‬ ‫زیرجمعیت‬ 1 • ‫‌ها‬ ‫ی‬‫ویژگ‬ ‫از‬ ‫‌ای‬ ‫ه‬‫بهین‬‫زیرمجموعه‬ ‫برای‬ ‫‌وجو‬ ‫ت‬‫جس‬ ‫با‬ :‫از‬ ‫استفاده‬ personal best، global best ‫و‬ sub2 best • ‫زیرجمعیت‬ ‫در‬ ‫دانش‬ ‫یادگیری‬ 1
  • 5.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫روش‬ ‫پیشنهادی‬ 12 / ‫‌رسانی‬ ‫ز‬‫‌رو‬ ‫ه‬‫ب‬ ‫ها‬ ‫ویژگی‬ ‫وزن‬ ‫از‬‫استفاده‬ ‫با‬ ‫تقویتی‬ ‫یادگیری‬ ‫و‬ ‫پاداش‬ ‫تابع‬ • ‫برخالف‬ MEL ‫دقت‬ ‫اختالف‬ ‫ا‬O O‫ب‬ ‫را‬ ‫ا‬O O‫‌ه‬ ‫ن‬‫وز‬ ‫ه‬O O‫ک‬ ‫یادگیری‬ ‫عامل‬ ‫ک‬O‫ی‬ ‫ا‬O‫اینج‬ ،‫‌کرد‬ ‫ی‬‫م‬ ‫انی‬O‫‌روزرس‬ ‫ه‬‫ب‬ ‫یا‬ ‫ت‬O‫تقوی‬ ‫ی‬O‫ویژگ‬ ‫کدام‬ ‫‌گیرد‬ ‫ی‬‫م‬ ‫میم‬O‫تص‬ ‫ی‬O‫تقویت‬ .‫شود‬ ‫تضعیف‬ • ‫ل‬O ‫م‬‫عا‬ ‫ه‬O ‫ک‬ ‫‌شود‬ ‫ی‬‫م‬ ‫ث‬O ‫ع‬‫با‬ ‫پاداش‬ ‫ع‬O ‫ب‬‫تا‬ ‫ن‬O ‫ی‬‫ا‬ RL ‫فقط‬ ‫های‬ ‫ویژگی‬ ‫پایداری‬ ‫ه‬O‫بلک‬ ،‫د‬O‫نکن‬ ‫ه‬O‫توج‬ ‫ت‬O‫دق‬ ‫ه‬O‫ب‬ ‫در‬ ‫هم‬ ‫را‬ ‫ه‬O ‫زیرمجموع‬ ‫بودن‬ ‫ک‬O ‫کوچ‬ ‫و‬ ‫شده‬ ‫انتخاب‬ .‫بگیرد‬ ‫نظر‬
  • 6.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫روش‬ ‫پیشنهادی‬ 12 / ‫ویژگی‬ ‫انتخاب‬ ‫تابع‬ ‫و‬‫ها‬ ‫برازش‬ • ‫زیرمجموعه‬ ‫اندازه‬ ‫و‬ ‫خطا‬ ‫نرخ‬ ‫بین‬ ‫توازن‬ :‫فرمول‬ ‫با‬ ‫‌ها‬ ‫ی‬‫ویژگ‬ • :‫شده‬ ‫استفاده‬ ‫مقادیر‬ α = 0.9 ‫و‬ β = 0.1 • ‫اندازه‬ ‫‌سازی‬ ‫ه‬‫کمین‬ ‫و‬ ‫‌بندی‬ ‫ه‬‫طبق‬ ‫خطای‬ ‫نرخ‬ ‫‌سازی‬ ‫ه‬‫کمین‬ ‫‌ها‬ ‫ی‬‫ویژگ‬ ‫زیرمجموعه‬ • ‫تابع‬ ‫با‬ ‫احتمالی‬ ‫‌صورت‬ ‫ه‬‫ب‬ ‫‌ها‬ ‫ی‬‫ویژگ‬ ‫انتخاب‬ softmax
  • 7.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫روش‬ ‫پیشنهادی‬ 12 / ‫نوآوری‬ ‫و‬ ‫مزایا‬ ‫ها‬ • Sub2 ‫و‬‫انتفاع‬ ‫قابلیت‬ ‫بیشتر‬ Sub1 ‫بیشتر‬ ‫پویش‬ ‫قابلیت‬ • ‫بین‬ ‫دانش‬ ‫انتقال‬ ‫از‬ ‫‌برداری‬ ‫ه‬‫بهر‬ ‫‌ها‬ ‫ت‬‫زیرجمعی‬ • ‫دقت‬ ‫حفظ‬ ‫با‬ ‫‌ها‬ ‫ی‬‫ویژگ‬ ‫ابعاد‬ ‫کاهش‬ ‫باال‬ • ‫‌وجوی‬ ‫ت‬‫جس‬ ‫ترکیب‬ PSO ‫بر‬ ‫تقویتی‬ ‫یادگیری‬ ‫توسط‬ ‫هدایت‬ ‫با‬ ‫ها‬ ‫ویژگی‬ ‫اهمیت‬ ‫مبنای‬ exploitation 1 1 exploration 2 2
  • 8.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫سازی‬ ‫پیاده‬ 12 / ‫ها‬ ‫داده‬‫مجموعه‬ • 12 ‫عمومی‬ ‫ژنتیکی‬ ‫داده‬ ‫مجموعه‬ • ‫از‬ ‫بیش‬ ‫با‬ ً‫اکثرا‬ 7000 ‫ویژگی‬ • :‫مانند‬ Adenoma، ALLAML، Gastric، Stroke • :‫مانند‬ Adenoma، ALLAML، Gastric، Stroke ‫جدول‬ 1 ‫ها‬ ‫داده‬ ‫مجموعه‬ .
  • 9.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫سازی‬ ‫پیاده‬ 12 / 8 ‫های‬ ‫پارامتر‬ ‫آزمایش‬ • :‫جمعیت‬ 20 ‫ذره‬ • :‫استفاده‬‫مورد‬ ‫‌بند‬ ‫ه‬‫دست‬ KNN ‫با‬ K = 3 • ‫میانگین‬ ‫مقدار‬ :‫ارزیابی‬ 5 - fold Cross-validation • ‫تکرار‬ 10 ‫پایدار‬ ‫از‬ ‫اطمینان‬ ‫جهت‬ ‫ها‬ ‫آزمایش‬ ‫باره‬ ‫نتایج‬ ‫بودن‬
  • 10.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫مقایسه‬ ‫نتایج‬ 12 / ‫با‬ ‫مقایسه‬ ‫در‬ ‫ها‬‫روش‬ ‫سایر‬ ‫و‬ ‫دقت‬ ‫نظر‬ ‫از‬ ‫تعداد‬ ‫‌های‬ ‫ی‬‫ویژگ‬ ‫‌شده‬ ‫ب‬‫انتخا‬ • RL-MEL ‫در‬ ۸ ‫از‬ ۱۲ ‫‌بندی‬ ‫ه‬‫طبق‬ ‫دقت‬ ‫بیشترین‬ ‫دیتاست‬ .‫است‬ ‫کرده‬ ‫کسب‬ ‫را‬ • ‫با‬ ‫مقایسه‬ 4 :‫جمعیت‬ ‫بر‬ ‫مبتنی‬ ‫کالسیک‬ ‫روش‬ PSO, ABC, ACO, MBO ‫و‬ 1 :‫پایه‬ ‫مقاله‬ ‫نوین‬ ‫روش‬ MEL
  • 11.
    ‫مقدم‬ ‫ه‬ ‫فهرس‬ ‫ت‬ ‫گیری‬ ‫نتیجه‬ • MEL ‫ارائه‬ ‫را‬‫کوچک‬ ‫زیرمجموعه‬ ،‫باال‬ ‫دقت‬ ‫همزمان‬ .‫‌دهد‬ ‫ی‬‫م‬ 12 / ‫مقایسه‬ ‫در‬ ‫وضعیت‬ ‫ارائه‬ ‫روش‬ ‫شده‬ ‫معیار‬ ‫به‬ ‫نزدیک‬ ‫یا‬ ‫بهترین‬ ‫بهترین‬ ‫باال‬ ‫بسیار‬ ‫‌بندی‬ ‫ه‬‫طبق‬ ‫دقت‬ ‫انتخاب‬ ‫‌ترین‬ ‫ه‬‫بهین‬ ‫ویژگی‬ ‫کم‬ ‫بسیار‬ ‫زیرمجموعه‬ ‫اندازه‬ ‫ویژگی‬
  • 12.