SlideShare a Scribd company logo
1 of 42
Download to read offline
‫با‬ ‫تصاویر‬ ‫جستجوی‬ ‫بر‬ ‫مبتنی‬ ‫زنی‬ ‫برچسب‬
‫عمیق‬ ‫های‬ ‫مدل‬ ‫از‬ ‫استفاده‬
‫دانشجو‬
:
‫کاشانی‬ ‫ّدی‬‫م‬‫مح‬ ‫محیا‬
‫راهنما‬ ‫استاد‬
:
‫امیری‬ ‫حمید‬ ‫ّد‬‫ی‬‫س‬ ‫دکتر‬
‫مشاور‬ ‫استاد‬
:
‫حسینی‬ ‫مهدی‬ ‫ّد‬‫م‬‫مح‬ ‫مهندس‬
‫ماه‬ ‫اسفند‬
1397
ocean, fish
House , Waistcoat
People
coral,
reefs
terrain
Girl, pullover
‫رجائی‬ ‫شهید‬ ‫دبیر‬ ‫تربیت‬ ‫دانشگاه‬
‫دانشکده‬
‫مهندسی‬
‫کامپیوتر‬
2
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫مقدمه‬
“What Happens in an Internet Minute”, By Lena Long, Dec 13th, 2013
‫برچسب‬ ‫سامانه‬
‫خودکار‬ ‫زنی‬
‫تصاویر‬
3
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫خروجی‬ ‫تصویر‬
‫ورودی‬ ‫تصویر‬
‫ی‬ ‫سامانه‬
‫خودکار‬
‫زنی‬ ‫برچسب‬
‫ویژگی‬ ‫استخراج‬
‫دهی‬ ‫نسبت‬
‫ها‬ ‫برچسب‬
Panda, Black, Tree,
Wildlife
‫تحقیق‬ ‫هدف‬
4
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫پیدا‬
‫سرعت‬ ‫و‬ ‫عملکرد‬ ‫کارآمدی‬ ‫برای‬ ‫بهینه‬ ‫نقطه‬ ‫کردن‬
‫اجرای‬
‫سامانه‬
“http://bhexperience.blogspot.com”
AUTOMATIC IMAGE ANNOTATOR
5
‫زنی‬ ‫برچسب‬ ‫های‬ ‫چالش‬
•
‫معنایی‬ ‫شکاف‬
•
‫زنی‬ ‫برچسب‬
‫ناقص‬
•
‫ها‬ ‫کالس‬ ‫توازن‬ ‫عدم‬
•
‫های‬ ‫داده‬ ‫برای‬ ‫ها‬ ‫الگوریتم‬ ‫کارگیری‬ ‫به‬ ‫در‬ ‫ناتوانی‬
‫بزرگ‬
•
‫برچسب‬ ‫ابهام‬
‫ها‬
•
‫ساختاری‬ ‫پوشانی‬ ‫هم‬
Sky
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
“ICT Pulse, ww.dreamstime.com”
‫ها‬ ‫برچسب‬ ‫ابهام‬
‫ناقص‬ ‫زنی‬ ‫برچسب‬ ‫چالش‬
‫معنایی‬ ‫شکاف‬
‫کالس‬ ‫توازن‬ ‫عدم‬
6
‫استفاده‬ ‫با‬ ‫ویژگی‬ ‫استخراج‬
‫های‬ ‫مدل‬ ‫از‬
‫عمیق‬ ‫یادگیری‬
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE
SCALE IMAGE RECOGNITION, (K. Simonyan, 2015) ‫شکل‬
(
8
)
‫شبکه‬ ‫معماری‬
‫عصبی‬
VGG-Net
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫برای‬ ‫تصویر‬ ‫بندی‬ ‫قطعه‬ ‫بهترین‬
‫عمیق‬ ‫های‬ ‫مدل‬ ‫از‬ ‫ویژگی‬ ‫استخراج‬
Other Frame Works
• ResNet101
• Dense169
7
‫برچسب‬ ‫در‬ ‫جستجو‬ ‫فضای‬ ‫کاهش‬ ‫برای‬ ‫پیشنهادی‬ ‫روش‬
‫تص‬ ‫زنی‬
‫اویر‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫شمای‬
‫برچسب‬ ‫جستجوی‬ ‫فضای‬ ‫کاهش‬ ‫الگوریتم‬ ‫کلی‬
‫زنی‬
8
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
𝑃 𝐼𝑡𝑒𝑠𝑡 P r) ‫و‬ 𝑃 𝑃𝑟 I𝑡𝑟𝑎𝑖𝑛) ‫محاسبه‬
‫بازسازی‬
‫تنک‬
𝑚𝑖𝑛
𝑖=1
𝑁
𝑒𝑖 − 𝐵𝑐𝑖
2
+ 𝜆 𝑑𝑖⨀𝑐𝑖
2
𝑠. 𝑡. 1𝑇𝑐𝑖 = 1, ∀𝑖
‫نمایندگان‬
‫های‬ ‫داده‬
‫آموزشی‬
‫گوسی‬ ‫کرنل‬
‫میان‬ ‫وزن‬
‫داده‬ ‫و‬ ‫نمایندگان‬
‫ها‬
9
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
𝑃(𝐼𝑡𝑒𝑠𝑡|𝐼𝑡𝑟𝑎𝑖𝑛) = 𝑃 𝐼𝑡𝑒𝑠𝑡 P r) × 𝑃 𝑃𝑟 I𝑡𝑟𝑎𝑖𝑛)
𝑝(𝑙𝑖|𝐴) =
𝑝 𝐴 𝑙𝑖 𝑝 𝑙𝑖
)
𝑝(𝐴
𝑦∗ = 𝑎𝑟𝑔 max
i
)
𝑝(𝑙𝑖|𝐽 ‫برای‬ ‫برچسب‬ ‫بهترین‬
‫تصویر‬
‫ورودی‬
‫برای‬ ‫پیشنهادی‬ ‫روش‬
‫تصاویر‬ ‫زنی‬ ‫برچسب‬
‫به‬ ‫مسئله‬ ‫سازی‬ ‫مدل‬
‫احتمال‬ ‫کردن‬ ‫پیدا‬
‫ثانویه‬
‫برچسب‬ ‫دهی‬ ‫نسبت‬

‫برچسب‬ ‫ثابت‬ ‫دهی‬ ‫نسبت‬

‫برچسب‬ ‫پویا‬ ‫دهی‬ ‫نسبت‬
‫آستانه‬
‫تطبیقی‬ ‫گذاری‬
10
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫شمای‬
‫تاثیر‬ ‫درجه‬ ‫با‬ ‫آموزشی‬ ‫تصاویر‬ ‫بازگرداندن‬ ‫کلی‬
‫صفر‬
‫بررسی‬
‫و‬
‫بازگرداندن‬
‫تصاویر‬
‫آموزشی‬
‫موثر‬
‫به‬
‫سامانه‬
‫پیشنهادی‬
o
‫خطای‬
‫مطلق‬
‫برچسب‬
‫های‬
‫پیش‬
‫بینی‬
‫شده‬
(RTIAFA)
o
‫خطای‬
‫نسبی‬
‫برچسب‬
‫های‬
‫پیش‬
‫بین‬
‫ی‬
‫شده‬
(
RTIRFA
)
o
‫جمع‬
‫وزن‬
‫دار‬
‫خطای‬
‫مطلق‬
‫برچسب‬
-
‫های‬
‫پیش‬
‫بینی‬
‫شده‬
(
RTIRA
)
‫زنی‬ ‫برچسب‬ ‫دادگان‬ ‫مجموعه‬ ‫آماری‬ ‫اطالعات‬
11
‫شده‬ ‫آزمایش‬ ‫های‬ ‫داده‬ ‫مجموعه‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
Flickr
12
‫مقایسه‬
‫ویژگی‬ ‫بررسی‬ ‫و‬
‫مختلف‬ ‫ژرف‬ ‫یادگیری‬ ‫های‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
IAPRTC12
ESP
Game
Flickr59k
Flickr125k
(
‫ج‬
)
(
‫ب‬
)
(
‫الف‬
)
20
40
60
Precision
20
30
40
50
Recall
30
40
50
F1
20
30
40
50
60
Precision
20
30
40
50
Recall
30
40
50
F1
10
20
30
Precision
10
20
30
Recall
10
20
30
F1
10
20
30
40
Precision
10
15
20
Recall
10
15
20
25
F1
‫ارزیابی‬
‫سامانه‬
‫ی‬
‫برچسب‬
‫زنی‬
‫کاهش‬
‫فضای‬
‫جستجو‬
‫به‬
‫ازای‬
‫ویژگی‬
‫های‬
‫مدل‬
‫های‬
‫یادگیری‬
‫عمیق‬
‫برحسب‬
‫میانگین‬
‫دقت‬
(
‫الف‬
)
،
‫میانگین‬
‫یادآوری‬
(
‫ب‬
)
‫و‬
F1
(
‫ج‬
)
13
‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
Flickr
ESP Game
IAPRTC12
Data Set
9
4
4
K
‫جدول‬
1
)
‫پارامتر‬ ‫تعیین‬
K
‫نزدیک‬
‫وزن‬ ‫بازسازی‬ ‫طی‬ ‫همسایگی‬ ‫ترین‬
‫مختلف‬ ‫دادگان‬ ‫مجموعه‬ ‫روی‬ ‫بر‬ ‫ها‬
38.35
40.29
10
20
30
40
50
0 5 10 15 20
F1
‫نماینده‬ ‫تعداد‬
(
‫الف‬
)
44.17
45.79
48.71
10
20
30
40
50
0 5 10 15
F1
‫نماینده‬ ‫تعداد‬
(
‫ب‬
)
2.7 4.07
0
10
20
30
40
0 5 10 15 20
(ms)
‫اجرا‬
‫زمان‬
‫تعداد‬
‫نماینده‬
(
‫ج‬
)
4.14 4.25
23
0
10
20
30
0 5 10 15 20
(ms)
‫اجرا‬
‫زمان‬
‫تعداد‬
‫نماینده‬
(
‫د‬
)
× 103
× 103
× 103 × 103
‫ارزیابی‬
‫برچسب‬ ‫سامانه‬ ‫کارایی‬
‫برچسب‬ ‫اجرای‬ ‫زمان‬ ‫و‬ ‫نمایندگان‬ ‫ازای‬ ‫به‬ ‫زنی‬
‫تصویر‬ ‫یک‬ ‫برای‬ ‫زنی‬
‫ورودی‬
IAPRTC12
ESP
Game
14
‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫ارزیابی‬
‫برچسب‬ ‫سامانه‬ ‫کارایی‬
‫برچسب‬ ‫اجرای‬ ‫زمان‬ ‫و‬ ‫نمایندگان‬ ‫ازای‬ ‫به‬ ‫زنی‬
‫تصویر‬ ‫یک‬ ‫برای‬ ‫زنی‬
‫ورودی‬
Flickr125k
Flickr59k
22.15
10
15
20
25
0 10 20 30
F1
‫نماینده‬ ‫تعداد‬
(
‫الف‬
)
26.73
26.75
10
20
30
0 10 20 30
F1
‫نماینده‬ ‫تعداد‬
(
‫ب‬
)
11
0
10
20
30
0 10 20 30
(ms)
‫اجرا‬
‫زمان‬
(
‫ج‬
)
6.31 6.35
0
20
40
60
0 10 20 30
(ms)
‫اجرا‬
‫زمان‬
(
‫د‬
)
× 103 × 103
× 103
× 103
Flicker125k
Flicker59k
Esp-Game
IAPRTC12
K
18/7
21/9
35/2
41/8
3
54
/
19
22/81
40/29
44/18
5
45
/
21
24/56
40/44
45/79
7
15
/
22
26/73
40/89
46/23
11
15
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫آنالیز‬
‫پارامتر‬ ‫روی‬ ‫بر‬ ‫حساسیت‬
K
16
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫ورودی‬ ‫تصویر‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫موثر‬ ‫آموزشی‬ ‫تصاویر‬ ‫تحلیل‬
8K
5K
3K
1K
M
K
μ
7/8
‫و‬
δ
0/66
μ
9/8
‫و‬
δ
0/34
μ
8/95
‫و‬
δ
0/22
μ
7/8
‫و‬
δ
0/14
3
μ
22/08
‫و‬
δ
2/55
μ
23/72
‫و‬
δ
1/69
μ
24/17
‫و‬
δ
1/31
μ
24/72
‫و‬
δ
0/57
5
μ
39/37
‫و‬
δ
5/76
μ
42/48
‫و‬
δ
2/4
μ
45/3
‫و‬
δ
2/95
μ
47/72
‫و‬
δ
1/42
7
μ
83/05
‫و‬
δ
16/53
μ
92/90
‫و‬
δ
13/28
μ
87/99
‫و‬
δ
9/76
μ
112
‫و‬
δ
1/5
11
17
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
M
K
K
8
K
5
5
𝛍
72/23
‫و‬
δ
1/69
𝛍
24/17
‫و‬
δ
1/31
7
𝛍
42/42
‫و‬
δ
2/4
𝛍
45/3
‫و‬
δ
2/95
11
𝛍
92/90
‫و‬
δ
13/28
𝛍
99
‫و‬
δ
9/76
18
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫پویا‬ ‫و‬ ‫ثابت‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬
(
‫تطبیقی‬
)
‫شکل‬
)
15
(
‫کارایی‬ ‫مقایسه‬
‫معیار‬
F1
‫به‬
‫برچسب‬ ‫رویکرد‬ ‫دو‬ ‫ازای‬
‫زنی‬
‫تصویر‬
39.86
40.49
39 39.5 40 40.5 41
‫ثاب‬ ‫برچسب‬
‫ت‬
‫گذاری‬ ‫آستانه‬
(
‫ب‬
)
40.15
45.79
30 35 40 45 50
‫ثابت‬ ‫برچسب‬
‫گذاری‬ ‫آستانه‬
(
‫الف‬
)
20.96
22.15
20 21 22 23
‫ثابت‬ ‫برچسب‬
‫گذاری‬ ‫آستانه‬
(
‫د‬
)
24.47
26.73
23 24 25 26 27 28
‫ثاب‬ ‫برچسب‬
‫ت‬
‫گذاری‬ ‫آستانه‬
(
‫ج‬
)
IAPRTC12
Flickr59k
Flickr125k
ESP
Game
19
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫روش‬ ‫مقایسه‬ ‫و‬ ‫بررسی‬
‫برچسب‬ ‫پیشین‬ ‫های‬
‫پیشنه‬ ‫روش‬ ‫و‬ ‫زنی‬
‫ادی‬
20
‫پیش‬
‫مجموعه‬ ‫تصاویر‬ ‫روی‬ ‫بر‬ ‫برچسب‬ ‫بینی‬
‫ه‬ ‫داده‬
‫ا‬
Predicted tags:
Mountain,
river, tree
Predicted tags:
Boy, child, girl,
man, wall,
woman
Predicted tags:
Portrait, canon,
Nikon, animal,
dog, cute
Predicted tags:
Wildlife,
animal, nature,
photos
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
21
‫خالصه‬
‫برچسب‬ ‫برای‬ ‫آموزشی‬ ‫داده‬ ‫پایگاه‬ ‫سازی‬
‫جس‬ ‫بر‬ ‫مبتنی‬ ‫تصاویر‬ ‫خودکار‬ ‫زنی‬
‫تجو‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫نمونه‬
‫آموزشی‬ ‫مجموعه‬ ‫و‬ ‫نمایندگان‬ ‫از‬ ‫شده‬ ‫ساخته‬ ‫گراف‬
22
‫گراف‬ ‫روی‬ ‫برچسبی‬ ‫چند‬ ‫انتشار‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
𝑄 𝐹 =
𝑖=𝑀,𝑖∉𝑁
𝑃
𝑗:𝑥𝑗∈𝒩 𝑥𝑗
𝑊𝑖𝑗 𝐹𝑖 − 𝐹
𝑗
2
+ 𝛾
𝑖=𝑀,𝑖∉𝑁
𝑃
𝐹𝑖 − 𝑌𝑖
2
(1)

‫وزن‬
‫گراف‬
‫برای‬
‫رئوس‬
‫نمایندگان‬
‫و‬
‫داده‬
‫های‬
‫آموزشی‬
‫از‬
‫طریق‬
‫بازسازی‬
‫تقریبی‬
‫کدگذاری‬
‫خطی‬
‫محدودیت‬
‫محلی‬
(
LLC
)

𝑊 > 0

𝑊 =
𝑊𝑇+𝑊
2

𝐹 𝑡 + 1 = 𝛼𝐹 𝑡 + 1 − 𝛼 𝑌
،
0 < 𝛼 < 1

𝐹 𝑡+1
(𝑢)𝑢∈𝑋 = 𝐹 𝑡
(𝑢)𝑢∈𝑋
‫خالصه‬ ‫الگوریتم‬
‫داده‬ ‫پایگاه‬ ‫سازی‬
23
‫داده‬ ‫پایگاه‬ ‫سازی‬ ‫خالصه‬ ‫با‬ ‫زنی‬ ‫برچسب‬ ‫سامانه‬ ‫پیشنهادی‬ ‫روش‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
24
‫عملکرد‬ ‫مقایسه‬
‫سامانه‬
‫ی‬
‫برچسب‬
‫زنی‬
‫پایه‬ ‫روش‬ ‫به‬ ‫نسبت‬ ‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫روی‬ ‫بر‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫سامانه‬ ‫عملکرد‬
‫برچسب‬ ‫ی‬
‫دقت‬ ‫میانگین‬ ‫برحسب‬ ‫زنی‬
(
‫الف‬
)
‫یادآوری‬ ‫میانگین‬ ،
(
‫ب‬
)
‫و‬
F1
(
‫ج‬
)
IAPRTC12
ESP
Game
(
‫ج‬
)
(
‫ب‬
)
(
‫الف‬
)
30
32
34
36
38
40
39.92
F1
20
25
30
35
40 37.57
Recall
20
30
40
50
51.56
Precision
25
30
35
40
35.89
F1
20
30
40
34.6
Recall
10
20
30
40
50
51
Precision
25
‫نمایندگان‬ ‫تعداد‬ ‫روی‬ ‫بر‬ ‫حساسیت‬ ‫آنالیز‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
0
10
20
30
40
50
60
70
80
0 3 6 9 12
‫برچسبزنی‬
‫سرعت‬
(
‫تصوی‬
‫هر‬
‫ر‬
)
0
10
20
30
40
50
60
70
80
90
100
0 3 6 9 12
‫سرعت‬
‫برچسبزنی‬
0
5
10
15
20
25
30
35
40
45
50
0 3 6 9 12
F1
0
5
10
15
20
25
30
35
40
45
0 3 6 9 12
F1
(
‫الف‬
)
(
‫ج‬
)
(
‫ب‬
)
(
‫د‬
)
× 103 × 103
× 103
× 103
IAPRTC12 ESP Game
26
‫نماینده‬ ‫استخراج‬ ‫روش‬ ‫دو‬ ‫مقایسه‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
(
‫الف‬
)
(
‫ب‬
)
IAPRTC12
ESP GAME
Precision
Recall
F1
44.09
45.11
10
20
30
40
50
HC1
HC2
K-means
HC3
45.12
44.31
5
15
25
35
45
HC1
HC2
K-
means
HC3
38.35
36.2
5
15
25
35
45
HC1
HC2
K-means
HC3
37.35
34.22
5
20
35
50
HC1
HC2
K-means
HC3
40.02
41.8
5
15
25
35
45
HC1
HC2
K-
means
HC3
35.02
36.36
5
15
25
35
45
HC1
HC2
K-means
HC3
HC1: hierarchical clustering with 1 layer
HC2 : hierarchical clustering with 2 layer
HC3 : hierarchical clustering with 3 layer
27
‫ثابت‬ ‫و‬ ‫پویا‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬ ‫های‬ ‫روش‬ ‫مقایسه‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
ESP GAME
IAPRTC12
34.25
35.57
34
30
31
32
33
34
35
36
37
Fixed Label Dynamic 2pknn
Fixed Label
Dynamic
2pknn
35.89
39.92
34.8
30
32
34
36
38
40
42
Fixed Label Dynamic 2pknn
28
‫زن‬ ‫برچسب‬ ‫های‬ ‫روش‬ ‫سایر‬ ‫با‬ ‫سازی‬ ‫خالصه‬ ‫با‬ ‫زنی‬ ‫برچسب‬ ‫پیشنهادی‬ ‫روش‬ ‫مقایسه‬
‫ی‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
Method Feature
ESP Game IAPRTC-12
P R F1 P R F1
JEC Standard 0.22 0.25 0.23 0.28 0.29 0.29
MBRM Standard 0.18 0.19 0.19 0.24 0.23 0.24
Tag Prop (ML) Standard 0.49 0.2 0.28 0.48 0.25 0.33
Tag Prop (δML) Standard 0.39 0.27 0.32 0.46 0.35 0.4
2PKNN Standard 0.51 0.23 0.32 0.49 0.32 0.39
2PKNN(ML) Standard 0.53 0.27 0.35 0.54 0.37 0.44
Fast Tag Standard 0.46 0.22 0.3 0.47 0.26 0.34
NMF-KNN Standard 0.33 0.26 0.29 - - -
CCA-KNN Standard 0.46 0.36 0.41 0.45 0.38 0.41
KSVM-VT Standard 0.33 0.32 0.33 0.47 0.29 0.36
2PKNN-without
Normalization
CNN)Dense169( 0.49 0.32 0.39 0.531 0.321 0.4
2PKNN CNN)Dense169( 0.44 0.39 0.42 0.49 0.41 0.44
TDSNLP+2PKNN CNN)Dense169( 0.44 0.28 0.342 0.45 0.34 0.39
TDSNLPFT CNN)Dense169( 0.37 0.34 0.35 0.45 0.39 0.42
TDSNLPDT CNN)Dense169( 0.44 0.37 0.36 0.47 0.42 0.44
29
‫گسترش‬ ‫حاشیه‬ ‫معنایی‬ ‫نماینده‬ ‫آموزش‬
‫برچسب‬ ‫برای‬ ‫یافته‬
‫تصو‬ ‫بالدرنگ‬ ‫زنی‬
‫یر‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
• Coupled Dictionary Learning
• Optimization
1. Sparse Representation
2. Update Prototypes
LMSPL
•
‫همزمان‬ ‫آموزش‬
‫ماهیت‬ ‫برای‬ ‫نمایندگان‬
‫بصری‬ ‫و‬ ‫معنایی‬ ‫های‬
‫انسجام‬ ‫عدم‬
‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫رویکرد‬
‫پذیری‬ ‫تعمیم‬
‫تابع‬
‫مسئله‬ ‫هدف‬
𝐷𝐼
, 𝐷𝐿
, 𝛼 = 𝑎𝑟𝑔𝑚𝑖𝑛
𝑖=1
𝑁
𝑥𝑖
− 𝐷𝐼
𝛼𝑖
2
2
+ 𝜆
𝑖=1
𝑁
𝑡=1
𝑇
𝑙 𝑦𝑡
𝑖
, 𝑑𝑡
𝐿
𝛼𝑖
(𝟏)
𝑠. 𝑡 𝛼𝑖
1
≤ 1, 𝛼𝑘
𝑖
≥ 0, 𝑑𝑘
𝐼
𝜖𝔻 = 𝑑𝜖ℝ 𝑀
, 𝑑 2
2
≤ 1 , ∀𝑘𝜖{1, … , 𝐾}
31
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
32
‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫امتیادهی‬ ‫برای‬ ‫معنایی‬ ‫نمایندگان‬ ‫دقیق‬ ‫تنظیم‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
Apply Gradient Descent for
Fine-Tuning
𝜏𝑜𝑝𝑡𝑖𝑚𝑎𝑙
𝜏+
𝜏−
33
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
34
‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫امتیادهی‬ ‫برای‬ ‫معنایی‬ ‫نمایندگان‬ ‫دقیق‬ ‫تنظیم‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
‫شکل‬
(
17
)
‫برچسب‬ ‫برای‬ ‫امتیازها‬ ‫توزیع‬
‫منفی‬ ‫و‬ ‫مثبت‬ ‫های‬
( .
‫الف‬
)
ً‫ا‬‫توأم‬ ‫نماینده‬ ‫آموزش‬ ‫مرحله‬ ‫بر‬ ‫مبتنی‬ ‫شده‬ ‫تولید‬
( .
‫ب‬
)
‫به‬ ‫از‬ ‫بعد‬
‫حاشیه‬ ‫روش‬ ‫کارگیری‬
‫یافته‬ ‫گسترش‬
(
‫ب‬
( )
‫الف‬
)
𝜏𝑜𝑝𝑡𝑖𝑚𝑎𝑙→𝐹−𝑚𝑒𝑎𝑠𝑢𝑟𝑒 𝐵𝑎𝑠𝑒𝑑
35
‫ورودی‬ ‫آزمون‬ ‫تصویر‬ ‫به‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬ ‫برای‬ ‫پیشنهادی‬ ‫روش‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
36
‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫بررسی‬ ‫کنار‬ ‫در‬ ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
36
‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫بررسی‬ ‫کنار‬ ‫در‬ ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
37
‫پایه‬ ‫روش‬ ‫با‬ ‫پیشنهادی‬ ‫روش‬ ‫زنی‬ ‫برچسب‬ ‫سرعت‬ ‫مقایسه‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
IAPRTC-12 ESP-GAME FLICKR59K FLICKR125K
25 ms 398.89 ms
55 ms
29 ms
3.64 ms 1.45 ms 2.1
ms
3.7 ms
38
‫آموزش‬ ‫مقایسه‬
LMSPL
‫تک‬ ،
ً‫ا‬‫توام‬ ،
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
•
‫هستیم‬ ‫مناسب‬ ‫های‬ ‫ویژگی‬ ‫استخراج‬ ‫نیازمند‬ ‫معنایی‬ ‫شکاف‬ ‫وجود‬ ‫دلیل‬ ‫به‬
39
‫گیری‬ ‫نتیجه‬
•
‫زنی‬ ‫برچسب‬ ‫های‬ ‫سامانه‬ ‫پذیری‬ ‫مقیاس‬ ‫عدم‬
•
‫بررس‬ ‫بازیابی‬ ‫مانند‬ ‫را‬ ‫زنی‬ ‫برچسب‬ ‫مسئله‬ ‫جستجو‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫روش‬
‫کرده‬ ‫ی‬
‫حال‬ ‫عین‬ ‫در‬ ،‫دارند‬ ‫ای‬ ‫ساده‬ ‫رویکرد‬ ‫جهت‬ ‫ازین‬
‫باالتری‬ ‫کارایی‬
‫روش‬ ‫بقیه‬ ‫از‬
‫ها‬
‫دارند‬
.
•
‫ی‬ ‫معنایی‬ ‫توصیف‬ ‫برای‬ ‫هایی‬ ‫برچسب‬ ‫بینی‬ ‫پیش‬ ‫زنی‬ ‫برچسب‬ ‫از‬ ‫هدف‬
‫ک‬
‫محتوای‬ ‫بر‬ ‫مبتنی‬ ‫تصویر‬
‫آن‬ ‫بصری‬
‫است‬
.
‫تعلق‬ ‫تصویر‬ ‫کل‬ ‫به‬ ‫برچسب‬
‫گیرد‬ ‫می‬
‫خاصی‬ ‫ناحیه‬ ‫نه‬
‫روش‬
‫ژرف‬ ‫یادگیری‬ ‫بر‬ ‫مبتنی‬ ‫های‬
‫که‬ ‫هایی‬ ‫روش‬ ‫از‬ ‫استفاده‬
‫روند‬
‫تست‬ ‫زمان‬ ‫در‬ ‫ای‬ ‫پیچیده‬
‫ندارند‬
.
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
40
‫گیری‬ ‫نتیجه‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
•
‫آموزش‬ ‫داده‬ ‫پایگاه‬ ‫کل‬ ‫گذاشتن‬ ‫کنار‬ ،‫روش‬ ‫این‬ ‫اساسی‬ ‫مزیت‬
‫و‬ ‫ی‬
‫کوچک‬ ‫و‬ ‫جایگزین‬ ‫داده‬ ‫پایگاه‬ ‫از‬ ‫استفاده‬
‫تر‬
•
‫طی‬ ‫باال‬ ‫فراوانی‬ ‫با‬ ‫های‬ ‫برچسب‬ ‫برای‬ ‫بیشتر‬ ‫شانس‬ ،‫معایب‬
‫انتشار‬
‫برچسب‬
•
‫داده‬ ‫پایگاه‬ ‫به‬ ‫ورودی‬ ‫تصویر‬ ‫شباهت‬
:
ً‫ا‬‫صرف‬ ‫مقایسه‬
‫تصاوی‬
‫ر‬
‫منتخب‬
‫با‬ ‫آموزشی‬
‫تصویر‬ ‫هر‬
‫ورودی‬
•
‫طی‬
‫جه‬ ‫شده‬ ‫درگیر‬ ‫آموزشی‬ ‫تصاویر‬ ‫تعداد‬ ،‫شده‬ ‫انجام‬ ‫بررسی‬
‫ت‬
‫اس‬ ‫کم‬ ‫بسیار‬ ‫ورودی‬ ‫تصویر‬ ‫با‬ ‫شباهت‬ ‫کردن‬ ‫پیدا‬ ‫و‬ ‫مقایسه‬
‫ت‬
‫پیشنهادی‬ ‫رویکرد‬ ‫دو‬
:
.1
‫جستجو‬ ‫فضای‬ ‫کاهش‬
.2
‫به‬ ‫داده‬ ‫پایگاه‬ ‫سازی‬ ‫خالصه‬
‫نمایندگان‬
•
‫ها‬ ‫برچسب‬ ‫انتشار‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫سازی‬ ‫خالصه‬
•
‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫معنایی‬ ‫نماینده‬ ‫آموزش‬
41
‫پیشنهادها‬
‫مقدمه‬
‫هدف‬
‫مسئله‬
‫های‬ ‫چالش‬
‫مسئله‬
‫استخراج‬
‫ویژگی‬
‫فضای‬ ‫کاهش‬
‫جستجو‬
‫سازی‬ ‫خالصه‬
‫داده‬ ‫پایگاه‬
‫گیری‬ ‫نتیجه‬
‫پیشنهادها‬
‫مراجع‬
•
‫ترکیب‬
‫یا‬
‫بازطراحی‬
‫سامانه‬
‫های‬
‫پیشنهادی‬
‫در‬
‫رساله‬
‫سبب‬
‫کارائی‬
‫باالتر‬
‫برچسب‬
‫زنی‬
‫ب‬
‫رای‬
‫شرکت‬
‫داده‬
‫شدن‬
‫هر‬
‫چه‬
‫بیشتر‬
‫برچسب‬
‫های‬
‫کم‬
‫یاب‬
‫با‬
‫شانس‬
‫برابر‬
‫با‬
‫برچسب‬
‫های‬
‫فراوان‬
‫با‬
‫مقیاس‬
‫پ‬
‫ذیری‬
‫بسیار‬
‫بهتری‬
‫خواهد‬
‫شد‬
.
•
‫برچسب‬
‫های‬
‫با‬
‫هم‬
‫پوشانی‬
،‫باال‬
‫ارزیابی‬
‫مناسب‬
‫تر‬
‫محاسبه‬
‫گستردگی‬
‫میان‬
‫برچسب‬
‫های‬
‫پیش‬
‫بینی‬
‫شده‬
‫و‬
‫میزان‬
‫مفید‬
‫بودن‬
‫برچسب‬
‫برای‬
،‫تصویر‬
‫ا‬‫ل‬‫مث‬
‫استفاده‬
‫از‬
‫بهره‬
‫اطلعاتی‬
‫برچسب‬
‫در‬
‫میان‬
‫برچسب‬
‫های‬
‫پیش‬
‫بینی‬
‫شده‬
(
Information
Gain
)
•
‫کارایی‬
‫باالتر‬
‫حافظه‬
،‫مصرفی‬
‫در‬
‫روش‬
‫پیشنهادی‬
‫خلصه‬
‫سازی‬
‫پایگاه‬
،‫داده‬
‫به‬
‫جای‬
‫ساخت‬
‫گراف‬
‫از‬
‫کل‬
‫مجموعه‬
،‫آموزشی‬
‫تقسیم‬
‫گراف‬
‫به‬
‫چندین‬
،‫مولفه‬
‫خلصه‬
‫سازی‬
‫بر‬
‫روی‬
‫هر‬
‫مولفه‬
‫به‬
‫طور‬
‫مجزا‬
•
Flickr
،
‫تغییر‬
‫یا‬
‫تصحیح‬
‫مجموعه‬
‫داده‬
‫ساخته‬
‫شده‬
‫جهت‬
‫بهبود‬
‫کارایی‬
‫سامانه‬
‫برچسب‬
‫زنی‬
•
‫ناکارآمدی‬
‫جستجو‬
‫میان‬
‫نمایندگان‬
‫برای‬
‫مجموعه‬
‫دادگان‬
‫بزرگ‬
:
‫استفاده‬
‫از‬
‫کدگذاری‬
‫و‬
‫درهم‬
‫س‬
‫ازی‬
‫به‬
‫جای‬
‫جستجوی‬
‫کامل‬
‫میان‬
‫نمایندگان‬
‫تشکر‬ ‫با‬
‫شما‬ ‫توجه‬ ‫از‬

Any Question?

More Related Content

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

finalThesis.pdf

  • 1. ‫با‬ ‫تصاویر‬ ‫جستجوی‬ ‫بر‬ ‫مبتنی‬ ‫زنی‬ ‫برچسب‬ ‫عمیق‬ ‫های‬ ‫مدل‬ ‫از‬ ‫استفاده‬ ‫دانشجو‬ : ‫کاشانی‬ ‫ّدی‬‫م‬‫مح‬ ‫محیا‬ ‫راهنما‬ ‫استاد‬ : ‫امیری‬ ‫حمید‬ ‫ّد‬‫ی‬‫س‬ ‫دکتر‬ ‫مشاور‬ ‫استاد‬ : ‫حسینی‬ ‫مهدی‬ ‫ّد‬‫م‬‫مح‬ ‫مهندس‬ ‫ماه‬ ‫اسفند‬ 1397 ocean, fish House , Waistcoat People coral, reefs terrain Girl, pullover ‫رجائی‬ ‫شهید‬ ‫دبیر‬ ‫تربیت‬ ‫دانشگاه‬ ‫دانشکده‬ ‫مهندسی‬ ‫کامپیوتر‬
  • 2. 2 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫مقدمه‬ “What Happens in an Internet Minute”, By Lena Long, Dec 13th, 2013
  • 3. ‫برچسب‬ ‫سامانه‬ ‫خودکار‬ ‫زنی‬ ‫تصاویر‬ 3 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫خروجی‬ ‫تصویر‬ ‫ورودی‬ ‫تصویر‬ ‫ی‬ ‫سامانه‬ ‫خودکار‬ ‫زنی‬ ‫برچسب‬ ‫ویژگی‬ ‫استخراج‬ ‫دهی‬ ‫نسبت‬ ‫ها‬ ‫برچسب‬ Panda, Black, Tree, Wildlife
  • 4. ‫تحقیق‬ ‫هدف‬ 4 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫پیدا‬ ‫سرعت‬ ‫و‬ ‫عملکرد‬ ‫کارآمدی‬ ‫برای‬ ‫بهینه‬ ‫نقطه‬ ‫کردن‬ ‫اجرای‬ ‫سامانه‬ “http://bhexperience.blogspot.com” AUTOMATIC IMAGE ANNOTATOR
  • 5. 5 ‫زنی‬ ‫برچسب‬ ‫های‬ ‫چالش‬ • ‫معنایی‬ ‫شکاف‬ • ‫زنی‬ ‫برچسب‬ ‫ناقص‬ • ‫ها‬ ‫کالس‬ ‫توازن‬ ‫عدم‬ • ‫های‬ ‫داده‬ ‫برای‬ ‫ها‬ ‫الگوریتم‬ ‫کارگیری‬ ‫به‬ ‫در‬ ‫ناتوانی‬ ‫بزرگ‬ • ‫برچسب‬ ‫ابهام‬ ‫ها‬ • ‫ساختاری‬ ‫پوشانی‬ ‫هم‬ Sky ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ “ICT Pulse, ww.dreamstime.com” ‫ها‬ ‫برچسب‬ ‫ابهام‬ ‫ناقص‬ ‫زنی‬ ‫برچسب‬ ‫چالش‬ ‫معنایی‬ ‫شکاف‬ ‫کالس‬ ‫توازن‬ ‫عدم‬
  • 6. 6 ‫استفاده‬ ‫با‬ ‫ویژگی‬ ‫استخراج‬ ‫های‬ ‫مدل‬ ‫از‬ ‫عمیق‬ ‫یادگیری‬ VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE SCALE IMAGE RECOGNITION, (K. Simonyan, 2015) ‫شکل‬ ( 8 ) ‫شبکه‬ ‫معماری‬ ‫عصبی‬ VGG-Net ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫برای‬ ‫تصویر‬ ‫بندی‬ ‫قطعه‬ ‫بهترین‬ ‫عمیق‬ ‫های‬ ‫مدل‬ ‫از‬ ‫ویژگی‬ ‫استخراج‬ Other Frame Works • ResNet101 • Dense169
  • 7. 7 ‫برچسب‬ ‫در‬ ‫جستجو‬ ‫فضای‬ ‫کاهش‬ ‫برای‬ ‫پیشنهادی‬ ‫روش‬ ‫تص‬ ‫زنی‬ ‫اویر‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫شمای‬ ‫برچسب‬ ‫جستجوی‬ ‫فضای‬ ‫کاهش‬ ‫الگوریتم‬ ‫کلی‬ ‫زنی‬
  • 8. 8 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ 𝑃 𝐼𝑡𝑒𝑠𝑡 P r) ‫و‬ 𝑃 𝑃𝑟 I𝑡𝑟𝑎𝑖𝑛) ‫محاسبه‬ ‫بازسازی‬ ‫تنک‬ 𝑚𝑖𝑛 𝑖=1 𝑁 𝑒𝑖 − 𝐵𝑐𝑖 2 + 𝜆 𝑑𝑖⨀𝑐𝑖 2 𝑠. 𝑡. 1𝑇𝑐𝑖 = 1, ∀𝑖 ‫نمایندگان‬ ‫های‬ ‫داده‬ ‫آموزشی‬ ‫گوسی‬ ‫کرنل‬ ‫میان‬ ‫وزن‬ ‫داده‬ ‫و‬ ‫نمایندگان‬ ‫ها‬
  • 9. 9 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ 𝑃(𝐼𝑡𝑒𝑠𝑡|𝐼𝑡𝑟𝑎𝑖𝑛) = 𝑃 𝐼𝑡𝑒𝑠𝑡 P r) × 𝑃 𝑃𝑟 I𝑡𝑟𝑎𝑖𝑛) 𝑝(𝑙𝑖|𝐴) = 𝑝 𝐴 𝑙𝑖 𝑝 𝑙𝑖 ) 𝑝(𝐴 𝑦∗ = 𝑎𝑟𝑔 max i ) 𝑝(𝑙𝑖|𝐽 ‫برای‬ ‫برچسب‬ ‫بهترین‬ ‫تصویر‬ ‫ورودی‬ ‫برای‬ ‫پیشنهادی‬ ‫روش‬ ‫تصاویر‬ ‫زنی‬ ‫برچسب‬ ‫به‬ ‫مسئله‬ ‫سازی‬ ‫مدل‬ ‫احتمال‬ ‫کردن‬ ‫پیدا‬ ‫ثانویه‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬  ‫برچسب‬ ‫ثابت‬ ‫دهی‬ ‫نسبت‬  ‫برچسب‬ ‫پویا‬ ‫دهی‬ ‫نسبت‬ ‫آستانه‬ ‫تطبیقی‬ ‫گذاری‬
  • 10. 10 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫شمای‬ ‫تاثیر‬ ‫درجه‬ ‫با‬ ‫آموزشی‬ ‫تصاویر‬ ‫بازگرداندن‬ ‫کلی‬ ‫صفر‬ ‫بررسی‬ ‫و‬ ‫بازگرداندن‬ ‫تصاویر‬ ‫آموزشی‬ ‫موثر‬ ‫به‬ ‫سامانه‬ ‫پیشنهادی‬ o ‫خطای‬ ‫مطلق‬ ‫برچسب‬ ‫های‬ ‫پیش‬ ‫بینی‬ ‫شده‬ (RTIAFA) o ‫خطای‬ ‫نسبی‬ ‫برچسب‬ ‫های‬ ‫پیش‬ ‫بین‬ ‫ی‬ ‫شده‬ ( RTIRFA ) o ‫جمع‬ ‫وزن‬ ‫دار‬ ‫خطای‬ ‫مطلق‬ ‫برچسب‬ - ‫های‬ ‫پیش‬ ‫بینی‬ ‫شده‬ ( RTIRA )
  • 11. ‫زنی‬ ‫برچسب‬ ‫دادگان‬ ‫مجموعه‬ ‫آماری‬ ‫اطالعات‬ 11 ‫شده‬ ‫آزمایش‬ ‫های‬ ‫داده‬ ‫مجموعه‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ Flickr
  • 12. 12 ‫مقایسه‬ ‫ویژگی‬ ‫بررسی‬ ‫و‬ ‫مختلف‬ ‫ژرف‬ ‫یادگیری‬ ‫های‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ IAPRTC12 ESP Game Flickr59k Flickr125k ( ‫ج‬ ) ( ‫ب‬ ) ( ‫الف‬ ) 20 40 60 Precision 20 30 40 50 Recall 30 40 50 F1 20 30 40 50 60 Precision 20 30 40 50 Recall 30 40 50 F1 10 20 30 Precision 10 20 30 Recall 10 20 30 F1 10 20 30 40 Precision 10 15 20 Recall 10 15 20 25 F1 ‫ارزیابی‬ ‫سامانه‬ ‫ی‬ ‫برچسب‬ ‫زنی‬ ‫کاهش‬ ‫فضای‬ ‫جستجو‬ ‫به‬ ‫ازای‬ ‫ویژگی‬ ‫های‬ ‫مدل‬ ‫های‬ ‫یادگیری‬ ‫عمیق‬ ‫برحسب‬ ‫میانگین‬ ‫دقت‬ ( ‫الف‬ ) ، ‫میانگین‬ ‫یادآوری‬ ( ‫ب‬ ) ‫و‬ F1 ( ‫ج‬ )
  • 13. 13 ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ Flickr ESP Game IAPRTC12 Data Set 9 4 4 K ‫جدول‬ 1 ) ‫پارامتر‬ ‫تعیین‬ K ‫نزدیک‬ ‫وزن‬ ‫بازسازی‬ ‫طی‬ ‫همسایگی‬ ‫ترین‬ ‫مختلف‬ ‫دادگان‬ ‫مجموعه‬ ‫روی‬ ‫بر‬ ‫ها‬ 38.35 40.29 10 20 30 40 50 0 5 10 15 20 F1 ‫نماینده‬ ‫تعداد‬ ( ‫الف‬ ) 44.17 45.79 48.71 10 20 30 40 50 0 5 10 15 F1 ‫نماینده‬ ‫تعداد‬ ( ‫ب‬ ) 2.7 4.07 0 10 20 30 40 0 5 10 15 20 (ms) ‫اجرا‬ ‫زمان‬ ‫تعداد‬ ‫نماینده‬ ( ‫ج‬ ) 4.14 4.25 23 0 10 20 30 0 5 10 15 20 (ms) ‫اجرا‬ ‫زمان‬ ‫تعداد‬ ‫نماینده‬ ( ‫د‬ ) × 103 × 103 × 103 × 103 ‫ارزیابی‬ ‫برچسب‬ ‫سامانه‬ ‫کارایی‬ ‫برچسب‬ ‫اجرای‬ ‫زمان‬ ‫و‬ ‫نمایندگان‬ ‫ازای‬ ‫به‬ ‫زنی‬ ‫تصویر‬ ‫یک‬ ‫برای‬ ‫زنی‬ ‫ورودی‬ IAPRTC12 ESP Game
  • 14. 14 ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫ارزیابی‬ ‫برچسب‬ ‫سامانه‬ ‫کارایی‬ ‫برچسب‬ ‫اجرای‬ ‫زمان‬ ‫و‬ ‫نمایندگان‬ ‫ازای‬ ‫به‬ ‫زنی‬ ‫تصویر‬ ‫یک‬ ‫برای‬ ‫زنی‬ ‫ورودی‬ Flickr125k Flickr59k 22.15 10 15 20 25 0 10 20 30 F1 ‫نماینده‬ ‫تعداد‬ ( ‫الف‬ ) 26.73 26.75 10 20 30 0 10 20 30 F1 ‫نماینده‬ ‫تعداد‬ ( ‫ب‬ ) 11 0 10 20 30 0 10 20 30 (ms) ‫اجرا‬ ‫زمان‬ ( ‫ج‬ ) 6.31 6.35 0 20 40 60 0 10 20 30 (ms) ‫اجرا‬ ‫زمان‬ ( ‫د‬ ) × 103 × 103 × 103 × 103
  • 16. 16 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫ورودی‬ ‫تصویر‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫موثر‬ ‫آموزشی‬ ‫تصاویر‬ ‫تحلیل‬ 8K 5K 3K 1K M K μ 7/8 ‫و‬ δ 0/66 μ 9/8 ‫و‬ δ 0/34 μ 8/95 ‫و‬ δ 0/22 μ 7/8 ‫و‬ δ 0/14 3 μ 22/08 ‫و‬ δ 2/55 μ 23/72 ‫و‬ δ 1/69 μ 24/17 ‫و‬ δ 1/31 μ 24/72 ‫و‬ δ 0/57 5 μ 39/37 ‫و‬ δ 5/76 μ 42/48 ‫و‬ δ 2/4 μ 45/3 ‫و‬ δ 2/95 μ 47/72 ‫و‬ δ 1/42 7 μ 83/05 ‫و‬ δ 16/53 μ 92/90 ‫و‬ δ 13/28 μ 87/99 ‫و‬ δ 9/76 μ 112 ‫و‬ δ 1/5 11
  • 17. 17 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ M K K 8 K 5 5 𝛍 72/23 ‫و‬ δ 1/69 𝛍 24/17 ‫و‬ δ 1/31 7 𝛍 42/42 ‫و‬ δ 2/4 𝛍 45/3 ‫و‬ δ 2/95 11 𝛍 92/90 ‫و‬ δ 13/28 𝛍 99 ‫و‬ δ 9/76
  • 18. 18 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫پویا‬ ‫و‬ ‫ثابت‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬ ( ‫تطبیقی‬ ) ‫شکل‬ ) 15 ( ‫کارایی‬ ‫مقایسه‬ ‫معیار‬ F1 ‫به‬ ‫برچسب‬ ‫رویکرد‬ ‫دو‬ ‫ازای‬ ‫زنی‬ ‫تصویر‬ 39.86 40.49 39 39.5 40 40.5 41 ‫ثاب‬ ‫برچسب‬ ‫ت‬ ‫گذاری‬ ‫آستانه‬ ( ‫ب‬ ) 40.15 45.79 30 35 40 45 50 ‫ثابت‬ ‫برچسب‬ ‫گذاری‬ ‫آستانه‬ ( ‫الف‬ ) 20.96 22.15 20 21 22 23 ‫ثابت‬ ‫برچسب‬ ‫گذاری‬ ‫آستانه‬ ( ‫د‬ ) 24.47 26.73 23 24 25 26 27 28 ‫ثاب‬ ‫برچسب‬ ‫ت‬ ‫گذاری‬ ‫آستانه‬ ( ‫ج‬ ) IAPRTC12 Flickr59k Flickr125k ESP Game
  • 19. 19 ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫روش‬ ‫مقایسه‬ ‫و‬ ‫بررسی‬ ‫برچسب‬ ‫پیشین‬ ‫های‬ ‫پیشنه‬ ‫روش‬ ‫و‬ ‫زنی‬ ‫ادی‬
  • 20. 20 ‫پیش‬ ‫مجموعه‬ ‫تصاویر‬ ‫روی‬ ‫بر‬ ‫برچسب‬ ‫بینی‬ ‫ه‬ ‫داده‬ ‫ا‬ Predicted tags: Mountain, river, tree Predicted tags: Boy, child, girl, man, wall, woman Predicted tags: Portrait, canon, Nikon, animal, dog, cute Predicted tags: Wildlife, animal, nature, photos ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 21. 21 ‫خالصه‬ ‫برچسب‬ ‫برای‬ ‫آموزشی‬ ‫داده‬ ‫پایگاه‬ ‫سازی‬ ‫جس‬ ‫بر‬ ‫مبتنی‬ ‫تصاویر‬ ‫خودکار‬ ‫زنی‬ ‫تجو‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫نمونه‬ ‫آموزشی‬ ‫مجموعه‬ ‫و‬ ‫نمایندگان‬ ‫از‬ ‫شده‬ ‫ساخته‬ ‫گراف‬
  • 22. 22 ‫گراف‬ ‫روی‬ ‫برچسبی‬ ‫چند‬ ‫انتشار‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ 𝑄 𝐹 = 𝑖=𝑀,𝑖∉𝑁 𝑃 𝑗:𝑥𝑗∈𝒩 𝑥𝑗 𝑊𝑖𝑗 𝐹𝑖 − 𝐹 𝑗 2 + 𝛾 𝑖=𝑀,𝑖∉𝑁 𝑃 𝐹𝑖 − 𝑌𝑖 2 (1)  ‫وزن‬ ‫گراف‬ ‫برای‬ ‫رئوس‬ ‫نمایندگان‬ ‫و‬ ‫داده‬ ‫های‬ ‫آموزشی‬ ‫از‬ ‫طریق‬ ‫بازسازی‬ ‫تقریبی‬ ‫کدگذاری‬ ‫خطی‬ ‫محدودیت‬ ‫محلی‬ ( LLC )  𝑊 > 0  𝑊 = 𝑊𝑇+𝑊 2  𝐹 𝑡 + 1 = 𝛼𝐹 𝑡 + 1 − 𝛼 𝑌 ، 0 < 𝛼 < 1  𝐹 𝑡+1 (𝑢)𝑢∈𝑋 = 𝐹 𝑡 (𝑢)𝑢∈𝑋 ‫خالصه‬ ‫الگوریتم‬ ‫داده‬ ‫پایگاه‬ ‫سازی‬
  • 23. 23 ‫داده‬ ‫پایگاه‬ ‫سازی‬ ‫خالصه‬ ‫با‬ ‫زنی‬ ‫برچسب‬ ‫سامانه‬ ‫پیشنهادی‬ ‫روش‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 24. 24 ‫عملکرد‬ ‫مقایسه‬ ‫سامانه‬ ‫ی‬ ‫برچسب‬ ‫زنی‬ ‫پایه‬ ‫روش‬ ‫به‬ ‫نسبت‬ ‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫روی‬ ‫بر‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫سامانه‬ ‫عملکرد‬ ‫برچسب‬ ‫ی‬ ‫دقت‬ ‫میانگین‬ ‫برحسب‬ ‫زنی‬ ( ‫الف‬ ) ‫یادآوری‬ ‫میانگین‬ ، ( ‫ب‬ ) ‫و‬ F1 ( ‫ج‬ ) IAPRTC12 ESP Game ( ‫ج‬ ) ( ‫ب‬ ) ( ‫الف‬ ) 30 32 34 36 38 40 39.92 F1 20 25 30 35 40 37.57 Recall 20 30 40 50 51.56 Precision 25 30 35 40 35.89 F1 20 30 40 34.6 Recall 10 20 30 40 50 51 Precision
  • 25. 25 ‫نمایندگان‬ ‫تعداد‬ ‫روی‬ ‫بر‬ ‫حساسیت‬ ‫آنالیز‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ 0 10 20 30 40 50 60 70 80 0 3 6 9 12 ‫برچسبزنی‬ ‫سرعت‬ ( ‫تصوی‬ ‫هر‬ ‫ر‬ ) 0 10 20 30 40 50 60 70 80 90 100 0 3 6 9 12 ‫سرعت‬ ‫برچسبزنی‬ 0 5 10 15 20 25 30 35 40 45 50 0 3 6 9 12 F1 0 5 10 15 20 25 30 35 40 45 0 3 6 9 12 F1 ( ‫الف‬ ) ( ‫ج‬ ) ( ‫ب‬ ) ( ‫د‬ ) × 103 × 103 × 103 × 103 IAPRTC12 ESP Game
  • 26. 26 ‫نماینده‬ ‫استخراج‬ ‫روش‬ ‫دو‬ ‫مقایسه‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ( ‫الف‬ ) ( ‫ب‬ ) IAPRTC12 ESP GAME Precision Recall F1 44.09 45.11 10 20 30 40 50 HC1 HC2 K-means HC3 45.12 44.31 5 15 25 35 45 HC1 HC2 K- means HC3 38.35 36.2 5 15 25 35 45 HC1 HC2 K-means HC3 37.35 34.22 5 20 35 50 HC1 HC2 K-means HC3 40.02 41.8 5 15 25 35 45 HC1 HC2 K- means HC3 35.02 36.36 5 15 25 35 45 HC1 HC2 K-means HC3 HC1: hierarchical clustering with 1 layer HC2 : hierarchical clustering with 2 layer HC3 : hierarchical clustering with 3 layer
  • 27. 27 ‫ثابت‬ ‫و‬ ‫پویا‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬ ‫های‬ ‫روش‬ ‫مقایسه‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ESP GAME IAPRTC12 34.25 35.57 34 30 31 32 33 34 35 36 37 Fixed Label Dynamic 2pknn Fixed Label Dynamic 2pknn 35.89 39.92 34.8 30 32 34 36 38 40 42 Fixed Label Dynamic 2pknn
  • 28. 28 ‫زن‬ ‫برچسب‬ ‫های‬ ‫روش‬ ‫سایر‬ ‫با‬ ‫سازی‬ ‫خالصه‬ ‫با‬ ‫زنی‬ ‫برچسب‬ ‫پیشنهادی‬ ‫روش‬ ‫مقایسه‬ ‫ی‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ Method Feature ESP Game IAPRTC-12 P R F1 P R F1 JEC Standard 0.22 0.25 0.23 0.28 0.29 0.29 MBRM Standard 0.18 0.19 0.19 0.24 0.23 0.24 Tag Prop (ML) Standard 0.49 0.2 0.28 0.48 0.25 0.33 Tag Prop (δML) Standard 0.39 0.27 0.32 0.46 0.35 0.4 2PKNN Standard 0.51 0.23 0.32 0.49 0.32 0.39 2PKNN(ML) Standard 0.53 0.27 0.35 0.54 0.37 0.44 Fast Tag Standard 0.46 0.22 0.3 0.47 0.26 0.34 NMF-KNN Standard 0.33 0.26 0.29 - - - CCA-KNN Standard 0.46 0.36 0.41 0.45 0.38 0.41 KSVM-VT Standard 0.33 0.32 0.33 0.47 0.29 0.36 2PKNN-without Normalization CNN)Dense169( 0.49 0.32 0.39 0.531 0.321 0.4 2PKNN CNN)Dense169( 0.44 0.39 0.42 0.49 0.41 0.44 TDSNLP+2PKNN CNN)Dense169( 0.44 0.28 0.342 0.45 0.34 0.39 TDSNLPFT CNN)Dense169( 0.37 0.34 0.35 0.45 0.39 0.42 TDSNLPDT CNN)Dense169( 0.44 0.37 0.36 0.47 0.42 0.44
  • 29. 29 ‫گسترش‬ ‫حاشیه‬ ‫معنایی‬ ‫نماینده‬ ‫آموزش‬ ‫برچسب‬ ‫برای‬ ‫یافته‬ ‫تصو‬ ‫بالدرنگ‬ ‫زنی‬ ‫یر‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ • Coupled Dictionary Learning • Optimization 1. Sparse Representation 2. Update Prototypes LMSPL • ‫همزمان‬ ‫آموزش‬ ‫ماهیت‬ ‫برای‬ ‫نمایندگان‬ ‫بصری‬ ‫و‬ ‫معنایی‬ ‫های‬ ‫انسجام‬ ‫عدم‬ ‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫رویکرد‬ ‫پذیری‬ ‫تعمیم‬ ‫تابع‬ ‫مسئله‬ ‫هدف‬ 𝐷𝐼 , 𝐷𝐿 , 𝛼 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑖=1 𝑁 𝑥𝑖 − 𝐷𝐼 𝛼𝑖 2 2 + 𝜆 𝑖=1 𝑁 𝑡=1 𝑇 𝑙 𝑦𝑡 𝑖 , 𝑑𝑡 𝐿 𝛼𝑖 (𝟏) 𝑠. 𝑡 𝛼𝑖 1 ≤ 1, 𝛼𝑘 𝑖 ≥ 0, 𝑑𝑘 𝐼 𝜖𝔻 = 𝑑𝜖ℝ 𝑀 , 𝑑 2 2 ≤ 1 , ∀𝑘𝜖{1, … , 𝐾}
  • 31. 32 ‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫امتیادهی‬ ‫برای‬ ‫معنایی‬ ‫نمایندگان‬ ‫دقیق‬ ‫تنظیم‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ Apply Gradient Descent for Fine-Tuning 𝜏𝑜𝑝𝑡𝑖𝑚𝑎𝑙 𝜏+ 𝜏−
  • 33. 34 ‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫امتیادهی‬ ‫برای‬ ‫معنایی‬ ‫نمایندگان‬ ‫دقیق‬ ‫تنظیم‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ ‫شکل‬ ( 17 ) ‫برچسب‬ ‫برای‬ ‫امتیازها‬ ‫توزیع‬ ‫منفی‬ ‫و‬ ‫مثبت‬ ‫های‬ ( . ‫الف‬ ) ً‫ا‬‫توأم‬ ‫نماینده‬ ‫آموزش‬ ‫مرحله‬ ‫بر‬ ‫مبتنی‬ ‫شده‬ ‫تولید‬ ( . ‫ب‬ ) ‫به‬ ‫از‬ ‫بعد‬ ‫حاشیه‬ ‫روش‬ ‫کارگیری‬ ‫یافته‬ ‫گسترش‬ ( ‫ب‬ ( ) ‫الف‬ ) 𝜏𝑜𝑝𝑡𝑖𝑚𝑎𝑙→𝐹−𝑚𝑒𝑎𝑠𝑢𝑟𝑒 𝐵𝑎𝑠𝑒𝑑
  • 34. 35 ‫ورودی‬ ‫آزمون‬ ‫تصویر‬ ‫به‬ ‫برچسب‬ ‫دهی‬ ‫نسبت‬ ‫برای‬ ‫پیشنهادی‬ ‫روش‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 35. 36 ‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫بررسی‬ ‫کنار‬ ‫در‬ ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 36. 36 ‫مختلف‬ ‫های‬ ‫ویژگی‬ ‫بررسی‬ ‫کنار‬ ‫در‬ ‫نمایندگان‬ ‫تعداد‬ ‫حساسیت‬ ‫آنالیز‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 37. 37 ‫پایه‬ ‫روش‬ ‫با‬ ‫پیشنهادی‬ ‫روش‬ ‫زنی‬ ‫برچسب‬ ‫سرعت‬ ‫مقایسه‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ IAPRTC-12 ESP-GAME FLICKR59K FLICKR125K 25 ms 398.89 ms 55 ms 29 ms 3.64 ms 1.45 ms 2.1 ms 3.7 ms
  • 38. 38 ‫آموزش‬ ‫مقایسه‬ LMSPL ‫تک‬ ، ً‫ا‬‫توام‬ ، ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 39. • ‫هستیم‬ ‫مناسب‬ ‫های‬ ‫ویژگی‬ ‫استخراج‬ ‫نیازمند‬ ‫معنایی‬ ‫شکاف‬ ‫وجود‬ ‫دلیل‬ ‫به‬ 39 ‫گیری‬ ‫نتیجه‬ • ‫زنی‬ ‫برچسب‬ ‫های‬ ‫سامانه‬ ‫پذیری‬ ‫مقیاس‬ ‫عدم‬ • ‫بررس‬ ‫بازیابی‬ ‫مانند‬ ‫را‬ ‫زنی‬ ‫برچسب‬ ‫مسئله‬ ‫جستجو‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫روش‬ ‫کرده‬ ‫ی‬ ‫حال‬ ‫عین‬ ‫در‬ ،‫دارند‬ ‫ای‬ ‫ساده‬ ‫رویکرد‬ ‫جهت‬ ‫ازین‬ ‫باالتری‬ ‫کارایی‬ ‫روش‬ ‫بقیه‬ ‫از‬ ‫ها‬ ‫دارند‬ . • ‫ی‬ ‫معنایی‬ ‫توصیف‬ ‫برای‬ ‫هایی‬ ‫برچسب‬ ‫بینی‬ ‫پیش‬ ‫زنی‬ ‫برچسب‬ ‫از‬ ‫هدف‬ ‫ک‬ ‫محتوای‬ ‫بر‬ ‫مبتنی‬ ‫تصویر‬ ‫آن‬ ‫بصری‬ ‫است‬ . ‫تعلق‬ ‫تصویر‬ ‫کل‬ ‫به‬ ‫برچسب‬ ‫گیرد‬ ‫می‬ ‫خاصی‬ ‫ناحیه‬ ‫نه‬ ‫روش‬ ‫ژرف‬ ‫یادگیری‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫که‬ ‫هایی‬ ‫روش‬ ‫از‬ ‫استفاده‬ ‫روند‬ ‫تست‬ ‫زمان‬ ‫در‬ ‫ای‬ ‫پیچیده‬ ‫ندارند‬ . ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬
  • 40. 40 ‫گیری‬ ‫نتیجه‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ • ‫آموزش‬ ‫داده‬ ‫پایگاه‬ ‫کل‬ ‫گذاشتن‬ ‫کنار‬ ،‫روش‬ ‫این‬ ‫اساسی‬ ‫مزیت‬ ‫و‬ ‫ی‬ ‫کوچک‬ ‫و‬ ‫جایگزین‬ ‫داده‬ ‫پایگاه‬ ‫از‬ ‫استفاده‬ ‫تر‬ • ‫طی‬ ‫باال‬ ‫فراوانی‬ ‫با‬ ‫های‬ ‫برچسب‬ ‫برای‬ ‫بیشتر‬ ‫شانس‬ ،‫معایب‬ ‫انتشار‬ ‫برچسب‬ • ‫داده‬ ‫پایگاه‬ ‫به‬ ‫ورودی‬ ‫تصویر‬ ‫شباهت‬ : ً‫ا‬‫صرف‬ ‫مقایسه‬ ‫تصاوی‬ ‫ر‬ ‫منتخب‬ ‫با‬ ‫آموزشی‬ ‫تصویر‬ ‫هر‬ ‫ورودی‬ • ‫طی‬ ‫جه‬ ‫شده‬ ‫درگیر‬ ‫آموزشی‬ ‫تصاویر‬ ‫تعداد‬ ،‫شده‬ ‫انجام‬ ‫بررسی‬ ‫ت‬ ‫اس‬ ‫کم‬ ‫بسیار‬ ‫ورودی‬ ‫تصویر‬ ‫با‬ ‫شباهت‬ ‫کردن‬ ‫پیدا‬ ‫و‬ ‫مقایسه‬ ‫ت‬ ‫پیشنهادی‬ ‫رویکرد‬ ‫دو‬ : .1 ‫جستجو‬ ‫فضای‬ ‫کاهش‬ .2 ‫به‬ ‫داده‬ ‫پایگاه‬ ‫سازی‬ ‫خالصه‬ ‫نمایندگان‬ • ‫ها‬ ‫برچسب‬ ‫انتشار‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫سازی‬ ‫خالصه‬ • ‫یافته‬ ‫گسترش‬ ‫حاشیه‬ ‫معنایی‬ ‫نماینده‬ ‫آموزش‬
  • 41. 41 ‫پیشنهادها‬ ‫مقدمه‬ ‫هدف‬ ‫مسئله‬ ‫های‬ ‫چالش‬ ‫مسئله‬ ‫استخراج‬ ‫ویژگی‬ ‫فضای‬ ‫کاهش‬ ‫جستجو‬ ‫سازی‬ ‫خالصه‬ ‫داده‬ ‫پایگاه‬ ‫گیری‬ ‫نتیجه‬ ‫پیشنهادها‬ ‫مراجع‬ • ‫ترکیب‬ ‫یا‬ ‫بازطراحی‬ ‫سامانه‬ ‫های‬ ‫پیشنهادی‬ ‫در‬ ‫رساله‬ ‫سبب‬ ‫کارائی‬ ‫باالتر‬ ‫برچسب‬ ‫زنی‬ ‫ب‬ ‫رای‬ ‫شرکت‬ ‫داده‬ ‫شدن‬ ‫هر‬ ‫چه‬ ‫بیشتر‬ ‫برچسب‬ ‫های‬ ‫کم‬ ‫یاب‬ ‫با‬ ‫شانس‬ ‫برابر‬ ‫با‬ ‫برچسب‬ ‫های‬ ‫فراوان‬ ‫با‬ ‫مقیاس‬ ‫پ‬ ‫ذیری‬ ‫بسیار‬ ‫بهتری‬ ‫خواهد‬ ‫شد‬ . • ‫برچسب‬ ‫های‬ ‫با‬ ‫هم‬ ‫پوشانی‬ ،‫باال‬ ‫ارزیابی‬ ‫مناسب‬ ‫تر‬ ‫محاسبه‬ ‫گستردگی‬ ‫میان‬ ‫برچسب‬ ‫های‬ ‫پیش‬ ‫بینی‬ ‫شده‬ ‫و‬ ‫میزان‬ ‫مفید‬ ‫بودن‬ ‫برچسب‬ ‫برای‬ ،‫تصویر‬ ‫ا‬‫ل‬‫مث‬ ‫استفاده‬ ‫از‬ ‫بهره‬ ‫اطلعاتی‬ ‫برچسب‬ ‫در‬ ‫میان‬ ‫برچسب‬ ‫های‬ ‫پیش‬ ‫بینی‬ ‫شده‬ ( Information Gain ) • ‫کارایی‬ ‫باالتر‬ ‫حافظه‬ ،‫مصرفی‬ ‫در‬ ‫روش‬ ‫پیشنهادی‬ ‫خلصه‬ ‫سازی‬ ‫پایگاه‬ ،‫داده‬ ‫به‬ ‫جای‬ ‫ساخت‬ ‫گراف‬ ‫از‬ ‫کل‬ ‫مجموعه‬ ،‫آموزشی‬ ‫تقسیم‬ ‫گراف‬ ‫به‬ ‫چندین‬ ،‫مولفه‬ ‫خلصه‬ ‫سازی‬ ‫بر‬ ‫روی‬ ‫هر‬ ‫مولفه‬ ‫به‬ ‫طور‬ ‫مجزا‬ • Flickr ، ‫تغییر‬ ‫یا‬ ‫تصحیح‬ ‫مجموعه‬ ‫داده‬ ‫ساخته‬ ‫شده‬ ‫جهت‬ ‫بهبود‬ ‫کارایی‬ ‫سامانه‬ ‫برچسب‬ ‫زنی‬ • ‫ناکارآمدی‬ ‫جستجو‬ ‫میان‬ ‫نمایندگان‬ ‫برای‬ ‫مجموعه‬ ‫دادگان‬ ‫بزرگ‬ : ‫استفاده‬ ‫از‬ ‫کدگذاری‬ ‫و‬ ‫درهم‬ ‫س‬ ‫ازی‬ ‫به‬ ‫جای‬ ‫جستجوی‬ ‫کامل‬ ‫میان‬ ‫نمایندگان‬