Master thesis report : Emotion recognition in Persian speech
- 4. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
أ
مقدمه
تأيیديهجلسه داوران هیأت یپايان از دفاع ینامه/رساله
:دانشكده نامکامپیوتر مهندسی دانشكده
:دانشجو نامشمسی میثم
پايان عنوان:رساله يا نامهمدلسازیبازشناسیزبان اطالعات از استفاده با عواطفیفرازبان ویفارسی
تار:دفاع يخ
:رشتهکامپیوتر مهندسی
:گرايشمصنوعی هوش
رديفسمتخانوادگی نام و نامدانشگاهی مرتبهمؤسسه يا دانشگاهامضا
1راهنما استادبیدگلی مینايی بهروز دکتردانشیارايران صنعت و علم دانشگاه
2خارجی مدعو استاد
احدی محمد سید دکتر
سرکانی
دانشیارامیر دانشگاهکببر
3داخلی مدعو استادکنگاوری محمدرضا دکتردانشیارايران صنعت و علم دانشگاه
- 5. ب
تأيیديهنتايج اصالت و صحت ی
تعالی باسمه
اينجانبشمسی میثمدانشجويی شماره به22122122رشته دانشجویهوش کامپیوتر مهندسیمصننوعی
رباتیک ومقطعکارشناسی تحصیلیارشدم تأيیدیکلیه که نمايمپايان اين نتايج یکنار حاصنك نامه/رسناله
ه نس منوارد و اسنت تصرف و دخك هرگونه بدون و اينجانببرداریکامنك كکنر بنا را ديگنران ثانار از شنده
کرده كکر منبع صات مش.امصورت درو ضنواب با مطابق دانشگاه یص تش به ،فوق مندرجات خالف اابات
ح (قانون حاکم مقرراتثانار و نشنريات و کتنب تكثینر و ترجمنه قنانون و مصنفان و مؤلفان حقوق از مايت
مقر و ضواب ،صوتیانضباطی و پژوهشی ،ثموزشی راتاعتنرا هرگوننه حق و شد خواهد رفتار اينجانب با )
خصوص درمی سنلب خنويش از را مجنازات و لنف ت تعیین و یص تش و مكتسب حقوق احقاقدر .نمنايم
مسؤول ،ضمنكی مراجع و حقوقی و حقیقی از اعم اص اش به گويی پاس هرگونه یتو اداری از (اعنم صالح
عهده به )قضايیهیچ دانشگاه و بود خواهد اينجانب ی.داشت واهد ن خصوص اين در مسؤولیتی گونه
:خانوادگی نام و نام
:تاريخ و امضا
- 6. ج
بهره مجوزپايان از بردارینامه
بهرهبرداریپايان اين ازراهنمنا استاد توس که محدوديتی به توجه با و انه کتاب مقررات چهارچوب در نامه
می تعیین زير شرح به:است بالمانع ،شود
بهرهپايان اين از برداری.است بالمانع همگان برای رساله /نامه
بهرهپايان اين از برداریراهنما استاد از مجوز اخذ با رساله /نامه.است بالمانع ،
بهرهپايان اين از برداری.است ممنوع .................................... تاريخ تا رساله /نامه
:راهنما اساتید يا استاد نام
:تاريخ
:امضا
- 7. د
:قدردانی و تشكر
تمامی خاطر به مینايی دکتر ثقای جناب ازراهنمايیهاه پنرو انجنام طنول در کنه يیبنیدرينغبنه نسنبت
اينجانبداشتهاندمسنیر اين در که کسانی تمامی و ه پرو انجام در همكاری خاطر به کشتیاری دکتر خانم ،
مشوق و راهنمااينجانببودهاند.دارم را تشكر کمال
- 8. ه
چكیده
اطال .اسنت شنده ارائه گفتار اطالعات از استفاده با عواطف بازشناسی برای مدلی مطالعه اين درگفتنار عنات
ش ب دو شامكًالکامبررسنی به ما ه پرو اين در .است معنايی اطالعات و ثوايی اطالعات مجزایروشهنای
و متن اطالعات راج است ثماریمدلهایاز استفاده با شده ايجاد صوتیروشهایگفتار در ماشین يادگیری
فارسیپرداختهايم.مجموعه با شده ايجاد مدلدادههامتفا یقنرار مقايسنه منورد و اسنت شنده ارزيابی وت
.است گرفته
ما پیشنهادی سیستمنشانمیدهدمجزاسازی بامدلهادقت عمومی مدل يک نسبت مردانه /زنانه گفتار ی
فضای به عاطفی حاالت تجزيه ديگر سوی از اما .شد خواهد مشاهده عاطفی حاالت بازشناسی جهت باالتری
دوبعدیتحريک-ظرفیتا واز ستفادهروشهایپسنمايی)(رگرسیونبهجایردهبنددر دقنت کناهش باعث
گوينده عاطفی حاالت یص تشمیشودحالت در بررسی مورد عاطفی حاالت .ردهبندشنامك مطالعه اين در
.است بوده غم و شادی ،انزجار ،ترس ،خشم پايه عاطفی حالت پنج
درنهايتاطالعات ترکیبی مدل ارزيابی جهتکنه اسنت شنده ايجناد داده مجموعنه يک نیز معنايی و ثوايی
نشان ثن روی بر ثزمايش از حاصك نتايجمیدهدثوايی اطالعات ترکیب و زنانه/مردانه صدای شده مجزا مدل
افزايش معنايی ودقت21درصدی( ابتدايی مدل به نسبتGMMويژگی راج است باMFCC).است داشته
واژه:کلیدی هایمدلسازیزبانی اطالعات ،عواطف بازشناسی ،فارسی زبان ،
- 9. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
و
مقدمه
مطالب فهرست
فصل1:مقدمه1
1-1-طرحبحث....................................................................................................................2
1-2-،تعاريفاصولومبانینظری.......................................................................................4
1-3-ساختارپاياننامه..........................................................................................................9
فصل2:تاريخچهومروریبرمنابع11
2-1-اطالعاتبصری..........................................................................................................12
2-2-اطالعاتزيستی.........................................................................................................11
2-3-اطالعاتگفتار............................................................................................................11
2-4-نتیجهگیری................................................................................................................21
فصل3:روشپیشنهادی22
3-1-مقدمه........................................................................................................................21
3-2-روش..........................................................................................................................24
3-2-1-تحلیكمتنگفتار..............................................................................................24
3-2-1-2-روشبرچسبگذاریدستیبهکلمات:.........................................................22
3-2-1-3-روشوزندهیدستیبهپستها..................................................................22
3-2-1-4-وزندهیبهکلماتبااستفادهازشكلکها....................................................22
3-2-1-5-روشوزندهیبااستفادهازپاسخکاربرانبهپست......................................29
3-2-1-6-روشهایارزيابی..........................................................................................29
3-2-2-تحلیكبیانگفتار..............................................................................................11
3-2-3-ترکیبمتنوبیانگفتاروايجادمدلکلی......................................................12
3-3-جمعبندی.................................................................................................................19
فصل4:نتايجوتفسیرآنها41
4-1-مقدمه........................................................................................................................41
4-2-متنگفتار..................................................................................................................41
4-3-بیانگفتار..................................................................................................................44
فرضیهاول:مجزاسازیمدلزنانه/مردانه......................................................49
فرضیهدوم:تحلیكدرفضایتحريک-ظرفیت...............................................11
- 13. ي
اختصاری عالئم فهرست
کلمه وزنd................................................................................................................𝑊𝑑
پست مثبت وزن......................................................................................................Ϣ 𝑝
وزنپست منفی........................................................................................................Ϣ 𝑛
پست کل تعدادمثبت وزن با ها................................................................................𝑁𝑃
پست کل عدادمنفی وزن با ها...................................................................................𝑁 𝑁
عالمت تابع...............................................................................................................Sign
لگاريتم تابع...............................................................................................................log
وزن مجموعهایمنفی............................................................................................𝑊𝑑
−
وزن مجموعهایمثبت............................................................................................𝑊𝑑
+
لغت امتیاز يا اعتبارنامهD.........................................................................................𝑆 𝐷
لغت از استفاده با پست وزننامهD.........................................................................Ϣ 𝐷
لغت از استفاده با پست وزننامهK.........................................................................Ϣ 𝐾
تعدادپستهايیلغت از استفاده با کهنامهDمنفی /مثبت معنایداده تشخیص
شدهاند.......................................................................................................................𝑁 𝐷
- 15. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
2
مقدمه
1-1-بحث طرح
پیشرفت بافناوریزندگی تلف م ابعاد در ماشین حضور گسترش وانسانعمنق بنه نیناز نیز دو اين تعامك
ماشین .دارد بیشترینظر ازجز بشرتكهایعواطنف فقدان همیشه و نیست بیش ثهن1
ثن در احساسنات و
بهعنوانبزرگتريننقطهضعفارتباطیاشقلمدادمیشودرباتی علم دانشمندان .در نینز مصنوعی هوش و ک
کاستی اين رفع بر سعی شدت به اخیر دهه چندداشتهاند[1].
توس ثن درک و درونی احساسات ابراز همیشه انسانی تعامالت دربسیار اطب ممسرتش باما است بوده
راه مهم اين درک در نیز انسان خودسادهایاطالعات شامك تنها انسانی زبان .ندارد پیش درو نیسنت لغوی
جمالت کامك درکبیانشدهاز يكنی عواطنف .اسنت کنالم ابعناد تمنامی بنه بنودن واقف مستلزم افراد بین
اساسیترينومهمترين.است ابعاد ايندر عاطفی موتور يک تعبیه به نیاز مسیر دو در ماشین و انسان تعامك
عواطف بازشناسی دارد؛ ماشینتوس فرد عاطفی حالت یص تش جهتماشنینعواطنف بازنمنايی وجهنت
شبیهماشین در عاطفی حالت يک بیان و سازیبه نیاز مسیر دو اين .پژوهشهایًالکاموقتنی اما دارد مجزا
اولويت بازنمايی بر بازشناسی ،باشد ماشین انسان ارتباط از ن سمیيابدکه ماشینی تصور .بهخوبیبنه قادر
اما باشد خود عاطفی حاالت بیانانسنان عاطفی حاالت یص تش درنناموفقعندم و نناموفق ارتبناط ،باشند
انسان رضايتبهعنوانانسنانی روابن در موضنوع اين .داشت خواهد دنبال به را کاربرًالکناماسنت مشنهود
بهگونهایشما اگر کهباش ناراحتیدست شما به بدی حس ندد ب شما ناراحتی به علم با فردی و دمیدهند
تع از وخودداری وی با امكمیکنیدتعامالت در همدردی به انسان نیاز عبارتی به .،بازشناسنی اولويت سبب
بربازنمايیمیگردد.
راهنمنای عناطفی حالنت یص تش .دارد بسیاری عملی کاربردهای گفتار از عواطف بازشناسیمنؤاریبنرای
سیستمهایعاطفی حاالت یص تش يا است ثنالين ثموزشیرانندگانمیتوانددرسیستمهایماشین کنترل
کند جلوگیری احتمالی خطرات از[2]از حاصك نتايج طرفی از .پژوهشهایزمیننه اينمیتوانندراهنمنای
مؤاریعلم برایروانپزشكیباشد[3]از استفاده .مدلهایو تمناس مراکنز در گويننده عواطنف یص تشن
موبايك ارتباطات[4]در ،ماشینهایخودکيا و ترجمه ارهوشمند کنترلفضاپیماهابنه توجنه بنا هواپیمنا و
خلبان عاطفی حالت[5]میتواند.گردد عملكرد بهبود سبب
1 Emotions
- 16. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
3
مقدمه
از يكی عواطفدرونیترينويژگیهایکنه اسنت انسنانیعندهایاو تمنايز نقطنه را ثنموجنودات سناير از
میدانندنگاه از را انسان اگر .منطقدانانبا حیوانیتونطق انايیخالصه ويژگی اين بیان در قابلیت اين بدانیم
میشودزبان .پیچیدهترينفنراهم را عواطنف ابنراز جهنت مناسنب بستری که است انسانی خصلتمیکنند.
پیچیده بسیار را انسانی تعامالت زبان و عواطفمیکنندثبگیر اين در اگر حال .گكثلودورود واهد ب ماشین
بايد ناگزير کندابزار اين ،زبان با را خوده وا .دهد وفق انسانیبنا تنهنا را کلمات شناسانلغتهنایه وانامنه
تعبیر خودمیکننداماهمانگونهزبان که-روانشناسانتأيیدمیکننددر زيادی اطالعاتبینان نحوهکلمنات
عبارت به يایک نگاه يک در .دارد وجود گفتار فرازبانی اطالعاتاطالعا لیزبنانی وجنه دو شنامك گفتار ت1
ينا
معنایلغتهاثوايی و2
است لغات اين بیان نحوه يا]6[.ريو مارشال جان1
در]7[زبنان از وجه دو اينرابنه
نامهایمعرفی زيستی و شناختی ديدگاهمیکندباک ديدگاه به توجه با سپس و4
سیستمی دو موضع]8[را
عواطف قبال درارجحمیداند.سیسو است زيستی ،اول تممنشنأی تناري تكامنك بنه ثنگوننهبرمیگنردد.
خو ،سرعت به حسی اطالعاتناخودثگاه صورت به و دکارتوسلمبیک سیستم1
پردازشمیشنودسیسنتم .
فرهنگنی و اجتماعی چه تاري به و است شناختی دوممنحصنربهفردسیسنتم دو اينن .دارد بسنتگی انسنان
و هستند هم مكمك عاطفیکار هم با هیجان تجربه و کردن فعال برایمیکنند[7]عواطف بررسی رويكرد .
استفاده باازنتیجنه را ثواينی اطالعات و شناختی سیستم نماينده را زبانی اطالعات ش ب دو گفتار اطالعات
.دانست خواهد حنجره يک فیزيولو تغییرات و زيستی سیستم
مدلسازیبهترين رياضیراهکاربرایبنه گفتنار از اطالعنات راج اسنت .است مهم اين به نیك جهت ماشین
محاسبات و پردازش ،کمی صورتو اطالعات روی بر الزمًانهايتکنار مراحنك گوينده عاطفی حالت یص تش
بنه را ظرفینت اين باال پردازش قدرت و سرعت در ماشین قابلیت .است عاطفی حالت بازشناسی سیستم يک
ثنمیدهددقت کهیفراترپیچیدگی و قدرت به توجه با اما دهد ارائه انسانی در عواطف بازشناسی سیستم از
ما روی پیش را دشوار بسی راه مناسب مدل يک ايجاد جهت ماشین ثموزش ،انسان درکمیگذاردسوی از .
ديگرتفاوتهایعلنم بنه را موضوع اين گستردگی گويندگان فرهنگی و زبانیجامعهشناسنیاد ونینز بینات
1 Linguistics
2 Acoustic
3 John Marshall Reeve
4 Buck
5 Limbic System
- 17. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
4
مقدمه
در .کشاند خواهد[9-10]کنه است شده داده نشانتفاوتهنایزبنانیتنأایرمندل و بینان ننوع در زينادی
.داشت خواهد عاطفی حاالت بازشناسیازاينروبر مطالعه به نیاز فارسی زبان گستردگی و کاربرد به توجه با
احساس شدت به خاص صورت به زبان اين رویمیشودبهگونهایکهبازشناسی روی بر شده انجام مطالعات
.است بوده شمار انگشت فارسی زبان در عواطف
شنناختی علوم به مربوط مباحث1
طینفگسنتردهایعلنوم ازشنامك،فلسنفه ،روانشناسنیعصبشناسنیو
زبانشناسیشامك رامیشودديگر سوی از .مدلسازیو رياضنیات علنم شناخه در عواطنف بازشناسی کمی
کامپیاين از حاصك نتايج .گرفت خواهد قرار وترمدلسازیهابنرای مناسب ثزمايشی فضای و مفید راهنمای
.بود خواهد علوم ساير نظريات
با فارسی زبان با سازگار و مناسب مدل يک معرفی در سعی پژوهش اين در مااسنتفادهاطالعنات ننوع دو از
.داريم را فارسی زبان معنايی اطالعات و ثوايینهايت در که است موازی مدل دو شامك ما مطالعه مورد مدل
قسمت در وتصمیمگیری.شند خواهند ترکیب يكديگر با نهايیمندلهایفراخنور منذکورمنورد داده ننوع
استفادهرا خود خاص ابزارمیطلبدبنه نیناز معننايی اطالعات از استفاده جهت ،ابزارهنایو منتن پنردازش
دادهکاویجهت و استبه نیاز ثوايی اطالعات از استفادهابزارخواهند سیگنال پردازش و صوت پردازش های
فضای دو حیث اين از .بودًالکاممتفاوت.است گرفته قرار بررسی مورد ه پرو اين در
شنناختی علوم که اين به توجه با .داشت خواهیم را حوزه اين در موجود تعاريف و ادبیات بر مروری ادامه در
ا يكیرشته بین علوم زوجنود عندم .داشنت خواهند موضوع از متفاوتی تعاريف تلف م پژوهشگران است ای
تفناوت و منادری زبنان بنا دانشنمندان بنین در چنه و تلف م علوم پژوهشگران بین در چه مشترک ادبیات
پیچیند دلینك بنه انسنانی عواطف از ص مش تعريف وجود عدم و سو يک از فرهنگیديگن سنوی از ثن گیر
ش ب اين اختصاصمی ضروری را.کند
1-2-نظری مبانی و اصول ،تعاريف
بین مفاهیم انتقال در سعی تاکنون وجود ابتدای از کلمات و زبانانسانهاقديمی زبان .است داشته راو ترين
تكامكيافتهمی محسوب ارتباط در بشری قدرت ترينکنه اسنت پیشنرفته و پیچینده چننان حنوزه اين .شود
فیلسوفزبان ومعروف شناسچامسكی نواممی تفكنر از فراتر را ثندر سنعی همنواره شناسنان زبنان .دانند
1 Cognitive Sciences
- 18. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
5
مقدمه
قاعده.دارند را انسان رفتاری قابلیت و رفتار اين نمودن مندانسانهاخنود كهننی مفاهیم انتقال برای را خود
نمی محدود گفتار و کلمات زبان بهبا را زبان مرزهای و کنندمثك هنرهايیغینره و نمايش ،موسیقی ،نقاشی
داده توسعهجامعه هنوز اما .اندزبان و شناساناينن تمنامی وجنود بنا کنه دارنند اصنرار نكتنه اين بر شناسان
ارتباطی ابزارهایانسانهاناتوان ديگران به خود كهنی حاالت و مفاهیم کامك انتقال ازمنا تمنامی شنايد .اند
انسانهاكهن در ثبی رنگ برایاينن ثينا امنا .باشنیم داشته صی مش ثوايی و تصويری ،مفهومی خودنگاشت
ما درونی نگاشتانسانهافرهنگ وجود است؟ يكساندر متفناوت صنی ش ينادگیری مراحنك ،متفاوت های
می غیرممكن را باال سؤال به قاطع ی پاس ارائه متفاوت صیتی ش فاکتورهای و زندگی طول.نمايد
زبانايج با شناسانلغت ادنامههادايره والمعارفيكسان و استانداردسنازی در سنعی هازبنانی مفناهیم سنازی
همسان در موفقیت میزان اما ،دارندمشنكالت و مواننع اينن تمامی وجود با .است ناچیز بسیار مفاهیم سازی
انسانهامی يكديگر با مكالمه و ارتباط ،تعامك به موجود ابزارهای باادعا و پردازندمیقادر مسیر اين در کنند
می مكالمات از قبولی قابك و نسبی درک به.باشند
عاطفهبهعنوانپیچیده از يكیكهنی و درونی حاالت ترينانسانهامی محسوب.شودانسانهاتوصنیف برای
می انجام را تالش بیشترين خود عواطفارتباطنات در مفناهیم ساير نسبت به اما دهند،توفین کمتنريندر ق
انتقالمنظورمی نتیجه را.شودفر1
راسك و2
عقیده اين برمی افراد همه که اندتا تنها اما چیست عاطفه دانند
ثن از که زمانیهنیچ سنؤال اينن پرسش از پس چیست؟ عاطفه باشد نشده پرسیده هانمی کسًادقیقن دانند
هستند چه عواطف[11].ما درونی و كهنی حالت بیان و توصیفانسانهاو پیچینده بسنیار کلمنات زبنان با
.بود خواهد دشواربهعنوانکرده تجربه را موضوع اين ما از بسیاری مثالدر منا دروننی حالت توصیف که ايم
قطع به دادن گوش هنگامهاتجربنی حالنت يک تنها را ثن که است دشوار چنان موسیقی یغیرقابكتوصنیف
می.نامیم
ب داريم قصد ش ب اين درخود و پژوهشگران که توصیفاتی اانسانهاتوصیف به دارند خود عاطفی حاالت از
در .برسیم كهنی حاالت اين از مشترکی[12,13]حاالت بیان از اولیه تعاريف از گزارشی.اسنت ثمده درونی
کتاب اول فصك درحیوان و انسان در عواطف بیان عنوان با دارويننقك کهقولق محققین از هايینوزدهم رن
بی است ثمدهعواطف فیزيكی جنبه به شترمی عضنالنی واکنش يک بیشتر را ثن و است شده پرداخته.داننند
ساير با انسان عمده تفاوت است داده قرار مطالعه و تحلیك مورد حیوانات مانند به نیز را انسان که کتاب اين
1 Fehr
2 Russell
- 19. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
6
مقدمه
می عواطفی بازنمايی در را حیواناتحیوانات در که داندیباتكامك سطحپايینبنه انسنان .هسنتند ثن فاقند ،
ظري و حساس عضالت به بودن مجهز دلیكتوانايی صورت عضالت مانند فیخنود كهننی حناالت از بازنمايی
بهعنوانعواطفراقابلیت به کافی توجه عدم ديدگاه اين اصلی مشكك اما .داردپیچینده هایمثنك انسنان تر
تا رويكردی شايد .است زبانعواطف به فیزيكی اندازه اينثن بازشناسنی در منا بنه بتواند ،امنا کنند کمنک
مدلسازیجنبنه بررسنی و اطالعنات به نیاز عواطف تحلیك و.دارد موضنوع اينن ديگنر هایاينزارد نظنر از1
هیجانپديده صورت به و هستند چندبعدی هادارند وجود اجتماعی و هدفمند ،زيستی ،كهنی های[14].
ا دراز را خود منظور تا است الزم دامهمدلسازی:کنیم بیان عواطف
مدلسازی2
می محسوب مهندسی علم اساس کهبنا ،سیستم از رياضی بازنمايی يک تحلیك و طراحی به شود
می گفته سیستم متغیرهای تغییرات و تأایرات کردن دنبال هدفعمك اساس .شودمدلسازیسنازی کمنی
دسته و مشاهداتبندیثنهاثن عملكرد از تابعی با سیستم يک بازنمايی .استبهعنوانورودی ارتبناطو هنا
خروجیمدلسازیمی تعبیردر منا هندف .شودمدلسنازیمحرک شنناخت عواطنفهنابنهعنوانو ورودی
كهننی حالت توصیف و كهنی حالت تغییر چگونگیبنهعنواندر اصنلی چنالش .اسنت خروجنیمدلسنازی
بنرخ عواطفالفمدلسنازیورودی از تنوافقی منورد تعرينف و شنناخت عندم ،سنیاه جعبنه روش بنهو هنا
خروجیمعناست بدين اين .است سیستم هایکهچگنونگی ،عواطنف مفهوم مورد در کافی اطالعات هنوز ما
تالش امنا .نداريم عاطفی كهنی حاالت توصیفات و ثن تحريكات مقابك در زيستی واکنش ،ثن تحريکهنايی
د.دارد خنود عناطفی حاالت از بشر که است مشترکی توصیفات از استفاده با تنها که است شده زمینه اين ر
بنه افنراد تمامی اما باشد نداشته وجود شناسان زبان بین در عواطف از مشترکی تعريف شايد که معنا اين به
دارند اقرار ثن تجربه و وجود[6].
پاور1
در5]1[مانن را شناختی علومدمی کالسكه يکاسب عواطف که داندبه را کالسكه اين که هستند هايی
می در حرکت.ثورد
( عاطفهEmotionلغت در که است فرانسوی ريشه با ه وا يک )احساسات به کمبريج نامه4
تعبیر زياد شدت با
اس شدهلغت در .تاحساسات اين ثکسفورد نامهخلق ، شراي از ناشی را قویرواب ،وخویمی تعامالت و.داند
1 Izard
2 Modeling
3 Power
4 Feeling
- 20. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
7
مقدمه
جمله با ابتدا در را عواطف بريتانیكا دانشنامهایمی تعريف ارسطو از:کند
«می حس ما که است چیزهايی همه عواطفما قضاوت روی بر و کنیمتأایرمیگذارد.و درد بنا عواطف اين
.است همراه لذت»دسته از گسترده طیف يک واقع در عاطفهبندیروانی ناهمگن هایعواطنف برخنی .است
نمی لحظه ثن در هوشیاری سطح به و است کوتاه بسیارمانندگار زينادی زمنان مندت ديگنر برخنی اما رسد
میمی فرد صیت ش از جزئی حتی و مانندمی عواطف .شودبنه ينا باشند همنراه فیزيكنی نمودهنای با تواند
نامرئی صورتنظر ازباشد ناظر[16]ح مقابنك در کنه عناطفی حالنت .دريافنت بنه دارد قنرار طبیعنی النت
محرکمی گفته کافی هایمی روانی يا كهنی حالت در تغییر سبب که شودو دروننی حالت تغییر اين .گردد
نسنبت كاتی حساسیت میزان و صیت ش ،)ص ش فعلی (وضعیت درونی حالت خود به ثن حساسیت میزان
.دارد بستگی فرد محیطی و بیرونی حالت و محرک به
اکمن1
می تقسیم پايه عواطف از ترکیبی و پايه عواطف دسته دو به را عواطفشنده معرفی پايه عواطف .کند
شامك وی توسخشونت2
انزجار ،1
ترس ،4
خوشحالی ،1
،ناراحتی4
وشگفتزدگی2
است18]-[17عواطف اين .
ششگانهبه مطالعات از بسیاری درمی استفاده پايه عواطف عنوان.شود
اماپاوردر[15]نام به خود مدل در را عاطفه پنجSPAARSبهعنوانمی معرفی پايه عواطفتفناوت و کنند
ثنهارااينگونهمی توضیح:دهد
می پاداش .است همراه پاداش دريافت با و موفقیت از ناشی :شادی.شود تزريق لذت صورت به تواند
ارزشمند نقشی يا هدف به رسیدن صورت به نیز موفقیتمی حاصك.شود
می تعريف ارزشمند نقشی يا هدف به رسیدن در موفقیت عدم يا شكست از ناشی :ناراحتی.شود
می تعريف ارزشمند نقشی يا هدف به رسیدن راه در موانع وجود از ناشی :خشم.شود
.است ارزشمند نقشی حصول يا اهداف ،ص ش به فیزيكی يا اجتماعی تهديد از ناشی :ترس
مر :انزجاريا ص ش ،ايده به بوطشیءمی دفع ص ش طرف از که است ای.شود
1 Ekman
2 Anger
3 Disgust
4 Fear
5 Happiness
6 Sadness
7 Surprise
- 21. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
8
مقدمه
در[19]در شده استفاده کلمات که است ثمده ايده اينزبانهافرهنگ حتنی ينابینان بنرای متفناوت هنای
نینز موضنوع اينن دلینك .ندارد وجود عواطف برخی از دقیقی ترجمه و است متفاوت عواطفاينگوننهبینان
میفرهنگ که شودحتنی و عواطنف برخنی بنه بیشنتر توجنه باعنث متفناوت جغرافینای حتی و مذاهب ،ها
لغتمی سازیمی اين که گرددفرهنگ در موضعی صورت به را عواطف بررسی تواند.کند ناگزير متفاوت های
حسادت کلمه استفاده نوع به توجهبهعنواناس موضوع اين از مثالی انگلیسی و فارسی زبان در عاطفه يک.ت
منی تعرينف منظنور چه به را عواطف ما که دارد اهمیت نكته اين به توجه عواطف تعريف درکنیم؛بنهعنوان
حیوان و انسان بین تفاوتی[12]،بهعنوان،كهننی حناالت بینان جهت ارتباطی عامك يکبنهعنوانشنناخت
يا انسان درونی حاالتبهعنواندر شكست يا موفقیت از ارزيابی فاکتور يکاهداف[13]ديندگاه يک در اما .
می تشكیك سابقه يا حافظه به توجه با و كهن و محی تعامك در عواطف کلیفرويد نظريات به توجه با .شود،
سابقه و گذشتهضب نهان حافظه در چه و ثشكار حافظه در چهباش شدهدمی ،ما درون عاطفی مفاهیم تواند
.دهد تشكیك را
نظر ازعواط يک بیولوفعالیت با همراه فدر .هستند فیزيكی ص مش تحريكات و ها[20]عناطفی حالت سه
شادی،را انزجار و ناراحتینظر ازاينن در .اسنت داده قنرار مقايسه مورد يک فیزيولو و بدن فیزيكی فعالیت
مینا فرونتنال قشنر مجناورت در بیشتری فعالیت ناراحتی به نسبت شادی در که است شده گزارش مقالهنی
می مشنناهده.شننودمحرک بننه واکنننشانتقال توسنن عنناطفی هننایدهننندهمی انجننام عصننبی های.شننود
انتقالدهندهو كهننی عملكنرد تنظنیم برای مغز در پیام ارسال وظیفه که هستند شیمیايی مواد عصبی های
مهم جملنه از .دارنند عهنده بنر را جسمیانتقال اينن تنريندهنندهکنولین اسنتیك ها1
دوپنامی ،ن2
،GABA،
گلوتامات1
سروتونین ،4
نفرين نوراپی و1
انتقال اين .استدهندهمحرک به واکنش با هاايجاد باعث عاطفی های
می بدن در فیزيكی تغییراتاز غیره و بدن دمای ،تعرق میزان ،تنفس نرخ تغییرات ،فشارخون تغییرات .شوند
محرک به گويی پاس ديگر عالئم.است عاطفی های
1 Acetylcholine
2 Dopamine
3 Glutamate
4 Serotonin
5 Norepinephrine
- 22. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
9
مقدمه
1-3-ساختارپاياننامه
دوم فصك درپاياننامهتفناوت .داشنت خنواهیم عواطنف بازشناسنی حنوزه چه تاري و منابع بر کوتاه مروی
حوزههایسبب موضوع اين با ارتباط در علمی تلف ممیشودديندگاه دانشمندانهنایدر حتنی متفناوتی
از يكی مشترک ادبیات يک وجود عدم .باشند داشته تعاريف برخیچالشهایبزرگحوزههایبینرشتهای
ت به وبا است شده سعی فصك اين در .است شناختی علوم ثن بعرويكنردیاينن ی تناريتفاوتهنابررسنی
.گردد
روش سوم فصك درپیشنهادیبیانشده.استدرمتن پردازش موازی روند دو نتیجه که گزارش اينصوت و
،است عواطف بازشناسی هدف باتم است شده سعیامیروشهاوفرمولهایبه الزم و شده استفاده رياضی
مجموعنه معرفی شامك ش ب اين .گردد معرفی ساده و کامك صورتدادههنایو اسنتفاده منوردروشهنای
کامك تشريح ،ثن از الزم اطالعات راج استروشهاو مدل ثموزش و ساخت جهت استفاده مورد یروشهای
مدل ارزيابی جهت شده استفاده.بود خواهد نتايج ارائه و خروجی
ثن تفسیر و نتايج بررسی به چهارم فصك درمیپردازيماز حاصك نتايج .مدلسازیهاطراحی وثزمايشهنای
روانشناسی نظريات ثزمودن جهت مناسبی زمینه تلف م-زبانشناسیو حاصنك نتنايج ترتینب بندين .است
ثن صحیح تفاسیرمیتواندجه مناسبی راهنمای.باشد علوم ساير پردازان نظريه ت
ًانهايتبه نیز پنجم فصك درجمعبنندیپیشننهادها ارائنه ومیپنردازيمفصنك اينن در .افقهنایو رو پنیش
زمینههای.نمود خواهیم بیان زبانی عواطف بازشناسی زمینه در را ثتی کارهای
- 23. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
11
تاریخچهمنابع بر مروري و
فصل2:
و تاريخچهمنابع بر مروری
- 24. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسی
11
تاریخچهمنابع بر مروري و
دل بهیكاهمیتعملیجذاب ویتتئوریشناخت علومیتحل ویكانسان عواطفیاخ دهه چهار دریرتحقیقنات
بسیاریرو بری[ است گرفته انجام ثن21اول .]ینتحقیقاتپژوهش ورو بنر هنایبازشناسنیب و چهنرهینان
دهه در چهره1252روانشناس علوم حوزه دریبروننر .اسنت گرفتنه انجامتناگ ویورسنال در1254اولنین
تحقیقاترو بر رایبازشناسیاز پس ،دادند انجام چهرهثنهاسال در1264مهندسن مطبوعات در بلدسوی
رو بریاينگزارش موضوعهايیاول خاص صورت به اما .داد ارائه راینپژوهشرو با هايكردب در عواطنفینان
سال در چهره1212دارو توسينشروع .گرفت صورتتحقیقاترو بریبازشناسیدهنه در چهره خودکار
1212کل توسیبازشناس هنوز زمان ثن از دهه چهار گذشت از پس .شد شروع کاناد ویتحل ویكعواطف
مطالعه مورد و جذاب موضوعفیزيکروانشناسانمهندس و شناسان عصب ،یناست[22سو از .]یديگنرنینز
ويلیاماست ویونزبهعنوانپیشگامتحل حوزه دریكعاطفیسال در زبان1212[ در23بررس به ]یزبان رابطه
پرداخته عواطف با.اند
اکمنابتدا دريکمقیاسخوشايندی-ناخوشايندیبرایب تفاوت که گرفت نظر در عواطفینبنا را عواطنف
از استفاده با سپس کند ص مش ثنيادگیریهایاجتماعیمتغ ویرهایفرهنگیسعیمش درو نمودن ص
نامگذاریاينو .است داشته حاالتیرا عواطفاينگونهتعبیرمیکندحق در کهیقتثزمونهنايیطنول در
يکجرياناتفاق عواطف با رابطه در رفتارها ازمیافتدم کهیتواندتوصن را عواطفیفکنند[17بنا اکمنن .]
معرفیشاخصهایعاطفینهپا عواطف گانهيهمعرف رایمیکندترک از استفاده با سپس ویبیا ازينعواطف
پايهسايرم مدل را عواطفیکند.
اورتونیهمكارانش ومدل ارائه باويژگنی ثن در که خود درختی ساختارابعناد عننوان بنه را عواطنفمنورد
نمودند اب انت عواطف بررسیتعار دريفتغ عواطفییربزرگیايجادکردند.ثنهادلیكجد مدل ارائهيدخود
رااينگونهبیانبرخ که کردندیعاطف حاالتیبسیارخاصهستنصح و دیحنیسنتثنهناچندطبقنه در را
طبقه ص مشبندینمود[13][ در اکمن .18اورتون با الفت م در ]یعواطفياب بهتر عبارت بهیانرا عواطف
ناشیفعال ازیتماهیچهایدل به و دانستیكماه بودن محدودیچههان را عواطفیزبنه محندودينکدامننه
ا اما .دانست ص مشينرو و مدل از دفاعيكردسنتیبه راهجايیعاطف ابعاد مدل و نبردیاورتنونیتناکنون
و توجه موردپذيرشمحققینز مطالعات و است گرفته قراريادیتعر بايفجديدویعاطف حاالت ازیانجام
است گرفته[24].از استفاده امامدلهایپا عواطف و مجزايهسنتیدل به هنوزیكسادگیقرار استفاده مورد
میگیرددهه از .1222بازشناس حوزه در مقاالت تعدادیصنورت بنه عواطنف خودکارقابنكتوجهیافنزايش
يافت.
ابتدا درو یص تش حوزه محققان تمرکزمدلسازیجداگانه صورت به انتقالی اطالعات روی بر عواطفبنود.
- 25. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسیتاریخچهمنابع بر مروري و
دحوزه از صصنینی مت همكناری و حوزه اين در تیمی کار نیاز نیز امر اين لیكمتفناوت هنای(،روانشناسنی
عصبزيست ،شناسیزبان ،شناسیمحققین نیاز و همكاری اين چگونگی .است بوده )کامپیوتر علوم و شناسی
حوزه در مشترک زبان بهچالش از انسانی علوم و تجربی علوم ،مهندسی هایا هایاست مسیر ين[42].
قرار استفاده مورد انسان با تعامالت در عواطف به بردن پی برای ثن از که اطالعاتیمیگینرددسنته سنه در
تقسیممی بندیثن به تفصیك به ادامه در که شودمیپردازيم.
2-1-بصری اطالعات
استفاده است شده استفاده عواطف یص تش برای که مطالعاتی نوع بیشترين تاکنونسیگنال پردازش ازهای
است بوده تصويری[1]تكنیک .می قرار استفاده مورد چهره بیان بازشناسی برای که هايیدسته سه در گیرند
می بندی تقسیمروش :شوندويژگی از که هايیظاهری هایبدن ست مثك بدنمی استفادهروش ،کنندهايی
ويژگی از کههندسی هایچهرهم استفاده ويديو ویروش و کننداسنتفاده ويژگنی دو هر از که ترکیبی های
میويژگی راج است در .کنندمی استفاده تصويری فیلترهای از ها.شنودًالمعمنوموجنک تبنديك از اسنتفاده
گابور1
سیستم در .است معمول تصوير نواحی از ويژگی راج است برایاز اسنتفاده بنا عواطنف بازشناسی های
وي از بیشتر تصاويرژگیمی استفاده هندسی هایتكنیک .شود،فاصنله ،شكك از هندسی ويژگی راج است های
می استفاده تصوير ص مش نقاط جهت و زاويهکنند[25].
مدلهایداده بر مبتنیکه تصويری هایًادقیقشبیه در سعیرا انسنان چشم توس عواطف یص تش سازی
:است دسته دو شامك دارد
:صورت تصوير پردازشچهرهبهعنوانمی ارتباطی ابزارهای از يكیبینان را ما عاطفی حاالت از بسیاری تواند
به داردگونهصورتک از استفاده متنی گفتگوهای در که ایاين .است شده واقع پذيرش مورد و شايع بسیار ها
صورتککه هابهخوبیمی خاصی عاطفی حالت نشانگررا چهنره اطالعنات تنها باشندمندلسنازینموده.انند
تكنیک و اطالعات با چهره تصوير پردازشبه امروزی تصوير پردازش هایاز اسنتفاده بنا .است ممكن سادگی
تكنیکهمسان يا و يابی لبه هایمعرف نقاط سازیمیتوانبهتعرينف .نمنود پردازش را چهره تصوير سادگی
چهره از نقاطیبهعنوانتش در باال واريانس با نقاطیفضنای که نمود خواهد را کمک اين ما به عواطف یص
يابی لبه .دهیم کاهش تصوير از کمتری نقاط به را خود تصوير ويژگیبهعنوانتكنیک از يكیپرکناربرد های
قرار استفاده مورد زمینه اين درمیگیردثن از استفاده با .میتوانلب حالتچشم هاالگوهای با را ابروها و ها
1 Gabor Wavelet
- 26. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسیتاریخچهمنابع بر مروري و
م تصويریچهره از وجودپژوهش برخی در .داد قرار مقايسه مورد عواطف بیانگر هایاز اسنتفاده بنا ديگر های
شبیهماهیچه سازیصورت هایمیتوان.داد انجام را مقايسه اينبهعنواناکمن مثال1
فريزن و2
سیستمیدر
سال1216نام باFACSنموده طراحیرو از چهره حالت توصیف به قادر که اندو چهنره تصنوير پنردازش ی
ماهیچه حالت و رفتار کردن کدسیستم .بود خواهد صورت هایFACSشامك29چهنره از توصنیفی واحند
اينن .اسنت چهنره در یص تشن قابنك رفتارهای و چشم و سر حرکت ،چهره اجزای موقعیت شامك که است
سیستمبهعنوانطبقه جهت عمومی استاندارد سیستم يکفیزي بینان بندیو روانشناسنان توجنه منورد كنی
است گرفته قرار پويانماها[25]افزونه با عواطف بازشناسی در سیستم اين از استفاده .نام به ایEMFACSو
FACSAIDمی انجام.شود
حنوزه در محققنین از بسنیاری :)بندن عناطفی (زبنان بندن حرکنات ننوع و ست از حاصك تصاوير پردازش
توسع و اجتماعی روانشناسیاز بیشتر عاطفی حالت بیان در انتقالی اطالعات حجم که باورند اين بر انسانی ه
می بدن حرکات طريقباشد[12]ساده بسیار عاطفی حالت يک به چهره حالت نگاشت حال اين با .تا است تر
در .عاطفی حالت يک به بدن حاالت و حرکات نگاشت[12]بیان که است نموده اشاره نكته به داروينحالت
حینوان و انسنان بنین کنه اسنت بنوده عاطفی ارتباط نوع اولین از بدنی ست و حرکات از استفاده با درونی
کالسون .است مشترک1
در]26[ثزمايش نتايجاز اسنتفاده بنا اصلی عاطفه شش بازشناسی برای را خود های
با عمومی شكك به که است رسیده نتیجه اين به وی .است ثورده بدن حالتاز اسنتفاده بنا عواطنف زشناسی
می صدا از حاصك اطالعات با مقايسه قابك بدن حالت پردازشموفقینت نتايج موارد برخی در و باشداز ثمیزتر
دادهمی نشان نتايج .است چهره تصاوير از حاصك هایداده به توجه يا عواطف یص تش که دهداز حاصك های
مزيت بدن حاالتحاص نتايج و دارد هايیبهتنری نتنايج دارای تنرس و خشونت مثك موارد برخی در ثن از ك
داده ساير به نسبتپايین دقت دارای نتايج ناراحتی مثك موارد برخی در اما .است هاهستند تری[27].
2-2-زيستی اطالعات
روان مطالعاتزيستمی نشان شناسی.اسنت عصبی سیستم شدن فعال دلیك به عواطف تگی برانگی که دهد
اگربدن حرکات يا ست و چهره ديداری اطالعاتبهعنواناسنتفاده عواطنف یص تشن برای ثشكار اطالعات
1 Ekman
2 Friesen
3 Coulson
- 27. عواطف بازشناسی مدلسازیگفتار درفرازبانی و زبانی اطالعات از استفاده بافارسیتاریخچهمرو ومنابع بر ري
میشوداز ،زيست اطالعاتالكترومغناطیسی و دما حسگرهای توس دريافتی اطالعات مثك شناختیبهعنوان
مهم اين ارزيابی جهت نامرئی اطالعاتمیتوانداده نوع اين .نمود استفادههایسنیگنال به که دريافتیهای
معروف ی فیزيولو يا زيستیمی ،اندباشند عواطف برای مناسبی مدل معرف توانند[28].
روش از يكیجمع هایسیگنال از استفاده بدن زيستی اطالعات ثوریهایEEGمی نشنان نتايج .استدهند
داده کههایEEGسیگنال ساير به نسبت بهتری کارايیجه زيستی هایدارد عواطف بازشناسی ت[24]در .
[29]داده همزمان بررسی بهويديو يک از ناشی هایبهعنوانسیگنال و محرکتوس شده ضب هایEEG
کاننال هنر از فرکانسنی فیلترهای از استفاده با ابتدا که است ثمده گزارش اين در .است شده پرداختهEEG
ديگر سمت از و است شده راج است ويژگی پنجويژگی نیزشنده راج اسنت محرک تصوير و صدا از الزم های
ويژگی اين بین ارتباط ثماری بررسی با سپس .است( همبسنتگی تحلیك معیار و عاطفی برچسب و هاCCA)
ويژگی از جديدی فضای.است نموده ايجاد را هاًانهايتپشنتیبان بردار ماشین روش از استفاده با(SVMبنه )
طبقهاطالعا بندیداده روی بر بازشناسی در موفقی نتیجه که است پرداخته مدل ثموزش و تدر ثزمون های
.است شده گزارش مقاله اين
مغز ثمیگدال فعالیت بررسی و ضببهعنوانمی است انسان عاطفی تحريكات مسئول که مغز از شی بتواند
محرک تحلیك و شناسايی در ما بهدر .کنند کمنک عناطفی های]0[3پاالسنیوس1
رومنانو و2
کنه معتقدنند
هنوز تحقیقات اين به توجه با .بود خواهد عواطف خودکار شناخت برای مناسبی بسیار ابزار زيستی اطالعات
نظريه ،ماهیت با رابطه در روانشناسان بین توافقیمدل ،هازيست الگوهای و هاعواطف شناسايی برای ،شناسی
استانداردهايی ايجاد .ندارد وجوداندازه ،الگوها شناسايی زمینه درروش و زيستی اطالعات گیریتجزينه های
تحلیك ومدلهایتوجه مورد مباحث از عاطفی.است امروزی
عاطفی حالت و پستانداران بدن داخلی دمای بین ارتباط روانشناسان و شناسان عصب از بسیاریثنهاتايید
کردهناکامورا .اند1
سال در همكارانش و2522میمون صورت دمای که دادند نشانتهديند و استرس تحت ها
می تغییر.کندثنهاثزمايش درعاطفی حالت تغییر در بینی پوست دمای که رسیدند نتیجه اين به خود های
می کاهش منفی عواطف به طبیعی ازموقعیت در بدن دمای تغییرات .يابدوياننا توسن نیز ترسناک های4
در
سال2225نما.است شده داده يشثنهاکرده مشاهدهقسمت دمای که اندمیمون بندن اصلی هایمثنك هنا
1 Palacios
2 Romano
3 Nakamura
4 Viana