1. ‫دانشگاه‬‫اسالمی‬ ‫اد‬‫ز‬‫آ‬
‫واحد‬‫علوم‬‫تهران‬‫تحقیقات‬‫و‬
‫و‬ ‫فنی‬ ‫دانشکده‬‫ی‬ ‫مهندس‬
‫ق‬‫بر‬ ‫شد‬‫ر‬‫ا‬ ‫ی‬ ‫شناس‬‫ر‬‫کا‬‫نامه‬‫پایان‬-‫ایش‬‫ر‬‫گ‬‫مکاترونیک‬
‫نده‬‫ز‬‫پردا‬‫روی‬ ‫ی‬ ‫س‬‫ر‬‫فا‬‫گفتار‬ ‫کلیدی‬ ‫واژگان‬ ‫استخراج‬ ‫الگوریتم‬ ‫ی‬‫ساز‬ ‫پیاده‬‫و‬ ‫احی‬‫ر‬‫ط‬DSP
‫اهنما‬‫ر‬ ‫استاد‬:
‫محمدخانی‬ ‫دکتر‬ ‫آقای‬
‫ر‬‫مشاو‬ ‫استاد‬:
‫قدس‬ ‫دکتر‬ ‫آقای‬
‫ر‬‫داو‬ ‫استاد‬:
‫ابی‬‫ر‬‫سه‬ ‫دکتر‬ ‫آقای‬
‫دهنده‬‫ائه‬‫ر‬‫ا‬:
‫وفاکار‬ ‫حسن‬
‫بهمن‬1392 1

2. ‫مطالب‬ ‫فهرست‬
1)‫مقدمه‬‫گفتار‬ ‫پیوسته‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫های‬‫ش‬‫و‬‫ر‬ ‫بر‬ ‫ای‬‫ی‬ ‫س‬‫ر‬‫فا‬
2)‫ی‬‫ر‬‫و‬‫مر‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬ ‫ادبیات‬ ‫بر‬‫پیوسته‬
3)‫ی‬‫ر‬‫تئو‬‫پیوسته‬ ‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬ ‫س‬‫ر‬‫فا‬
4)‫احل‬‫ر‬‫م‬‫پیوسته‬ ‫گفتار‬ ‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫ی‬ ‫س‬‫ر‬‫فا‬
5)‫نتایج‬‫ها‬‫مایش‬‫ز‬‫آ‬‫و‬‫مقایسه‬‫ها‬
2

3. ‫مقدمه‬‫ی‬ ‫س‬‫ر‬‫فا‬ ‫گفتار‬‫پیوسته‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫های‬‫ش‬‫و‬‫ر‬‫بر‬ ‫ای‬
‫و‬ ‫اهداف‬‫یاب‬‫ه‬‫ژ‬‫وا‬ ‫سامانه‬ ‫بردهای‬‫ر‬‫کا‬:
•‫گردد‬‫استفاده‬‫ن‬‫قانو‬ ‫خالف‬‫های‬‫فعالیت‬ ‫شناسایی‬ ‫و‬ ‫امنیتی‬‫های‬‫مان‬‫ز‬‫سا‬ ‫ای‬‫ر‬‫ب‬ ‫توان‬‫می‬.
•‫ا‬‫ا‬‫ی‬ ‫ک‬ ‫اای‬‫ا‬‫ه‬‫ه‬‫ژ‬‫وا‬ ‫ن‬ ‫ااف‬‫ا‬‫ی‬‫اه‬‫ا‬‫ب‬‫ااز‬‫ا‬‫ی‬‫ن‬‫اوها‬‫ا‬‫ش‬ ‫ای‬‫ا‬‫م‬‫و‬‫ار‬‫ا‬‫ب‬‫و‬‫ر‬ ‫ی‬‫او‬‫ا‬‫ش‬ ‫ایوهای‬‫ا‬‫ش‬‫ر‬‫آ‬‫و‬ ‫اده‬‫ا‬‫ش‬ ‫اره‬‫ا‬‫و‬‫هخ‬‫اای‬‫ا‬‫ه‬‫ر‬‫گفتا‬‫اا‬‫ا‬‫ب‬‫اه‬‫ا‬ ‫ی‬ ‫اا‬‫ا‬‫م‬‫ز‬‫ااوه‬‫ا‬‫ن‬‫ع‬ ‫و‬ ‫دی‬
‫دهند‬‫می‬‫شان‬ ‫ا‬‫ر‬ ‫خود‬‫گفتار‬.
•‫سامانه‬‫ایانه‬‫ر‬ ‫و‬ ‫سان‬ ‫ا‬‫میان‬‫اطالعات‬‫تبادل‬‫و‬ ‫اقتصادی‬‫د‬‫ر‬‫موا‬‫در‬‫گفتگو‬‫خودکار‬‫های‬
•‫امت‬‫ا‬‫س‬‫ق‬ ‫اردن‬‫ا‬ ‫د‬‫ر‬ ‫و‬ ‫ر‬‫اتو‬‫ا‬‫س‬‫د‬‫ادی‬‫ا‬‫ی‬ ‫ک‬ ‫اان‬‫ا‬‫د‬‫واژ‬ ‫اایی‬‫ا‬‫س‬‫شنا‬ ‫ای‬‫ر‬‫ا‬‫ا‬‫ب‬‫ی‬‫اار‬‫ا‬‫ت‬‫گف‬‫ات‬‫ا‬‫ر‬ ‫ن‬ ‫ات‬‫ر‬‫اتو‬‫ا‬‫س‬‫د‬‫اامانه‬‫ا‬‫س‬ ‫اه‬‫ا‬‫ب‬‫ر‬‫اتو‬‫ا‬‫س‬‫د‬‫اافه‬‫ا‬‫ف‬‫ا‬‫اای‬‫ا‬‫ه‬
‫د‬‫ر‬‫دا‬‫نیاز‬‫یاب‬‫ه‬‫ژ‬‫وا‬(.‫ف‬ ‫ت‬‫آالت‬‫ماشون‬‫و‬ ‫ایانه‬‫ر‬ ‫و‬ ‫ها‬‫اتومبیل‬‫در‬‫ی‬‫شو‬ ‫های‬‫ل‬‫ر‬ ‫ن‬ ،‫اه‬‫ر‬‫هم‬‫های‬‫خانجات‬‫ر‬‫کا‬)
•‫ند‬ ‫می‬‫ن‬‫متو‬‫ی‬‫ساز‬ ‫خالشه‬‫در‬‫ایی‬‫ز‬‫بس‬‫مک‬ ‫یدی‬ ‫ک‬ ‫های‬‫ه‬‫ژ‬‫وا‬ ‫ن‬ ‫یاف‬.
3

4. ‫مقدمه‬‫ی‬ ‫س‬‫ر‬‫فا‬ ‫گفتار‬‫پیوسته‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫های‬‫ش‬‫و‬‫ر‬‫بر‬ ‫ای‬
•‫ری‬ ‫بیش‬‫ی‬‫کار‬‫ه‬‫ی‬‫و‬‫ر‬‫ی‬‫جستجو‬‫واژدان‬‫یدی‬ ‫ک‬‫انجام‬‫گرفته‬‫مدل‬‫ردن‬
‫آکوستیکی‬،‫اعمال‬‫هتا‬‫ر‬‫الگو‬‫های‬‫جستجو‬‫و‬‫استفاده‬‫از‬‫مدل‬‫های‬‫ب‬‫ز‬‫ی‬ ‫ا‬
‫ی‬‫و‬‫ر‬‫گفتار‬‫پیوسته‬‫بوده‬‫است‬.
•‫احت‬‫ر‬‫تره‬‫و‬‫اولون‬‫اه‬‫ر‬‫شناسایی‬‫تمام‬‫ه‬‫ژ‬‫وا‬‫های‬،‫یدی‬ ‫ک‬‫شناسایی‬‫ت‬‫مام‬‫ه‬‫ژ‬‫وا‬
‫ها‬‫توسط‬‫سامانه‬‫ی‬ ‫شناس‬‫ز‬‫با‬‫گفتار‬‫پیوسته‬‫با‬‫عداد‬‫واژداه‬‫باال‬‫است‬
•‫دو‬‫مدل‬‫ا‬‫ز‬‫مج‬‫ای‬‫ر‬‫ب‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫و‬‫غور‬‫یدی‬ ‫ک‬
–‫ای‬‫ر‬‫د‬‫سامانه‬‫دو‬‫ت‬‫ر‬‫عبا‬‫حائز‬‫اهمیت‬‫است‬:
1)‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬
2)‫ات‬‫ر‬‫عبا‬‫و‬‫ه‬‫ژ‬‫وا‬‫های‬‫غور‬‫یدی‬ ‫ک‬(‫باله‬‫ز‬)
4

5. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫گفتار‬‫پیوسته‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫های‬‫ش‬‫و‬‫ر‬‫بر‬ ‫ای‬ ‫مقدمه‬
•‫ش‬ ‫تقسیا‬ ‫دسته‬ ‫دو‬ ‫به‬ ‫توانند‬ ‫می‬‫ه‬‫ژ‬‫وا‬ ‫گر‬ ‫جستجو‬ ‫های‬ ‫سیستا‬‫وند‬:
1)‫محدودی‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫عداد‬ ‫ه‬ ‫هایی‬‫سیستا‬‫ند‬‫ر‬‫دا‬
2)‫نامحدود‬‫آنها‬‫در‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫عداد‬ ‫ه‬ ‫هایی‬‫سیستا‬(‫چند‬ ‫از‬ ‫بیش‬10‫تا‬)‫است‬.
5

6. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫گفتار‬‫پیوسته‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫های‬‫ش‬‫و‬‫ر‬‫بر‬ ‫ای‬ ‫مقدمه‬
‫است‬‫ه‬‫ژ‬‫و‬‫پر‬ ‫ای‬‫وب‬ ‫مط‬ ‫هر‬‫ز‬ ‫ایط‬‫ر‬‫ش‬ ‫با‬ ‫ای‬ ‫سامانه‬.
•‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫بودن‬ ‫دوهنده‬‫از‬ ‫مستقل‬
•‫مارکوف‬ ‫پنهان‬ ‫مدل‬ ‫توسط‬ ‫ت‬ ‫احتما‬ ‫ی‬‫ساز‬ ‫مدل‬
•‫هر‬‫ز‬‫اساس‬ ‫بر‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫مدل‬‫از‬ ‫استفاده‬-‫ها‬ ‫ه‬‫ژ‬‫وا‬
•‫یدی‬ ‫ک‬‫غور‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫ای‬‫ر‬‫ب‬ ‫ننده‬ ‫پر‬ ‫یا‬ ‫باله‬‫ز‬ ‫مدل‬‫از‬ ‫استفاده‬
•‫شده‬ ‫ادا‬ ‫دویش‬ ‫مان‬‫ز‬ ‫با‬ ‫سامانه‬ ‫بودن‬ ‫همزمان‬
•‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬‫ات‬‫ر‬‫غیو‬ ‫ای‬‫ر‬‫ب‬ ‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫بودن‬ ‫پذیر‬ ‫عطاف‬ ‫ا‬
6

7. 2)‫ی‬‫ر‬‫و‬‫مر‬‫پیوسته‬‫گفتار‬ ‫یابی‬‫ه‬‫ژ‬‫وا‬ ‫ادبیات‬‫بر‬
•‫مجموعه‬‫با‬ ‫پیوسته‬ ‫گفتار‬ ‫ی‬ ‫شناس‬‫ز‬‫با‬‫بر‬‫مبتنی‬‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫دادگان‬
‫گ‬‫ر‬‫بز‬
‫های‬ ‫سال‬ ‫در‬1993(Weintraub)‫و‬1998(Melian and
O’Shaughnessy)
‫مزهت‬:‫باال‬ ‫دقت‬ ‫و‬ ‫ساددی‬
‫معایب‬:‫ای‬‫حافظه‬ ‫و‬ ‫ی‬ ‫ما‬‫ز‬ ‫باالی‬ ‫هزهنه‬
7

8. ‫ی‬‫ر‬‫و‬‫مر‬‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ادبیات‬‫بر‬
•‫غیر‬‫و‬ ‫کلیدی‬ ‫واژگان‬ ‫مارکوف‬ ‫پنهان‬‫مدل‬‫بر‬‫مبتنی‬‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫کلیدی‬
1990‫توسط‬Rose and PaulFOM=66.6%
8

9. ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ادبیات‬‫بر‬ ‫ی‬‫ر‬‫و‬‫مر‬
•‫ی‬‫جستجو‬‫پویا‬
‫اساس‬‫ر‬‫ب‬‫ای‬‫ش‬‫و‬‫ر‬‫ابتدا‬‫واحد‬‫های‬‫ی‬ ‫شو‬‫د‬‫ر‬‫مو‬‫نظر‬(‫مثال‬‫واج‬)‫ا‬‫ر‬‫در‬‫گفتا‬‫ر‬
‫ی‬ ‫شناس‬‫ز‬‫با‬‫رده‬‫و‬‫با‬‫ار‬‫ر‬‫ق‬‫دادن‬‫آنها‬‫در‬‫نار‬‫ها‬‫و‬‫جستجو‬‫در‬‫میان‬‫دنباله‬‫واحد‬
‫های‬،‫ی‬‫گفتار‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫یافته‬‫می‬‫شوند‬
2008Rodrigues and Perronnin
9

10. ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ادبیات‬‫بر‬ ‫ی‬‫ر‬‫و‬‫مر‬
•‫مدل‬‫پنهان‬‫مارکوف‬‫واژگان‬‫کلیدی‬
‫مدل‬‫مبتنی‬‫بر‬‫تمام‬‫ه‬‫ژ‬‫وا‬-Jansen and Niogi‫در‬‫سال‬2009
‫معایب‬:
‫نیاز‬‫به‬‫داده‬‫ی‬ ‫ش‬‫ز‬‫آمو‬‫کافی‬‫برای‬‫هر‬‫ه‬‫ژ‬‫وا‬
‫عدم‬‫انعطاف‬‫ی‬‫پذیر‬
‫مدل‬‫مبتنی‬‫بر‬‫یر‬‫ز‬‫ه‬‫ژ‬‫وا‬-Young and Knill1994
‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫با‬‫پشت‬‫سر‬‫ها‬‫ار‬‫ر‬‫ق‬‫دادن‬‫مدل‬‫هر‬‫ز‬‫ه‬‫ژ‬‫وا‬‫های‬‫شکیل‬‫دهنده‬‫آنها‬
‫ساخته‬‫می‬‫شود‬.
10

11. ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ادبیات‬‫بر‬ ‫ی‬‫ر‬‫و‬‫مر‬
•‫وهژدی‬‫اج‬‫ر‬‫استخ‬
–MFCC‫ایب‬‫ر‬‫ف‬‫مل‬‫س‬ ‫فرکا‬‫ال‬‫ر‬ ‫پس‬
–Wavelet Transform
–MFDWC‫ایب‬‫ر‬‫ف‬‫س‬ ‫فرکا‬‫گسسته‬ ‫موجک‬‫مل‬
•‫های‬‫فرها‬ ‫معموال‬20‫ی‬ ‫همپوشا‬ ‫با‬ ‫ثانیه‬‫میلت‬10‫های‬ ‫پنجره‬‫از‬‫استفاده‬ ‫با‬ ‫و‬ ‫ثانیه‬‫میلت‬
‫شوند‬ ‫می‬‫گرفته‬ ‫نظر‬ ‫در‬ ‫همینگ‬𝐹 𝑀𝑒𝑙 =
1000
log 2
1 +
𝐹 𝐻𝑧
1000
–FHz‫است‬‫هه‬‫ر‬‫فو‬ ‫تبدیل‬‫از‬ ‫آمده‬ ‫بدست‬‫س‬ ‫فرکا‬‫ه‬‫ز‬‫حو‬‫در‬‫سیگنال‬‫مقدار‬
•𝐶𝑖 =
2
𝑁 𝑖=1
𝑛
𝑚𝑗 cos
𝜋𝑗
𝑁
𝑗 − 0.5
–mj‫و‬‫است‬‫مل‬ ‫ر‬ ‫فی‬‫بانک‬‫های‬‫کانال‬ ‫از‬‫یک‬‫هر‬‫انرژی‬‫لگارهتا‬ ‫با‬ ‫ابر‬‫ر‬‫ب‬N‫دهد‬‫می‬‫شان‬ ‫ا‬‫ر‬ ‫ر‬ ‫فی‬‫بانک‬‫های‬ ‫کانال‬ ‫عداد‬.
11

12. ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ادبیات‬‫بر‬ ‫ی‬‫ر‬‫و‬‫مر‬
•‫مدل‬‫پنهان‬‫مارکوف‬
‫مدل‬‫پنهان‬‫مارکوف‬‫ای‬‫ر‬‫دا‬‫عداد‬‫محدودی‬‫حالت‬‫است‬‫ه‬‫ای‬‫حالت‬‫ها‬‫می‬
‫توانند‬‫به‬‫یکدیگر‬‫اه‬‫ر‬‫ت‬ ‫انتقا‬‫داشته‬‫باشند‬.‫انتقال‬‫ها‬‫در‬‫گفتار‬‫ا‬‫ز‬‫چپ‬‫به‬
‫است‬‫ر‬‫و‬‫ی‬‫قو‬ ‫ح‬‫ت‬‫ر‬‫شو‬‫می‬‫گورد‬.‫ر‬ ‫ام‬‫ر‬‫پا‬‫های‬‫اشلت‬‫موجود‬‫در‬‫مدل‬‫پنهان‬
‫مارکوف‬‫تند‬‫ر‬‫عبا‬‫از‬:
–‫مجموعه‬‫ها‬‫حالت‬‫یی‬‫ه‬‫ممک‬‫است‬‫اتفاق‬‫بيفتد‬.
–‫مجموعه‬‫ی‬ ‫تصميما‬‫ه‬‫توان‬‫می‬‫در‬‫های‬‫حالت‬‫ف‬ ‫مخت‬‫گرفت‬.
–‫مجموعه‬‫نتايجت‬‫ه‬‫ممک‬‫است‬‫متعاقب‬‫هر‬‫ی‬‫گور‬‫تصميا‬‫بدست‬‫آيد‬.
–‫منافع‬‫و‬‫ش‬‫ز‬‫ار‬‫ده‬‫و‬‫افز‬‫اي‬‫ی‬‫گور‬‫تصميا‬‫در‬‫مقايسه‬‫با‬‫تصميمات‬‫ممک‬‫دي‬‫گر‬
12

13. ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬‫ی‬ ‫س‬‫ر‬‫فا‬
•‫پیش‬‫ش‬‫ز‬‫پردا‬
–‫ای‬‫ر‬‫ب‬‫قاب‬‫بندی‬‫سیگنال‬‫گفتار‬‫از‬‫پنجره‬‫بندی‬‫استفاده‬‫می‬‫شود‬.
•‫پنجره‬‫مستطیلت‬:𝑊 𝑛 = 1 − 𝑀 ≤ 𝑛 ≤ 𝑀
•‫پنجره‬‫همینگ‬:𝑊 𝑛 = 0.54 + 0.46 cos
𝑛𝜋
𝑀
− 𝑀 ≤ 𝑛 ≤ 𝑀
•‫پنجره‬‫هنینگ‬:𝑊 𝑛 = 0.5 + 0.5 cos
𝑛𝜋
𝑀+1
− 𝑀 ≤ 𝑛 ≤ 𝑀
‫با‬‫توجه‬‫به‬‫اینکه‬‫تبدیل‬‫هه‬‫ر‬‫فو‬‫سیگنال‬‫ودی‬‫ر‬‫و‬‫با‬‫تبدیل‬‫هه‬‫ر‬‫فو‬‫پنجره‬‫کانوالو‬‫می‬،‫شود‬
‫پنجره‬‫های‬‫همینگ‬‫و‬‫هنینگ‬‫ای‬‫ر‬‫ب‬‫پنجره‬‫بندی‬‫مناسب‬‫تر‬‫به‬‫نظر‬‫می‬‫سند‬‫ر‬.
13

14. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫بردار‬‫ویژگی‬‫ایب‬‫ر‬‫ض‬‫کپسترال‬‫فرکانس‬‫مل‬
‫پس‬‫از‬‫بدست‬‫دن‬‫ر‬‫آو‬‫ی‬‫ژ‬‫انر‬‫بانک‬‫رها‬ ‫فی‬‫بردار‬‫وهژدی‬‫ایب‬‫ر‬‫ف‬‫پس‬‫ال‬‫ر‬‫با‬
‫استفاده‬‫از‬‫تبدیل‬‫گسسته‬‫ی‬ ‫سینوس‬-‫ی‬ ‫سینوس‬‫بدست‬‫خواهد‬‫آمد‬
•‫بردار‬‫ویژگی‬‫ضرایب‬‫موجک‬‫گسسته‬‫مقیاس‬‫مل‬
• 𝐶 𝑎,𝑏 = 𝑋 𝑡 𝜓 𝑎,𝑏 𝑡 𝑑𝑡
• 𝜓 𝑎,𝑏 𝑡 =
1
𝑎
𝜓
𝑡−𝑏
𝑎
(t)‫سیگنال‬،‫ودی‬‫ر‬‫و‬𝜓 𝑡‫تابع‬،‫موجک‬a‫مقدار‬‫مقیاس‬‫و‬b‫مقدار‬‫جابجایی‬‫تابع‬‫موجک‬
‫تبدیل‬‫موجک‬‫گسسته‬:𝜓𝑗,𝑘 = 2
𝑗
2 𝜓 2 𝑗 𝑡 − 𝑘
14

15. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫مدل‬‫پنهان‬‫مارکوف‬‫واج‬
‫قاب‬‫گفتار‬‫در‬‫یک‬‫حالت‬‫مدل‬‫پنهان‬‫مارکوف‬:
𝑏𝑗 𝑂𝑗 =
𝑘=1
𝑀
𝐶𝑗𝑘 𝑁 𝑂𝑗 𝜇 𝑗𝑘 ∑ 𝑗𝑘
−∞
∞
𝑏𝑗 𝑂𝑗 𝑑𝑂𝑗 = 1
𝑂, ∑ ,𝜇‫به‬‫ترتیب‬‫میانگون‬،‫ماتریس‬‫س‬ ‫ها‬‫ر‬‫کووا‬‫و‬‫نمونه‬‫هستند‬.
15

16. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫ای‬‫ر‬‫ب‬‫شناسایی‬‫واج‬‫ها‬‫در‬‫گفتار‬‫پیوسته‬‫نیاز‬‫به‬‫شبکه‬‫ا‬‫ر‬‫گ‬‫مر‬‫شخیص‬
‫واج‬‫ها‬‫ر‬‫دا‬‫ه‬‫با‬‫اعمال‬‫هتا‬‫ر‬‫الگو‬‫ربی‬ ‫وه‬‫ی‬‫و‬‫ر‬،‫آن‬‫دنباله‬‫واج‬‫ها‬‫شان‬
‫داده‬‫می‬‫شوند‬
• 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =
𝑇𝑟𝑢𝑒 𝐻𝑖𝑡−𝐼𝑛𝑠𝑒𝑟𝑡𝑖𝑜𝑛−𝐷𝑒𝑙𝑒𝑡𝑖𝑜𝑛−𝑆𝑢𝑏𝑠𝑡𝑖𝑡𝑢𝑡𝑖𝑜𝑛
𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑃ℎ𝑜𝑛𝑒𝑚𝑒𝑠
16

17. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫واژگان‬‫مدل‬‫کلیدی‬
–‫مستق‬‫ر‬‫طو‬ ‫به‬ ‫ا‬‫ر‬ ‫ها‬ ‫ه‬‫ژ‬‫وا‬ ‫و‬ ‫رد‬ ‫استفاده‬ ‫شده‬ ‫بیان‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫از‬‫یا‬
‫ش‬‫ز‬‫آمو‬‫دهیا‬(‫ه‬‫ژ‬‫وا‬ ‫تمام‬ ‫مدل‬)
–‫ساخت‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫تا‬ ‫داده‬‫ار‬‫ر‬‫ق‬ ‫سرها‬ ‫پشت‬ ‫ا‬‫ر‬ ‫دیده‬ ‫ش‬‫ز‬‫آمو‬ ‫های‬ ‫واج‬‫ه‬
‫شوند‬
‫واژه‬ ‫تمام‬‫واج‬ ‫مبنای‬ ‫بر‬
234/277(84.47)%Hit Ratio196/277(70.76)%Hit Ratio
33Number of False Alarms39Number of False Alarms
17

18. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
‫ه‬‫ژ‬‫وا‬ ‫مارکوف‬ ‫پنهان‬‫مدل‬"PARK"
‫مدل‬‫ه‬‫ژ‬‫وا‬ ‫مارکوف‬ ‫پنهان‬“PARK”‫یک‬‫ه‬‫ز‬‫اجا‬‫با‬‫پرش‬
‫مدل‬‫ه‬‫ژ‬‫وا‬ ‫مارکوف‬ ‫پنهان‬“PARK”‫دو‬‫ه‬‫ز‬‫اجا‬‫با‬‫پرش‬
18

19. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫پر‬‫مدل‬‫کننده‬
–‫ها‬ ‫واج‬ ‫مارکوف‬ ‫پنهان‬ ‫مدل‬ ‫بر‬ ‫مبتنی‬ ‫پرکننده‬ ‫مدل‬
19

20. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫مدل‬‫پرکننده‬‫بهبود‬‫یافته‬
–‫درگفتار‬‫ی‬ ‫س‬‫ر‬‫فا‬‫ی‬ ‫بعض‬‫از‬‫ه‬‫ژ‬‫وا‬‫ها‬‫به‬‫عداد‬‫ی‬‫بیشمار‬‫استفاده‬‫می‬‫ش‬‫وند‬.‫ای‬‫ر‬‫ب‬
‫مثال‬‫در‬‫گفتار‬‫پیوسته‬‫ی‬ ‫س‬‫ر‬‫فا‬‫ت‬ ‫افعا‬‫مانند‬"‫شد‬"،"‫است‬"‫و‬"‫می‬‫ب‬‫اشد‬"‫و‬
‫ف‬‫و‬‫حر‬‫افافه‬‫مانند‬"‫از‬"‫و‬"‫در‬"‫و‬‫ی‬‫فمایر‬‫ن‬‫چو‬"‫آن‬"‫و‬"‫ای‬"‫و‬"‫او‬"
‫استفاده‬‫ی‬‫بسیار‬‫ند‬‫ر‬‫دا‬.‫از‬‫مدل‬‫پنهان‬‫مارکوف‬‫ای‬‫ه‬‫ژ‬‫وا‬‫ها‬‫به‬‫شرطی‬‫ه‬‫در‬
‫مجموعه‬‫ه‬‫ژ‬‫وا‬‫ها‬‫یدی‬ ‫ک‬‫نباشند‬‫به‬‫عنوان‬‫مک‬‫ننده‬‫مدل‬‫ننده‬ ‫پر‬
‫استفاده‬‫می‬‫شود‬.‫استفاده‬‫از‬‫ای‬‫مدل‬‫مک‬‫ننده‬،‫مک‬‫ی‬ ‫شایا‬‫ب‬‫ه‬‫پایون‬
‫آمدن‬‫نرخ‬‫اشتباه‬‫در‬‫شخیص‬‫ه‬‫ژ‬‫وا‬‫یدی‬ ‫ک‬‫خواهد‬‫داشت‬
20

21. ‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬‫گفتار‬ ‫یابی‬ ‫ه‬‫ژ‬‫وا‬‫ی‬‫ر‬‫تئو‬
•‫قبل‬‫از‬‫انجام‬‫ه‬‫ژ‬‫وا‬‫یابی‬‫ی‬ ‫فرفیا‬‫بر‬‫شبکه‬‫امر‬‫ر‬‫گ‬‫وجود‬‫د‬‫ر‬‫دا‬‫ه‬‫به‬‫شر‬‫ح‬‫هر‬‫ز‬
‫است‬:
–‫احتمال‬‫ر‬‫حضو‬‫در‬Null1‫و‬Null2‫ابر‬‫ر‬‫ب‬1‫است‬
–‫احتمال‬‫پرش‬‫از‬Null1‫به‬‫مدل‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫و‬‫مدل‬‫ننده‬ ‫پر‬‫ابر‬‫ر‬‫ب‬‫با‬1‫در‬‫نظر‬‫گرفته‬
‫شود‬.
–‫احتمال‬‫پرش‬‫از‬‫مدل‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫و‬‫مدل‬‫پر‬‫ننده‬‫به‬Null2‫ابر‬‫ر‬‫ب‬‫در‬‫نظر‬‫گرفته‬
‫شود‬.
–‫احتمال‬‫پرش‬‫از‬Null1‫به‬Null2‫ابر‬‫ر‬‫ب‬‫با‬1‫فرض‬‫می‬‫شود‬.
21

22. 4)‫مراحل‬‫پیوسته‬ ‫گفتار‬ ‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫ی‬ ‫س‬‫ر‬‫فا‬
•‫مجموعه‬‫داده‬
–‫ما‬‫در‬‫ای‬‫ه‬‫ژ‬‫و‬‫پر‬‫از‬‫مجموعه‬‫داده‬‫س‬‫ر‬‫فا‬‫دات‬‫استفاده‬‫می‬‫نیا‬.
–‫فبط‬‫شدا‬‫در‬‫یک‬‫اتاق‬‫ی‬‫ادار‬‫ام‬‫ر‬‫آ‬‫انجام‬‫شده‬‫ای‬‫ر‬‫وب‬‫فبط‬‫شدا‬‫از‬‫ت‬‫ر‬‫کا‬
‫ی‬ ‫شو‬‫ر‬ ‫بالس‬‫ر‬‫ساند‬‫با‬‫وهژدی‬‫های‬‫س‬ ‫فرکا‬‫نمونه‬‫ی‬‫بردار‬22.05
‫وهرتز،مونو‬ ‫ی‬‫و‬16‫بیتی‬‫استفاده‬‫شده‬‫است‬
22

23. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫نرم‬‫های‬‫ر‬‫افزا‬‫د‬‫ر‬‫مو‬‫استفاده‬
–‫ای‬‫ر‬‫ب‬‫استفاده‬‫از‬‫مدل‬‫پنهان‬‫مارکوف‬‫از‬‫ار‬‫ز‬‫اب‬HTK‫استفاده‬‫شده‬‫است‬.
‫ای‬‫ر‬‫ب‬‫پیش‬‫ش‬‫ز‬‫پردا‬‫اج‬‫ر‬‫ها،استخ‬‫وهژدی‬‫ها‬‫و‬‫پس‬‫ش‬‫ز‬‫پردا‬‫ها‬‫با‬‫توجه‬‫ب‬‫ه‬‫نوع‬
‫ه‬ ‫مسئ‬‫از‬‫بان‬‫ز‬‫های‬MATLAB‫و‬C‫ای‬‫ر‬‫ب‬‫احت‬‫ر‬‫ط‬‫واحد‬‫های‬‫نرم‬‫ی‬‫ار‬‫ز‬‫اف‬
‫مربوطه‬(Module)‫استفاده‬‫شده‬‫است‬
23

24. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫پیش‬‫ش‬‫ز‬‫پردا‬
•‫هر‬‫فایل‬‫ی‬ ‫شو‬‫به‬‫قاب‬‫های‬20‫میلت‬‫ثانیه‬‫با‬‫ها‬‫ی‬ ‫پوشا‬10‫میلت‬
3‫ثانیه‬‫و‬‫با‬‫استفاده‬‫از‬‫پنجره‬‫های‬‫همینگ‬‫تقسیا‬‫شده‬‫است‬.‫در‬
‫ه‬ ‫مرح‬‫بعد‬،‫از‬‫هر‬‫قاب‬‫تبدیل‬‫هه‬‫ر‬‫فو‬‫مان‬‫ز‬‫کوتاه‬(Short Time
Fourier Transform)‫گرفته‬‫شده‬‫و‬‫نتیجه‬‫در‬‫آستانه‬‫استخر‬‫اج‬
‫اطالعات‬‫گفتار‬‫در‬‫ه‬‫ز‬‫حو‬‫س‬ ‫فرکا‬‫ار‬‫ر‬‫ق‬‫می‬‫گورد‬
24

25. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫پنه‬‫مدل‬ ‫ار‬‫ز‬‫اب‬‫در‬ ‫مل‬ ‫س‬ ‫فرکا‬‫ال‬‫ر‬ ‫پس‬ ‫ایب‬‫ر‬‫ف‬ ‫وهژدی‬‫اج‬‫ر‬‫استخ‬ ‫پیکربندی‬ ‫فایل‬‫مارکوف‬ ‫ان‬
25

26. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫مدل‬‫پنهان‬‫مارکوف‬‫واج‬
–‫واحد‬‫آوایی‬‫د‬‫ر‬‫مو‬‫نظر‬‫در‬‫ای‬‫ه‬ ‫مرح‬‫واج‬‫می‬‫باشد‬.‫پس‬‫واج‬‫های‬‫بان‬‫ز‬‫س‬‫ر‬‫فا‬‫ی‬
‫مشخص‬‫شده‬‫و‬‫نام‬‫ی‬‫گذار‬‫می‬‫شوند‬.
–‫س‬‫ر‬‫فا‬‫دات‬‫گ‬‫ر‬‫بز‬‫در‬‫حد‬‫واج‬‫تقطیع‬‫شده‬‫است‬.‫ای‬‫ر‬‫بناب‬‫نیاز‬‫به‬‫تق‬‫طیع‬
‫خودکار‬‫اه‬‫ر‬‫هم‬‫با‬‫ش‬‫ز‬‫آمو‬‫مدل‬‫است‬.‫بدی‬‫ر‬‫منظو‬‫فایل‬‫های‬‫برچسب‬‫ا‬‫ر‬‫ب‬‫ه‬
‫ت‬‫ر‬‫شو‬‫واجت‬‫پشت‬‫سر‬‫ها‬‫نوشته‬‫و‬‫با‬‫مک‬‫ار‬‫ز‬‫اب‬‫مدل‬‫پنهان‬‫مارکوف‬‫م‬‫دل‬
‫ها‬‫ا‬‫ر‬‫با‬‫ای‬‫فایل‬‫برچسب‬‫موجود‬،‫به‬‫ت‬‫ر‬‫شو‬‫خودکار‬‫تقطیع‬‫رده‬‫و‬‫آم‬‫ش‬‫ز‬‫و‬
‫می‬‫دهیا‬
26

27. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫واج‬‫مارکوف‬ ‫پنهان‬‫مدل‬
‫است‬‫هر‬‫ز‬ ‫شرح‬ ‫به‬‫ش‬‫ز‬‫آمو‬ ‫ار‬‫ر‬‫تک‬‫عداد‬:
–‫با‬‫ابر‬‫ر‬‫ب‬ ‫ی‬ ‫داوس‬‫فیق‬ ‫ت‬‫عداد‬1‫و‬5‫ی‬ ‫ش‬‫ز‬‫آمو‬‫های‬ ‫فایل‬‫تمام‬‫ی‬‫و‬‫ر‬‫ش‬‫ز‬‫آمو‬‫ار‬‫ر‬‫تک‬
–‫با‬‫ابر‬‫ر‬‫ب‬ ‫ی‬ ‫داوس‬‫فیق‬ ‫ت‬‫عداد‬2‫و‬6‫ی‬ ‫ش‬‫ز‬‫آمو‬‫های‬ ‫فایل‬‫تمام‬‫ی‬‫و‬‫ر‬‫ش‬‫ز‬‫آمو‬‫ار‬‫ر‬‫تک‬
–‫با‬‫ابر‬‫ر‬‫ب‬ ‫ی‬ ‫داوس‬‫فیق‬ ‫ت‬‫عداد‬4‫و‬7‫ی‬ ‫ش‬‫ز‬‫آمو‬‫های‬ ‫فایل‬‫تمام‬‫ی‬‫و‬‫ر‬‫ش‬‫ز‬‫آمو‬‫ار‬‫ر‬‫تک‬
–‫با‬‫ابر‬‫ر‬‫ب‬ ‫ی‬ ‫داوس‬‫فیق‬ ‫ت‬‫عداد‬8‫و‬8‫ی‬ ‫ش‬‫ز‬‫آمو‬‫های‬ ‫فایل‬‫تمام‬‫ی‬‫و‬‫ر‬‫ش‬‫ز‬‫آمو‬‫ار‬‫ر‬‫تک‬
–‫با‬‫ابر‬‫ر‬‫ب‬ ‫ی‬ ‫داوس‬‫فیق‬ ‫ت‬‫عداد‬16‫و‬10‫و‬ ‫ی‬ ‫ش‬‫ز‬‫آمو‬‫های‬ ‫فایل‬‫تمام‬‫ی‬‫و‬‫ر‬‫ش‬‫ز‬‫آمو‬‫ار‬‫ر‬‫تک‬
‫واج‬‫های‬‫مدل‬‫هخوره‬‫و‬‫ش‬‫ز‬‫آمو‬‫اتمام‬‫نهایت‬‫در‬
27

28. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫واج‬ ‫مایش‬‫ز‬‫آ‬1:‫شده‬ ‫انجام‬‫مارکوف‬ ‫پنهان‬‫مدل‬ ‫ار‬‫ز‬‫اب‬‫ست‬ ‫و‬‫ش‬‫ز‬‫آمو‬
‫است‬.‫ل‬‫جدو‬ ‫در‬ ‫واج‬ ‫شناسایی‬ ‫های‬ ‫دقت‬ ،‫آن‬ ‫از‬ ‫پس‬‫هر‬‫ز‬‫حالت‬ ‫ای‬‫ر‬‫ب‬
‫است‬‫آمده‬ ‫بدست‬ ‫متفاوت‬ ‫های‬.
MFCC-E-D-A-ZMFCC-E-D-A
60.12%3 State 8 Mixture57.84%3 State 8 Mixture
63.33%3 State 16 Mixture62.15%3 State 16 Mixture
66.155 State 8 Mixture67%5 State 8 Mixture
68.41%5 State 16 Mixture67.26%5 State 16 Mixture
28

29. 4)‫ی‬ ‫س‬‫ر‬‫فا‬ ‫پیوسته‬ ‫گفتار‬‫یاب‬ ‫ه‬‫ژ‬‫وا‬ ‫ی‬‫ساز‬ ‫پیاده‬‫مراحل‬
•‫مایش‬‫ز‬‫آ‬‫واج‬2:‫پس‬‫از‬‫عیون‬‫ری‬ ‫به‬‫حالت‬‫ای‬‫ر‬‫ب‬‫عداد‬‫حالت‬‫و‬‫ع‬‫داد‬
‫فیق‬ ‫ت‬‫ی‬ ‫داوس‬‫مدل‬‫پنهان‬‫مارکوف‬‫واج‬‫از‬‫وهژدی‬‫ایب‬‫ر‬‫ف‬‫موجک‬‫گسسته‬
‫س‬ ‫فرکا‬‫مل‬‫استفاده‬‫می‬،‫نیا‬‫نتایج‬‫بدست‬‫آمده‬‫در‬‫ای‬‫مرح‬‫ه‬‫و‬
‫مقایسه‬‫آن‬‫با‬‫ایب‬‫ر‬‫ف‬‫ال‬‫ر‬ ‫پس‬‫س‬ ‫فرکا‬‫مل‬‫در‬‫ل‬‫جدو‬‫هر‬‫ز‬‫آمده‬‫ا‬‫ست‬.
Accuracy Rate Of Phoneme RecognitionFeature Vectors
Noisy Speech(SNR=10db)Clean Speech
45,48%54.65%MFCC
58.68%67.27MFCC+Energy+DynamicFeatures
63.89%69.04%MFDWC
29

30. •‫مایش‬‫ز‬‫آ‬‫واج‬3:‫پس‬‫از‬‫عیون‬‫ری‬ ‫به‬‫حالت‬‫ای‬‫ر‬‫ب‬‫عداد‬‫حالت‬‫و‬‫ع‬‫داد‬
‫فیق‬ ‫ت‬‫ی‬ ‫داوس‬‫مدل‬‫پنهان‬‫مارکوف‬‫واج‬‫از‬‫وهژدی‬‫ی‬‫دیگر‬‫به‬‫نام‬‫ایب‬‫ر‬‫ف‬
‫ال‬‫ر‬ ‫پس‬‫بر‬‫اساس‬‫تمایز‬‫ی‬ ‫س‬ ‫فرکا‬‫استفاده‬‫می‬‫نیا‬.‫نتا‬‫یج‬‫بدست‬
‫آمده‬‫در‬‫ای‬‫ه‬ ‫مرح‬‫و‬‫مقایسه‬‫آن‬‫با‬‫ایب‬‫ر‬‫ف‬‫ال‬‫ر‬ ‫پس‬‫س‬ ‫فرکا‬‫م‬،‫ل‬‫در‬
‫ل‬‫جدو‬‫هر‬‫ز‬‫آمده‬‫است‬.
AccuracyFeature Vector
67.26%MFCC-E-D-A
67.85%Improved MFCC
30

31. •‫مدل‬‫پنهان‬‫مارکوف‬‫واژگان‬‫کلیدی‬
–‫ای‬‫ر‬‫ب‬‫اتصال‬‫واج‬‫ها‬‫به‬‫یکدیگر‬‫در‬‫یک‬‫ه‬‫ژ‬‫وا‬‫به‬‫ز‬‫نیا‬‫ساخت‬‫اتصال‬‫از‬‫یک‬‫واج‬‫به‬‫وا‬‫ج‬‫دیگر‬
‫ها‬‫ر‬‫دا‬.‫عالوه‬‫بر‬‫غیور‬‫رهای‬ ‫ام‬‫ر‬‫پا‬‫اتصال‬‫میان‬‫حالت‬‫ها‬‫در‬‫ز‬‫مر‬‫بون‬‫دو‬،‫واج‬‫غیو‬‫ی‬ ‫ا‬‫ر‬‫بر‬
‫ی‬‫و‬‫ر‬‫رهای‬ ‫م‬‫ر‬‫پا‬‫ت‬ ‫انتقا‬‫ن‬‫و‬‫در‬‫واجت‬‫نوز‬‫در‬‫شخیص‬‫ر‬ ‫بیش‬‫ه‬‫ژ‬‫وا‬‫ها‬‫ساز‬‫ر‬‫کا‬‫است‬.‫ای‬‫ر‬‫بناب‬‫از‬
‫چهار‬‫نوع‬‫ماتریس‬‫انتقال‬‫در‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫استفاده‬‫می‬‫نیا‬‫و‬‫با‬‫مقایسه‬‫ان‬‫ها‬‫با‬
‫یکدیگر‬‫ری‬ ‫به‬‫ماتریس‬‫انتقال‬‫ا‬‫ر‬‫ای‬‫ر‬‫ب‬‫اهداف‬‫نهایی‬‫انتخاب‬‫خواهیا‬‫رد‬
31

32. •‫نوع‬ ‫انتقال‬‫ماتریس‬1
–‫ز‬ ‫پیش‬‫و‬ ‫تره‬‫ساده‬ ‫به‬‫نیا‬ ‫محدود‬‫بعدی‬‫حالت‬ ‫یک‬‫و‬‫ی‬‫جار‬‫حالت‬‫به‬‫تنها‬‫ا‬‫ر‬‫انتقال‬ ‫ماتریس‬‫اگر‬‫یک‬‫مینه‬
‫یافت‬‫خواهیا‬ ‫دست‬‫مارکوف‬‫پنهان‬‫مدل‬
– 𝑇𝑟𝑎𝑠𝑖𝑡𝑖𝑜𝑛 𝑀𝑎𝑟𝑡𝑖𝑥 ∶
𝑝 𝑆𝑖 𝑆𝑖−1 = 0.4
𝑝 𝑆𝑖 𝑆𝑖−1 = 0.6
𝑝 𝑆𝑖 𝑆𝑖−1 = 0, 𝑟 > 1
–
0 1 0 0 0 0 0 0 0 0 0
0 0.6 0.4 0 0 0 0 0 0 0 0
0 0 0.6 0.4 0 0 0 0 0 0 0
0 0 0 0.6 0.4 0 0 0 0 0 0
0 0 0 0 0.6 0.4 0 0 0 0 0
0 0 0 0 0 0.6 0.4 0 0 0 0
0 0 0 0 0 0 0.6 0.4 0 0 0
0 0 0 0 0 0 0 0.6 0.4 0 0
0 0 0 0 0 0 0 0 0.6 0.4 0
0 0 0 0 0 0 0 0 0 0.6 0.4
32

33. •‫نوع‬ ‫انتقال‬ ‫ماتریس‬2
• 𝑇𝑟𝑎𝑠𝑖𝑡𝑖𝑜𝑛 𝑀𝑎𝑟𝑡𝑖𝑥 ∶
𝑝 𝑆𝑖 𝑆𝑖−1 = 0.1
𝑝 𝑆𝑖 𝑆𝑖−1 = 0.4
𝑝 𝑆𝑖 𝑆𝑖−1 = 0.5
𝑝 𝑆𝑖 𝑆𝑖−1 = 0, 𝑟 > 2
0 1 0 0 0 0 0 0 0 0 0
0 0.5 0.4 1 0 0 0 0 0 0 0
0 0 0.5 0.4 1 0 0 0 0 0 0
0 0 0 0.5 0.4 1 0 0 0 0 0
0 0 0 0 0.5 0.4 1 0 0 0 0
0 0 0 0 0 05 0.4 1 0 0 0
0 0 0 0 0 0 0.5 0.4 1 0 0
0 0 0 0 0 0 0 0.5 0.4 1 0
0 0 0 0 0 0 0 0 0.5 0.4 1
0 0 0 0 0 0 0 0 0 0.5 0.4
33

34. 5)‫نتایج‬‫ها‬ ‫مایش‬‫ز‬‫آ‬‫ها‬‫مقایسه‬ ‫و‬
•‫مایش‬‫ز‬‫آ‬1:‫سامانه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫با‬‫ایط‬‫ر‬‫ش‬‫هر‬‫ز‬
–‫بردار‬‫وهژدی‬MFCC
–20‫مقدار‬‫عیون‬‫شده‬‫ای‬‫ر‬‫ب‬wp‫و‬wf
–‫مدل‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫مبتنی‬‫بر‬‫واج‬
•‫با‬‫توجه‬‫به‬‫مایشات‬‫ز‬‫آ‬‫و‬‫نمودار‬ROC‫می‬‫بینیا‬‫ه‬‫مدل‬‫پنهان‬‫مارکوف‬‫ه‬‫ژ‬‫وا‬
‫های‬‫یدی‬ ‫ک‬‫با‬‫ماتریس‬‫انتقال‬‫نوع‬‫دوم‬(‫یک‬‫پرش‬‫از‬‫ی‬‫و‬‫ر‬‫حالت‬‫ها‬‫با‬‫ا‬‫حتمال‬
0.1)‫ری‬ ‫به‬‫نتیجه‬‫ا‬‫ر‬‫داده‬‫است‬.‫توجه‬‫به‬‫ای‬‫نکته‬‫ی‬‫ر‬‫و‬‫فر‬‫است‬‫ه‬‫تنها‬
‫نرخ‬‫د‬‫ر‬‫برخو‬‫باال‬‫مها‬‫نیست‬‫که‬ ‫ب‬‫نرخ‬‫پایون‬‫اشتباه‬‫در‬‫شناسای‬‫ی‬‫ه‬‫ژ‬‫وا‬‫های‬
‫یدی‬ ‫ک‬‫نوز‬‫اهمیت‬‫باالیی‬‫د‬‫ر‬‫دا‬
34

35. 5)‫نتایج‬‫ها‬‫مقایسه‬ ‫و‬‫ها‬ ‫مایش‬‫ز‬‫آ‬
0
20
40
60
80
100
120
Series 1
Series 2
Series 3
Series 4
35

36. 5)‫ها‬‫مقایسه‬ ‫و‬‫ها‬ ‫مایش‬‫ز‬‫آ‬‫نتایج‬
•‫مایش‬‫ز‬‫آ‬2:‫بگورید‬ ‫نظر‬‫در‬ ‫ا‬‫ر‬ ‫هر‬‫ز‬ ‫ایط‬‫ر‬‫ش‬ ‫با‬ ‫یاب‬‫ه‬‫ژ‬‫وا‬ ‫سامانه‬:
–‫وهژدی‬ ‫بردار‬MFDWC
–20‫ای‬‫ر‬‫ب‬ ‫شده‬ ‫عیون‬ ‫مقدار‬wp‫و‬wf
–‫واج‬ ‫بر‬ ‫مبتنی‬ ‫یدی‬ ‫ک‬ ‫های‬ ‫ه‬‫ژ‬‫وا‬ ‫مدل‬
–‫ساده‬ ‫ننده‬ ‫پر‬ ‫مدل‬
–360‫در‬ ‫یدی‬ ‫ک‬ ‫ه‬‫ژ‬‫وا‬1‫و‬ ‫ساعت‬30‫ی‬ ‫مایش‬‫ز‬‫آ‬ ‫گفتار‬‫دقیقه‬
36

37. 5)‫ها‬‫مقایسه‬ ‫و‬‫ها‬ ‫مایش‬‫ز‬‫آ‬‫نتایج‬
•‫مدل‬‫پنهان‬‫مارکوف‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫با‬‫ماتریس‬‫انتقال‬‫نوع‬‫دوم‬‫و‬‫سوم‬
‫بسیار‬‫نزدیک‬‫به‬‫ها‬‫هستند‬‫ت‬‫و‬‫ماتریس‬‫انتقال‬‫دوم‬‫دقبو‬‫ر‬‫مو‬‫ل‬‫تر‬
‫است‬.‫ای‬‫انتخاب‬‫نقش‬‫های‬‫متقابل‬‫نرخ‬‫د‬‫ر‬‫برخو‬‫و‬‫نرخ‬‫اشتباه‬‫ا‬‫ر‬‫در‬
‫ابر‬‫ر‬‫ب‬‫ها‬‫شان‬‫می‬،‫دهد‬‫ماتریس‬‫انتقال‬‫نوع‬‫سوم‬(‫یک‬‫پرش‬‫با‬‫ا‬‫حتمال‬
0.2)‫در‬‫مقادیر‬‫پایون‬‫تر‬‫نرخ‬‫د‬‫ر‬‫برخو‬‫فتار‬‫ر‬‫خوبی‬‫از‬‫خود‬‫شان‬‫م‬‫ی‬
‫دهد‬‫ا‬‫ر‬‫ه‬‫ز‬‫در‬‫ابتدا‬‫مقدار‬‫پایون‬‫ر‬ ‫ام‬‫ر‬‫پا‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬(wp)‫ه‬‫ز‬‫اجا‬
‫تمایل‬‫بیش‬‫از‬‫ه‬‫ز‬‫اندا‬‫به‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫ا‬‫ر‬‫نقض‬‫می‬‫ند‬‫اما‬‫در‬‫مقادیر‬
‫باالتر‬‫نرخ‬‫د‬‫ر‬‫برخو‬‫فتار‬‫ر‬‫ای‬‫ماتریس‬‫انتقال‬‫قابل‬‫ل‬‫قبو‬‫نیس‬‫ت‬.
37

38. 0
20
40
60
80
100
120
Series 1
Series 2
Series 3
Series 4
38

39. •‫مقایسه‬‫دو‬‫مایش‬‫ز‬‫آ‬1‫و‬2‫شان‬‫می‬‫دهد‬‫ه‬‫ایب‬‫ر‬‫ف‬‫موجک‬‫ای‬‫ر‬‫دا‬‫دقت‬
‫باالتر‬‫ی‬‫ناچوز‬‫سبت‬‫به‬‫ایب‬‫ر‬‫ف‬‫ال‬‫ر‬ ‫پس‬‫هستند‬.‫ای‬‫ر‬‫بناب‬‫محلت‬‫ی‬‫ساز‬
‫تبدیل‬‫موجک‬‫و‬‫سطح‬‫دقت‬‫در‬‫مان‬‫ز‬‫و‬‫س‬ ‫فرکا‬‫آن‬‫نتایج‬‫خوبی‬‫ب‬‫دست‬
‫داده‬‫است‬.‫بردار‬‫ایب‬‫ر‬‫ف‬‫موجک‬‫استفاده‬‫شده‬‫در‬‫اینجا‬‫ای‬‫ر‬‫دا‬
‫ی‬ ‫مشکال‬‫است‬‫ه‬‫به‬‫شرح‬‫هر‬‫ز‬‫است‬:
–‫بعد‬‫بردار‬‫وهژدی‬‫د‬‫ر‬‫مو‬‫استفاده‬‫و‬‫وب‬ ‫مط‬‫باالست‬.
–‫حجا‬‫مدل‬‫پنهان‬‫مارکوف‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫و‬‫مدل‬‫پر‬‫ننده‬‫باال‬‫می‬‫د‬‫و‬‫ر‬.
–‫ش‬‫ز‬‫پردا‬‫ی‬ ‫ما‬‫ز‬‫باالی‬‫ای‬‫ر‬‫ب‬‫اج‬‫ر‬‫استخ‬‫وهژدی‬‫ایب‬‫ر‬‫ف‬‫موجک‬‫سبت‬‫به‬‫ایب‬‫ر‬‫ف‬
‫ال‬‫ر‬ ‫پس‬‫نیاز‬‫است‬.
39

40. •‫مایش‬‫ز‬‫آ‬4:‫سامانه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫با‬‫ایط‬‫ر‬‫ش‬‫هر‬‫ز‬:
–‫بردار‬‫وهژدی‬MFCC
–9‫مقدار‬‫عیون‬‫شده‬‫ای‬‫ر‬‫ب‬Wp‫و‬Wf
–‫مدل‬‫واژدان‬‫یدی‬ ‫ک‬‫مبتنی‬‫بر‬‫واج‬
–‫مدل‬‫پر‬‫ننده‬‫بهبود‬‫یافته‬
–360‫ه‬‫ژ‬‫وا‬‫یدی‬ ‫ک‬‫در‬1‫ساعت‬‫و‬30‫دقیقه‬‫گفتار‬‫ی‬ ‫مایش‬‫ز‬‫آ‬
–‫مات‬ ‫ک‬‫یدی‬ ‫ک‬‫با‬‫ماتریس‬‫انتقال‬‫نوع‬2(‫ه‬‫ز‬‫اجا‬‫پرش‬‫از‬‫یک‬‫حالت‬‫با‬‫انتقال‬
0.1)
40

41. •‫مدل‬‫پر‬‫ننده‬‫بهبود‬‫یافته‬‫نتایج‬‫ه‬‫ژ‬‫وا‬‫یابی‬‫ا‬‫ر‬‫به‬‫ر‬‫طو‬‫قابل‬‫مالحظه‬‫ای‬
‫بهبود‬‫داده‬‫است‬.‫دلیل‬‫ای‬‫ایش‬‫ز‬‫اف‬،‫دقت‬‫کاهش‬‫قابل‬‫مالحظه‬‫ن‬‫رخ‬
‫هشدار‬‫اشتباه‬‫در‬‫شخیص‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫در‬‫ابر‬‫ر‬‫ب‬‫نرخ‬‫تقره‬‫با‬‫ثابت‬
‫د‬‫ر‬‫برخو‬‫است‬.‫وقتی‬‫ه‬‫ژ‬‫وا‬‫های‬‫مشابه‬‫به‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫به‬‫عنو‬‫ان‬‫باله‬‫ز‬
‫مدل‬‫شوند‬‫ی‬‫بسیار‬‫از‬‫اشتباه‬‫های‬‫شخیص‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫دی‬‫گر‬‫رخ‬
‫نمی‬‫دهند‬‫و‬‫احتمال‬‫ی‬‫دیگر‬‫رخ‬‫مدل‬‫پر‬‫ننده‬‫ر‬ ‫بیش‬‫می‬‫شود‬.‫ال‬‫بته‬‫ای‬
‫مدل‬‫های‬‫مشابه‬‫به‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫داهت‬‫اوقات‬‫به‬‫ر‬‫فر‬‫سامانه‬‫فتار‬‫ر‬
‫می‬‫نند‬‫و‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫ا‬‫ر‬‫حذف‬‫می‬‫نند‬‫اما‬‫ای‬‫اشتباه‬‫های‬
‫اندک‬‫در‬‫ابر‬‫ر‬‫ب‬‫بهبود‬‫حاشل‬‫از‬‫آن‬‫قابل‬‫چشا‬‫ی‬ ‫پوش‬‫است‬.
41

42. •‫مقایسه‬‫ای‬‫بون‬‫مدل‬‫های‬‫ننده‬ ‫پر‬‫ساده‬‫و‬‫بهبود‬‫یافته‬
–‫ای‬‫ر‬‫بناب‬‫تا‬‫به‬‫اینجای‬‫سامانه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫با‬‫مدل‬‫پر‬‫ننده‬‫بهبود‬‫یافته‬‫و‬‫واژدان‬‫یدی‬ ‫ک‬‫با‬‫اج‬‫ه‬‫ز‬‫ا‬‫یک‬‫پرش‬‫ی‬‫و‬‫ر‬
‫حالت‬‫های‬‫مدل‬‫پنهان‬‫مارکوف‬‫ه‬‫ژ‬‫وا‬‫با‬‫ماتریس‬‫انتقال‬‫نوع‬‫دوم‬(‫احتمال‬‫پرش‬0.1)‫ی‬‫ر‬ ‫به‬‫نتیجه‬‫ا‬‫ر‬‫داده‬
‫است‬.
0
20
40
60
80
100
120
Simple
Improved
42

43. •‫مایش‬‫ز‬‫آ‬5:‫پس‬‫از‬‫اج‬‫ر‬‫استخ‬‫نتایج‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫نوبت‬‫به‬‫پس‬‫ش‬‫ز‬‫پردا‬‫های‬‫عر‬‫هف‬
‫شده‬‫می‬‫سد‬‫ر‬‫ه‬‫ه‬ ‫بوسی‬‫آن‬‫عداد‬‫ه‬‫ژ‬‫وا‬‫های‬‫یدی‬ ‫ک‬‫اشتباه‬‫شخیص‬‫د‬‫اده‬‫شده‬
‫ا‬‫شوند‬.‫در‬‫ادامه‬‫دو‬‫ش‬‫و‬‫ر‬‫پس‬‫ش‬‫ز‬‫پردا‬‫مایش‬‫ز‬‫آ‬‫شده‬‫است‬.‫در‬‫ای‬‫مایش‬‫ز‬‫آ‬
‫سامانه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫با‬‫ایط‬‫ر‬‫ش‬‫هر‬‫ز‬
–‫بردار‬‫وهژدی‬MFCC
–9‫مقدار‬‫عیون‬‫شده‬‫ای‬‫ر‬‫ب‬Wp‫و‬Wf
–‫مدل‬‫واژدان‬‫یدی‬ ‫ک‬‫مبتنی‬‫بر‬‫واج‬
–‫مدل‬‫پر‬‫ننده‬‫بهبود‬‫یافته‬
–360‫ه‬‫ژ‬‫وا‬‫یدی‬ ‫ک‬‫در‬1‫ساعت‬‫و‬30‫دقیقه‬‫گفتار‬‫ی‬ ‫مایش‬‫ز‬‫آ‬
–‫واژدان‬‫یدی‬ ‫ک‬‫با‬‫ماتریس‬‫انتقال‬‫نوع‬2(‫ه‬‫ز‬‫اجا‬‫پرش‬‫از‬‫ی‬‫و‬‫ر‬‫یک‬‫حالت‬‫با‬‫احتمال‬0.1)
43

44. 0
20
40
60
80
100
120
avrage word based post processing
avrage phoneme based post processing
without post processing
44

45. •‫آ‬ ‫طی‬ ‫در‬ ‫اشتباه‬ ‫عداد‬ ‫میانگون‬ ‫و‬ ‫مایش‬‫ز‬‫آ‬ ‫هر‬ ‫د‬‫ر‬‫برخو‬ ‫نرخ‬ ‫مقدار‬ ‫میانگون‬‫مایش‬‫ز‬
‫ها‬
‫آزمایش‬‫ی‬ ‫بررس‬‫مورد‬‫روش‬‫برخورد‬ ‫نرخ‬)%(‫اشتباه‬ ‫تعداد‬
‫آزمایش‬1MFCC78%30
‫آزمایش‬2MFDWC80.7%30
‫آزمایش‬4‫آزمایش‬1+‫یافته‬ ‫بهبود‬ ‫ننده‬ ‫پر‬ ‫مدل‬81.0%28
‫آزمایش‬5‫آزمایش‬4+‫پردازش‬ ‫پس‬
‫ها‬ ‫واژه‬ ‫میانگون‬80.3%26
‫ها‬ ‫واج‬ ‫میانگون‬80.3%25
45

46. •‫مقایسه‬‫با‬‫های‬‫ر‬‫کا‬‫قبلی‬:
.1‫در‬‫سال‬1990(Rose and Paul)‫سامانه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫مبتنی‬‫بر‬‫مدل‬
‫پنهان‬‫مارکوف‬‫ی‬ ‫س‬‫ر‬‫بر‬‫شده‬،‫است‬FOM=66%.‫فضای‬‫ی‬‫کار‬‫آن‬‫به‬
‫شرح‬‫هر‬‫ز‬‫است‬:
•‫مستقل‬‫از‬‫دوهنده‬
•‫گفتار‬‫سمی‬‫ر‬‫خوانده‬‫شده‬‫از‬‫ی‬‫و‬‫ر‬‫ن‬ ‫م‬
•‫عداد‬‫مجموعه‬‫واژدان‬‫یدی‬ ‫ک‬‫ابر‬‫ر‬‫ب‬‫با‬20‫است‬
•‫عداد‬‫واژدان‬‫یدی‬ ‫ک‬‫موجود‬‫در‬‫داده‬‫های‬‫ی‬ ‫مایش‬‫ز‬‫آ‬353‫ه‬‫ژ‬‫وا‬‫است‬.
•‫واژدان‬‫یدی‬ ‫ک‬‫مبتنی‬‫بر‬‫واج‬‫ساخته‬‫شده‬‫اند‬.
•‫از‬‫مدل‬‫پر‬‫ننده‬‫تک‬‫واج‬‫استفاده‬‫شده‬‫است‬.
•‫مدل‬‫پس‬‫مینه‬‫ز‬‫مانند‬‫سکوت‬‫و‬‫نوهز‬‫محیط‬‫نوز‬‫به‬‫مک‬‫مدل‬‫پر‬‫ننده‬‫آمده‬‫است‬.
46

47. 2.‫در‬‫سال‬2005‫مقاله‬‫ای‬‫تحت‬‫عنوان‬‫مقایسه‬‫ه‬‫ژ‬‫وا‬‫یاب‬‫مبتنی‬‫بر‬‫ش‬‫بکه‬
‫التیس‬،‫ی‬ ‫شناس‬‫ز‬‫با‬‫گفتار‬‫پیوسته‬‫با‬‫عداد‬‫واژدان‬‫هاد‬‫ز‬‫و‬‫مدل‬‫های‬
‫آکوستیکی‬‫منتشر‬‫شده‬‫است‬.
•‫داددان‬‫استفاده‬‫شده‬‫گفتار‬‫پیوسته‬‫غور‬‫سمی‬‫ر‬ICSI meetings‫می‬‫باشد‬.
•17‫ه‬‫ژ‬‫وا‬‫یدی‬ ‫ک‬‫انتخاب‬‫شده‬‫ه‬‫جمعا‬‫ای‬‫ر‬‫دا‬33‫فظ‬ ‫ت‬‫می‬‫باشد‬.
•‫مدل‬‫واژدان‬‫یدی‬ ‫ک‬‫و‬‫مدل‬‫پر‬‫ننده‬‫مبتنی‬‫بر‬‫واج‬‫می‬‫باشد‬.
FOM‫روش‬
46.46%Acoustic KWS
58.90%Phoneme Lattice KWS
66.95%LVCSR KWS
47

48. 3.‫در‬‫سال‬2009S. Lubos and T. Jan‫به‬‫ی‬ ‫س‬‫ر‬‫بر‬‫پس‬‫ش‬‫ز‬‫پردا‬
‫ای‬‫ر‬‫ب‬‫کاهش‬‫نرخ‬‫اشتباه‬‫در‬‫شخیص‬‫واژدان‬‫یدی‬ ‫ک‬‫پرداختند‬.
•‫مستقل‬‫از‬‫دوهنده‬
•‫قاب‬‫های‬‫ی‬‫گفتار‬‫با‬‫پنجره‬‫های‬‫همینگ‬25‫میلت‬‫ثانیه‬‫و‬15‫میلت‬‫ثانیه‬‫ی‬ ‫همپوشا‬
‫تهیه‬‫شده‬‫اند‬.
•‫ایب‬‫ر‬‫ف‬‫ال‬‫ر‬ ‫پس‬PLP‫ای‬‫ر‬‫ب‬‫بردار‬‫وهژدی‬‫استفاده‬‫شده‬‫است‬.
48

49. FOM‫زبان‬‫روش‬
80.28‫ی‬ ‫فارس‬‫نامه‬ ‫پایان‬ ‫این‬ ‫پیشنهادی‬‫روش‬
66.60‫ی‬ ‫یس‬ ‫انگ‬Rose and Paul
64.46‫رسمی‬ ‫غور‬ ‫ی‬ ‫یس‬ ‫انگ‬Szoke.Igore,Schwarz.Peter,
Matejaka.Pavel 2005
80.92‫ی‬ ‫یس‬ ‫انگ‬S.Lubos,and T .Jan2009
70.42‫ی‬ ‫فارس‬(‫نامه‬ ‫پایان‬‫در‬ ‫شده‬ ‫ی‬‫ساز‬ ‫پیاده‬)S.Lubos,and T .Jan2009
49

50. ‫شما‬ ‫توجه‬ ‫از‬ ‫شکر‬ ‫با‬
‫پایان‬
50