More Related Content
Viewers also liked
Viewers also liked (18)
Hmm_em
- 4. 𝑺 𝟐𝑺 𝟏 𝒂 𝟏𝟐 𝒂 𝟐𝟏 𝒂 𝟐𝟐𝒂 𝟏𝟏 مارکوف زنجیره: 𝐴 = 𝑎11 𝑎21 𝑎12 𝑎22 F r o m To:گذ ماتریسر 4
- 5. 𝒂 𝟏𝟐 𝒂 𝟐𝟏 𝒂 𝟐𝟐𝒂 𝟏𝟏 مارکوف مخفی مدل: 𝐴 = 𝑎11 𝑎21 𝑎12 𝑎22 𝒗 𝟏 𝒗 𝟐 𝒃 𝟏𝟏 𝒃 𝟏𝟐 𝒗 𝟏 𝒗 𝟐 𝒃 𝟐𝟏 𝒃 𝟐𝟐 𝑏11 𝑏12 𝑏21 𝑏22 𝐵 = 𝑏11 𝑏21 𝑏12 𝑏22:ویژگیگیر اندازه قابل هایی V= 𝑣1, 𝑣2 :مشاهدات دنباله O= 𝑣1, 𝑣2, 𝑣2, 𝑣2, 𝑣1, 𝑣2, … :مخفی پارامتر 𝑠𝑡𝑎𝑡𝑒 ≜ 𝑠 𝜃 = 𝐴 𝐵 𝜋 :مجهول پارامتر 5 𝜋𝑖 ≜ 𝑝 𝑠𝑡=0 = 𝑖initial state: 5
- 6. 6 𝑺 𝟐𝑺 𝟏 𝒂 𝟏𝟐 𝒂 𝟐𝟏 𝒂 𝟐𝟐𝒂 𝟏𝟏 𝐴 = 𝑎11 𝑎21 𝑎12 𝑎22 F r o m :گذ ماتریسر مسئله: بینی پیشstateاساس بر بعدstateفعلی فرضیات: فوق مدل داشتن To
- 7. 7 مثال:(فروشگاه) 𝑩𝑨 𝟏𝟎% 𝑪 𝟐𝟎𝟎 𝟏𝟐𝟎 𝟏𝟖𝟎 2𝟎% 𝟏𝟎% 𝟏𝟎% 𝟏𝟎% 𝟑𝟎% 𝟔𝟎% 𝟖𝟎% 𝟕𝟎% 200 500 120 500 180 500 Current State 0.404 0.316 0.280 Next State 0.8 0.2 0.1 0.1 0.7 0.3 0.1 0.1 0.6 Transition Probabilities 𝟎. 𝟖 𝑨 𝑩 𝑪 𝟎. 𝟏 𝟎. 𝟏 𝟎. 𝟐 𝟎.1 𝑨 𝑩 𝑪 𝟎.7 𝟎.3 𝟎.1 𝟎.6 × = Transition Probabilities
- 8. 8 مثال:(فروشگاه) 𝑩𝑨 𝟏𝟎% 𝑪 𝟐𝟎𝟎 𝟏𝟐𝟎 𝟏𝟖𝟎 2𝟎% 𝟏𝟎% 𝟏𝟎% 𝟏𝟎% 𝟑𝟎% 𝟔𝟎% 𝟖𝟎% 𝟕𝟎% 200 500 120 500 180 500 0.404 0.316 0.280 0.8 0.2 0.1 0.1 0.7 0.3 0.1 0.1 0.6 :توجه 𝟎. 𝟖 𝑨 𝑩 𝑪 𝟎. 𝟏 𝟎. 𝟏 𝟎. 𝟐 𝟎.1 𝑨 𝑩 𝑪 𝟎.7 𝟎.3 𝟎.1 𝟎.6 × = 𝟏 + 𝟏 + 𝟏 + 𝟏 + 𝟏 +
- 9. 9 مثال:(احتماالت کمک به) 𝑺𝒖𝒏𝒏𝒚𝑹𝒂𝒊𝒏𝒚 𝟎. 𝟒 𝟎. 𝟐 𝟎. 𝟖𝟎. 𝟔 0.6 0.2 0.4 0.8 0.5 0.5 = ? 𝑝 𝑅1 = 𝑝 𝑅1 | 𝑅0 𝑝 𝑅0 + 𝑝 𝑅1 | 𝑆0 𝑝 𝑆0 = 0.6 × 0.5 + 0.2 × 0.5 = 0.4 سؤال:چرا؟ زنجیر هرstateیک به فقطstateخود قبل است وابسته.زنج یک مشابه ًادقیقیر
- 10. 10 𝑺𝒖𝒏𝒏𝒚𝑹𝒂𝒊𝒏𝒚 𝑯 𝑮 𝟎. 𝟒 𝟎. 𝟔 𝑯 𝑮 𝟎. 𝟗 𝟎. 𝟏 مثال: H : Happy G : Grumpy احتمال ،است شده مشاهده شاد فردی باشد؟ بارانی روز آن آنکه 𝑅0 𝑆0 = 0.5 0.5 𝑝 𝑅1 | 𝐻1 = 𝑝 𝐻1 | 𝑅1 𝑝 𝑅1 𝑝 𝐻1 𝟎. 𝟒 𝟎. 𝟐 𝟎. 𝟖𝟎. 𝟔 = 0.4 × 0.4 0.7 = 0.229 = 0.4قبل مثال 𝑝 𝐻1 = 𝑝 𝐻1 | 𝑅1 𝑝 𝑅1 + 𝑝 𝐻1 | 𝑆1 𝑝 𝑆1 = 0.4 × 0.4 + 0.9 × 0.6 = 0.70 1 − 0.4 = 0.6
- 11. 11 𝒂 𝟏𝟐 𝒂 𝟐𝟏 𝒂 𝟐𝟐𝒂 𝟏𝟏 𝒗 𝟏 𝒗 𝟐 𝒃 𝟏𝟏 𝒃 𝟏𝟐 𝒗 𝟏 𝒗 𝟐 𝒃 𝟐𝟏 𝒃 𝟐𝟐 مسئله: مدل پارامترهای تخمین(مدل ساخت) فرضیات: مشاهدات دنباله داشتن 𝐴 = 𝑎11 𝑎21 𝑎12 𝑎22 𝐵 = 𝑏11 𝑏21 𝑏12 𝑏22 𝜋𝑖 ≜ 𝑝 𝑠𝑡=0 = 𝑖 𝜃 = 𝐴 𝐵 𝜋 O= 𝑣1, 𝑣2, 𝑣2, 𝑣2, 𝑣1, 𝑣2, …
- 12. 12 مارکوف تعاریف 1. State transition probability : 𝐴 = 𝑎𝑖𝑗 = 𝑝 𝑆𝑡 = 𝑗|𝑆𝑡−1 = 𝑖 2. Observation probability : 𝑏𝑖 𝑣 𝑘 = 𝑝 𝑂𝑡 = 𝑣 𝑘|𝑆𝑡 = 𝑖 3. Initial state : 𝜋𝑖 ≜ 𝑝 𝑠𝑡=0 = 𝑖 4. Measurement or Emission or Visible : 𝑉 = 𝑣1, 𝑣2, 𝑣3, … , 𝑣 𝐿 5. Observation sequence : 𝑉 = 𝑜1, 𝑜2, 𝑜3, … 6. Hidden parameter : 𝑠𝑡𝑎𝑡𝑒 ≜ 𝑠 7. Unknown parameters : θ = 𝐴, 𝐵, 𝜋
- 13. 13 فرضمارکوف های .1هرstateیک به فقطstateوابسته خود قبلاست: 𝑝 𝑆𝑡|𝑆𝑡−1, 𝑂𝑡−1, … , 𝑆1, 𝑂1 = 𝑝 𝑆𝑡|𝑆𝑡−1 .2است مستقل قبل خروجی از فعلی خروجی(یکدیگ از مشاهدات استقاللر:) 𝑝 𝑜𝑡|𝑠 𝑇, 𝑜 𝑇, 𝑠 𝑇−1, 𝑜 𝑇−1, … , 𝑠𝑡+1, 𝑜𝑡+1, 𝑠𝑡, 𝑠𝑡−1, 𝑜𝑡−1, … , 𝑠1, 𝑜1 = 𝑝 𝑂𝑡|𝑆𝑡 ⟹ 𝑝 𝑂|𝑆 = 𝑡=1 𝑇 𝑝 𝑂𝑡|𝑆𝑡
- 14. 14 مارکوف قیود 1. 2. 3. 𝐴 = 𝑎11 𝑎21 𝑎12 𝑎22 𝐵 = 𝑏11 𝑏21 𝑏12 𝑏22 𝜋𝑖 ≜ 𝑝 𝑠𝑡=0 = 𝑖 𝟏 + 𝟏 + ⟹ 𝑗 𝑎𝑖𝑗 = 1 ⟹ 𝑘 𝑏𝑖 𝑉𝑘 = 1 𝟏 + 𝟏 + ⟹ 𝑖 𝜋𝑖 = 1
- 15. 15 مجهول پارامترهای تخمین E-Step: 𝑄 𝜃, 𝜃 𝑛 = 𝐸𝑆|𝑂;𝜃 𝑛 log 𝑝 𝑂, 𝑆; 𝜃 M-Step: 𝜃∗ = 𝑎𝑟𝑔𝑚𝑎𝑥 𝜃 𝑄 𝜃, 𝜃 𝑛 EM (Expectation Maximization) حل راه:از استفادهالگوریتمEM
- 16. 16 ریاضی امید کردن بیشینه(EM) E-Step: 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 1. 𝒑 𝑶, 𝑺; 𝜽 2. 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 3. 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽
- 17. 17 ریاضی امید کردن بیشینه(EM) 1. 𝒑 𝑶, 𝑺; 𝜽 𝒑 𝑶, 𝑺; 𝜽 = 𝒑 𝑶|𝑺 𝒑 𝑺 نمونه یک برای: 𝒑 𝑶 𝒕, 𝑺 𝒕; 𝜽 = 𝒑 𝑶 𝒕|𝑺 𝒕 = 𝒋 𝒑 𝑺 𝒕 = 𝒋 تعریف همان𝑏𝑖 𝑣 𝑘است. حالت در بودن احتمالjُما 𝒑 𝑺 𝒕 = 𝒋|𝑺 𝒕−𝟏 = 𝒊تعریف همان𝑎𝑖𝑗است. مارکوف اول فرض به بنا: اولیه حالت کنیم فرض اگر حال𝜋0داریم ،است:𝒑 𝑺 𝒕 = 𝒋 = 𝝅 𝟎 𝒂𝒊𝒋 E-Step:
- 18. 18 ریاضی امید کردن بیشینه(EM) 1. 𝒑 𝑶, 𝑺; 𝜽 𝒑 𝑶, 𝑺; 𝜽 = 𝒑 𝑶|𝑺 𝒑 𝑺 مارکوف دوم فرض به بنا: 𝒑 𝑶|𝑺 𝒑 𝑺 = 𝒕=𝟏 𝑻 𝒑 𝑶 𝒕|𝑺 𝒕 = 𝒋 𝒑 𝑺 𝒕 = 𝒋 = 𝝅 𝟎 𝒕=𝟏 𝑻 𝒂𝒊𝒋 𝒃𝒊 𝒗 𝒌 به متغیرها وابستگی بر تأکید برایtدهیم می تغییر را نمایش ،نحوه: E-Step:
- 19. 19 ریاضی امید کردن بیشینه(EM) 1. 𝒑 𝑶, 𝑺; 𝜽 𝒑 𝑶, 𝑺; 𝜽 = 𝒑 𝑶|𝑺 𝒑 𝑺 مارکوف دوم فرض به بنا: 𝒑 𝑶|𝑺 𝒑 𝑺 = 𝒕=𝟏 𝑻 𝒑 𝑶 𝒕|𝑺 𝒕 = 𝒋 𝒑 𝑺 𝒕 = 𝒋 = 𝝅 𝟎 𝒕=𝟏 𝑻 𝒂𝒊𝒋 𝒃𝒊 𝒗 𝒌 = 𝝅 𝟎 𝒕=𝟏 𝑻 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 𝒃 𝑺 𝒕 𝒐 𝒕 E-Step:
- 20. 20 ریاضی امید کردن بیشینه(EM) 2. 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 = 𝒍𝒐𝒈 𝒑 𝑶|𝑺 𝒑 𝑺 = 𝒍𝒐𝒈 𝝅 𝟎 𝒕=𝟏 𝑻 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 𝒃 𝑺 𝒕 𝒐 𝒕 = 𝒍𝒐𝒈 𝝅 𝟎 + 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 + 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒃 𝑺 𝒕 𝒐 𝒕 E-Step:
- 21. 21 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 = 𝑆 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 𝒑 𝑺|𝑶; 𝜽 𝒏 E-Step:
- 22. 22 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 = 𝑆 𝒍𝒐𝒈 𝝅 𝟎 + 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 E-Step:
- 23. 23 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 = 𝑺 𝒍𝒐𝒈 𝝅 𝟎 𝒑 𝑺|𝑶; 𝜽 𝒏 + 𝑺 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 𝒑 𝑺|𝑶; 𝜽 𝒏 + 𝑺 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒃 𝑺 𝒕 𝒐 𝒕 𝒑 𝑺|𝑶; 𝜽 𝒏 E-Step:
- 24. 24 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 E-Step: 𝒕𝒉𝒆 𝟏 𝒔𝒕 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝑺 𝒍𝒐𝒈 𝝅 𝟎 𝒑 𝑺|𝑶; 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒍𝒐𝒈 𝝅𝒊 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏
- 25. 25 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 E-Step: 𝒕𝒉𝒆 𝟐 𝒏𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝑺 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂 𝑺 𝒕−𝟏 𝑺 𝒕 𝒑 𝑺|𝑶; 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒋=𝟏 𝑵 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂𝒊𝒋 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏
- 26. 26 ریاضی امید کردن بیشینه(EM) 3. 𝑸 𝜽, 𝜽 𝒏 = 𝑬 𝑺|𝑶;𝜽 𝒏 𝒍𝒐𝒈 𝒑 𝑶, 𝑺; 𝜽 E-Step: 𝒕𝒉𝒆 𝟑 𝒓𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝑺 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒃 𝑺 𝒕 𝒐 𝒕 𝒑 𝑺|𝑶; 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒃𝒊 𝒐 𝒕 𝒑 𝑺 𝒕 = 𝒊 |𝑶; 𝜽 𝒏
- 27. 27 ریاضی امید کردن بیشینه(EM) M-Step: 𝜽∗ = 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝑸 𝜽, 𝜽 𝒏 1. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟏 𝒔𝒕 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 2. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟐 𝒏𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 3. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟑 𝒓𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 تنهای به را جمله سه از کدام هر که است آن معادل ،فوق عبارت کردن بیشینهی کنیم بیشینه:
- 28. 28 ریاضی امید کردن بیشینه(EM) 1. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟏 𝒔𝒕 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝒕𝒉𝒆 𝟏 𝒔𝒕 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒍𝒐𝒈 𝝅𝒊 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏 قید و الگرانژ ضرایب روش از استفاده با𝒊 𝝅𝒊 = 𝟏داریم: 𝝏 𝝏𝝅𝒊 𝒊=𝟏 𝑵 𝒍𝒐𝒈 𝝅𝒊 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏 + ℷ 𝒊=𝟏 𝑵 𝝅𝒊 − 𝟏 = 𝟎
- 29. 29 ریاضی امید کردن بیشینه(EM) 1. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟏 𝒔𝒕 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝝅𝒊 = 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏
- 30. 30 ریاضی امید کردن بیشینه(EM) 2. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟐 𝒏𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝒕𝒉𝒆 𝟐 𝒏𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒋=𝟏 𝑵 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂𝒊𝒋 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 قید و الگرانژ ضرایب روش از استفاده با𝒋 𝒂𝒊𝒋 = 𝟏داریم: 𝝏 𝝏𝒂𝒊𝒋 𝒊=𝟏 𝑵 𝒋=𝟏 𝑵 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒂𝒊𝒋 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 + ℷ 𝒊=𝟏 𝑵 𝒂𝒊𝒋 − 𝟏 = 𝟎
- 31. 31 ریاضی امید کردن بیشینه(EM) 2. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟐 𝒏𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝒂𝒊𝒋 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊|𝑶; 𝜽 𝒏
- 32. 32 ریاضی امید کردن بیشینه(EM) 3. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟑 𝒓𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝒕𝒉𝒆 𝟑 𝒓𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 = 𝒊=𝟏 𝑵 𝒕=𝟏 𝑻 𝒍𝒐𝒈 𝒃𝒊 𝒐 𝒕 𝒑 𝑺 𝒕 = 𝒊 |𝑶; 𝜽 𝒏 قید و الگرانژ ضرایب روش از استفاده با𝒌 𝒃𝒊 𝑽 𝒌 = 𝟏مشاهداتی فقط اینکه و مقدار درkُمینابرابر که کنندمی شرکت احتمال𝒗 𝒌باشندبرای بهینه مقدار ، 𝒃𝒊 𝒌بصورتبدست زیرآیدمی:
- 33. 33 ریاضی امید کردن بیشینه(EM) 3. 𝒂𝒓𝒈𝒎𝒂𝒙 𝜽 𝟑 𝒓𝒅 𝒕𝒆𝒓𝒎 𝒐𝒇 𝑸 𝜽, 𝜽 𝒏 M-Step: 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏
- 34. 34 ریاضی امید کردن بیشینه(EM) 𝝅𝒊 = 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏 بود خواهند زیر بصورت تخمین باز روابط ،بنابراین: 𝒂𝒊𝒋 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊|𝑶; 𝜽 𝒏 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏
- 35. 35 ریاضی امید کردن بیشینه(EM) 𝝅𝒊 = 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏 𝒂𝒊𝒋 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊|𝑶; 𝜽 𝒏 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 بدنبال باید ،تخمین باز روابط به توجه با اکنون𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏باشیم:
- 36. 36 ریاضی امید کردن بیشینه(EM) 𝜸𝒊 𝒕 ≜ 𝒑 𝑺 𝒕 = 𝒊 | 𝑶; 𝜽 𝒏 متغیر𝛄:در بودن احتمالحالتiدرزمانtحالت دنباله برایOبصورت که ،است می تعریف زیرشود. در کهآن: 𝒑 𝑺 𝒕 = 𝒊 | 𝑶; 𝜽 𝒏 = 𝒑 𝑶, 𝑺 𝒕 = 𝒊; 𝜽 𝒏 𝒑 𝑶; 𝜽 𝒏 = 𝒑 𝑶, 𝑺 𝒕 = 𝒊; 𝜽 𝒏 𝒋=𝟏 𝑵 𝒑 𝑶, 𝑺 𝒕 = 𝒊; 𝜽 𝒏 متغیر ،روابط حجم کاهش برای𝛄کنیم می تعریف:
- 37. 37 ریاضی امید کردن بیشینه(EM) بدلیلشرطی استقاللمارکف(شرطی استقالل+مارکوف دوم فرض: ) 𝒑 𝑶, 𝑺 𝒕 = 𝒊; 𝜽 𝒏 = 𝒑 𝒐 𝟏, . . , 𝒐 𝒕 , 𝑺 𝒕 = 𝒊; 𝜽 𝒏 𝒑 𝒐 𝒕+𝟏, … , 𝒐 𝑻|𝑺 𝒕 = 𝒊; 𝜽 𝒏 ≜ 𝛼𝑖 𝑡 ≜ 𝛽𝑖 𝑡 بنابراین: 𝒑 𝑶, 𝑺 𝒕 = 𝒊; 𝜽 𝒏 = 𝜶𝒊 𝒕 𝜷𝒊 𝒕
- 38. 38 ریاضی امید کردن بیشینه(EM) 𝜸𝒊 𝒕 = 𝜶𝒊 𝒕 𝜷𝒊 𝒕 𝒋=𝟏 𝑵 𝜶𝒋 𝒕 𝜷𝒋 𝒕 بنابراین:
- 39. 39 ریاضی امید کردن بیشینه(EM) مقدار𝝅𝒊کرد بازنویسی زیر بصورت توان می را: 𝝅𝒊 = 𝒑 𝑺 𝒕 = 𝒊 | 𝑶; 𝜽 𝒏 = 𝒑 𝑶, 𝑺 𝒕=𝟎 = 𝒊; 𝜽 𝒏 𝒑 𝑶; 𝜽 𝒏 = 𝜸𝒊 𝟏
- 40. 40 ریاضی امید کردن بیشینه(EM) مقدار𝒃𝒊 𝒌کرد بازنویسی زیر بصورت توان می را: 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 = 𝒕=𝟏 𝑻 𝜸 𝒊 𝒕 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝜸 𝒊 𝒕
- 41. 41 ریاضی امید کردن بیشینه(EM) 𝝅𝒊 = 𝒑 𝑺 𝒕=𝟎 = 𝒊|𝑶; 𝜽 𝒏 𝒂𝒊𝒋 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕−𝟏 = 𝒊|𝑶; 𝜽 𝒏 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝒑 𝑺 𝒕 = 𝒊|𝑶; 𝜽 𝒏 محاسبه فقط ،تخمین باز روابط به توجه با𝒑 𝑺 𝒕−𝟏 = 𝒊,𝑺 𝒕 = 𝒋|𝑶; 𝜽 𝒏میماند باقی:
- 42. 42 ریاضی امید کردن بیشینه(EM) 𝝃𝒊𝒋 𝒕 ≜ 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋 | 𝑶; 𝜽 𝒏 متغیر𝛏:احتمالبودندرحالتiدرزمانt-1وحالت درjزمان درtکه ،است بصورتزیرمی تعریفشود. = 𝒑 𝑺 𝒕−𝟏 = 𝒊, 𝑺 𝒕 = 𝒋 , 𝑶; 𝜽 𝒏 𝒑 𝑶; 𝜽 𝒏 = 𝒑 𝒐 𝟏, . . , 𝒐 𝒕−𝟏 , 𝑺 𝒕−𝟏 = 𝒊; 𝜽 𝒏 𝒑(𝑶 𝒕, 𝑺 𝒕 = 𝒋; 𝜽 𝒏) 𝒑 𝒐 𝒕+𝟏, … , 𝒐 𝑻|𝑺 𝒕 = 𝒋; 𝜽 𝒏 𝒑 𝑶; 𝜽 𝒏 متغیر ،روابط حجم کاهش برای𝛏کنیم می تعریف را: اسالید مشابه37:
- 43. 43 ریاضی امید کردن بیشینه(EM) 𝒑 𝒐 𝟏, . . , 𝒐 𝒕−𝟏 , 𝑺 𝒕−𝟏 = 𝒊; 𝜽 𝒏 𝒑(𝑶 𝒕, 𝑺 𝒕 = 𝒋; 𝜽 𝒏) 𝒑 𝒐 𝒕+𝟏, … , 𝒐 𝑻|𝑺 𝒕 = 𝒋; 𝜽 𝒏 𝒑 𝑶; 𝜽 𝒏 𝜶𝒊 𝒕 − 𝟏 𝜷𝒋 𝒕 اسالید مشابه17 𝒑 𝑶 𝒕, 𝑺 𝒕; 𝜽 = 𝝅 𝟎 𝒂𝒊𝒋 𝒃𝒋 𝒐 𝒕
- 44. 44 ریاضی امید کردن بیشینه(EM) 𝝃𝒊𝒋 𝒕 ≜ 𝜶𝒊 𝒕 − 𝟏 𝝅 𝟎 𝒂𝒊𝒋 𝒃𝒋 𝒐 𝒕 𝜷𝒋 𝒕 𝒑 𝑶; 𝜽 𝒏 بنابراین: = 𝜶𝒊 𝒕 − 𝟏 𝒂𝒊𝒋 𝒃𝒋 𝒐 𝒕 𝜷𝒋 𝒕 𝒊=𝟏 𝑵 𝒋=𝟏 𝑵 𝜶𝒊 𝒕 − 𝟏 𝒂𝒊𝒋 𝒃𝒋 𝒐 𝒕 𝜷𝒋 𝒕
- 45. 45 ریاضی امید کردن بیشینه(EM) بصور ،شده تعریف متغیرهای برحسب را تخمین باز روابط توان می اکنونزیر ت کرد بازنویسی: 𝝅𝒊 = 𝜸𝒊 𝟏 𝒂𝒊𝒋 = 𝒕=𝟏 𝑻−𝟏 𝝃𝒊𝒋 𝒕 𝒕=𝟏 𝑻−𝟏 𝜸𝒊 𝒕 𝒃𝒊 𝒌 = 𝒕=𝟏 𝑻 𝜸𝒊 𝒕 𝜹 𝒐 𝒕,𝒗 𝒌 𝒕=𝟏 𝑻 𝜸𝒊 𝒕
- 46. 46 الگوریتم توان می اکنونEMبصورت مارکوف مخفی مدل پارامترهای تخمین برای را کرد خالصه زیر( :است معروف ولش بام الگوریتم به الگوریتم این) ولش بام الگوریتم(BaumWelch:)
- 48. 𝑺 𝟏 𝑺 𝟏 𝑺 𝟏 واج یک آوای کردن مدل از مثال؛ یک: Ǻایست غیر فرایندی گفتار سیگنالاست ان. Ǻپنجره به سیگنال تبدیل از بعدمی فرض که هاییآ در سیگنال کنیمایستان ن پنجره این از کدام هر ،استمی نظر در مارکوف مدل حالت یک را هاگیریم. Ǻمی را ویژگی بردارهای دنبالهقطعه فرایندی توانکرد فرض ایستان ای. 48
- 49. واج بازشناسی در مارکوف مخفی مدل از استفاده: .1آموزش فاز: فرضکنیدزبانموردنظردارای44واج+1واجبرایسکوت=(45واج) باشد.بنابراینباید45مدلمخفیمارکوفایجادکرد.کهًالمعموبرایهر مدل3حالتدرنظرمیگیرند. حالبااستفادهازدادههایآموزشوبهکمکالگوریتمبام،ولش پارامترهایمدلراتخمینمیزنیم. 49
- 51. 51 1. Fundamental of Speech Recognition _ Lawr 2. A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models _ Jeff A. Bilmes 3. Tutorial on Hidden Markov Models _ www.Kingston.ac.uk/dirc 4. www.youtube.com/watch?v=5araDjcBHMQ 5. www.youtube.com/playlist?list=PLX2gX-ftPVXWgcF0WATMDr -AfvfaYjJZ3 6. www.youtube.com/playlist?list=PLKG3ExuC02lsnZUJDdO lYJd5CRe3otzq1