Įžanga į Paslėptą Markovo Modelį

Paslėptas Markovo Modelis Įžanga Maksim Norkin, ISK-08 Vilniaus Gedimino Technikos Universitetas Elektronikos fakultetas 2011 m. gruodžio 17 d.maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Dirbtinio intelekto sistemos apžvalgamaksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Savybių erdvė I Duomenų grupės savybių erdvėje gerai viena nuo kitos atskirtos; Stairs up Stairs down 6 Walking Standing 4 2 Discriminant 3 0 −2 −4 5 0 8 2 4 6 −5 −4 −2 0 −6 Discriminant 2 Discriminant 1maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Savybių erdvė II Duomenų grupės savybių erdvėje blogai viena nuo kitos atskirtos; Stairs up Stairs down Walking 6 Standing 4 2 Discriminant 3 0 −2 −4 −4 −2 −6 0 2 5 4 3 2 1 4 0 −1 −2 −3 −4 −5 Discriminant 2 Discriminant 1maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Mašininis apmokymas I Vadovu paremtas; Klasiﬁkavimas; Duomenys yra sužymėti; Vadovu neparemtas; Grupavimas; Duomenys yra visiškai nesužymėti; Dalinai vadovu paremtos; Maža duomenų dalis yra sužymėti, didelė dalis duomenų yra nesužymėti;maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas I Stebimas Markovo Modelis P [qt = Sj |qt−1 = Si , qt−2 = Sk , · · · ] (1) = P [qt = Sj |qt−1 = Si ] (2) aij = P [qt = Sj |qt−1 = Si ] (3)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas II Ką mes galime nuveikti su duotu modeliu, žinodami perėjimo tikimybes? Spėti ateinančių dienų orus; Spėti kiek dienų truks saulėtas oras;maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas III Monetos metimo eksperimentas; Žinomas tik eksperimento rezultatas; O = O1 O2 O3 O4 · · · OT = HHHTH · · · T (4) Klausimas - kokia Markovo grandimi mes galima pakartoti sekantį eksperimentą?maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas IV Vienos monetos grandis; O = HHTT · · · T (5) S = HHT T · · · T (6)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas V Dviejų monetų grandis; O = HHTT · · · T (7) S = 1221 · · · 1 (8)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas VI Tryjų monetų grandis; O = HHTT · · · T (9) S = 1323 · · · 1 (10)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Diskretinis Markovo procesas VII Markovo grandis projektuojama remiantis konkrečiomis žiniomis apie modeliuojama sistemą; Ankščiau paminėtos grandinės yra pilnai sujungtos (ergodinės); Grandinės struktūra yra labai lanksti ir nebūtinai turi būti pilnai sujungta;maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Paslėptas Markovo modelis I Modelis aprašomas: N - būsenų skaičius (arba grandines mazgų skaičius); M - būsenos stebėjimo simbolių skaičius (arba įėjimo dimensijų skaičius); A = {aij } - būsenų perėjimo tikimybių matrica; aij = P [qt+1 = Sj |qt = Si ], 1 ≤ i, j ≤ N (11) N aij = 1 (12) j=1maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Paslėptas Markovo modelis II B = {bj (k)} - stebėjimo tikimybės pasiskirstymas, esant būsenai j bj (k) = P [vk at t|qt = Sj ], 1 ≤ j ≤ N, 1 ≤ k ≤ M (13) π = {πi } pradinis būsenų tikimybių pasiskirstymas πi = P [q1 = Si ] (14) Trumpai, Paslėptas Markovo modelis aprašomas: λ = (π, A, B); (15)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Viterbi kelias I Viterbi kelio algoritmas yra naudojamas, norint sužinoti kokios sistemos būsenos Q = {q1 q2 q3 · · · qT } yra labiausiai tikėtinos, turint stebėjimo rezultatus O = {O1 O2 · · · OT } Reikia įsivesti naują parametrą, kuris nusakytų didžiausia būsenos tikimybę laiko momentu t δt (i) = max P [q1 q2 · · · qt = i, O1 O2 · · · Ot |λ] (16) q1 ,q2 ,···,qt−1maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Viterbi kelias II Iniciacija δ1 (i) = πi bi (O1 ), 1 ≤ i ≤ N (17) ψ1 (i) = 0 (18) Rekursija δt (j) = max [δt−1 aij ]bj (Ot ), 2 ≤ t ≤ T, 1 ≤ j ≤ N (19) 1≤i≤N ψt (j) = arg max [δt−1 (i)aij ], 2 ≤ t ≤ T, 1 ≤ j ≤ N (20) 1≤i≤Nmaksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Viterbi kelias III Nutraukimas ∗ qT = arg max [δT (i)] (21) 1≤i≤N Kelio atstatymas ∗ ∗ qt = ψt+1 (qt+1 ), t = T − 1, T − 2, · · ·, 1 (22)maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Praktika Plačiai naudojamas garso atpažinimo sistemose; Galima klasiﬁkuoti duomenis, kurie savybių erdvėje yra visiškai neatsiskyrę; Yra daug plėtinių (Hierarchinis Paslėptas Markovo modelis, ...); Matlab implementacija parašyta Kevin Murphy, 1998 metais (palaiko ne tik diskretinius, bet ir vientisus stebėjimus); Geras straipsnis gilinti savo žinias parašytas Lawrence R. Rabiner, 1989 metais;maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Ačiū už dėmesį! Klausimai?maksim.norkin@ieee.org VGTU EFPaslėptas Markovo Modelis Įžanga

Įžanga į Paslėptą Markovo Modelį

by Dummas on Dec 17, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Įžanga į Paslėptą Markovo Modelį — Presentation Transcript