lekcije id 5crna kutija

1. Modeliranje
1
Parametarska identifikacija
Pod pojmom parametarske identifikacije podrazumeva se estimacija (procena) konačnog
broja nepoznatih parametara u unapred usvojenoj strukturi modela sistema. Izrada modela
sistema nikad nije sama po sebi cilj, već se uvek ima u vidu namena dobijenog modela.
Parametarski modeli se koriste za analizu procesa, njihovu simulaciju i projektovanje kontrolera
(sistema upravljanja). Zadatak analize je da se predvidi ponašanje procesa pod određenim
okolnostima i analiza se obično zasniva na računarskoj simulaciji. Sa druge strane, zadatak
sinteze je da se projektuje kontroler, koji treba da obezbedi da se proces ponaša u skladu sa
postavljenim zahtevima. Izvršenje bilo kog od ovih zadataka pretpostavlja postojanje adekvatnog
modela procesa koji je u stanju da uspešno predvidi ponašanje procesa pod zadatim uslovima
rada. Sa ovakvog stanovišta prirodan kriterijum za ocenu valjanosti modela predstavlja
sposobnost modela da predviđa ponašanje procesa pod zadatm okolnostima. Ovakav verbalni
kriterijum potrebno je prevesti na jezik matematike, kako bi se definisao matematički kriterijum
ili mera kojom će se numerički iskazati kapacitet predikcije parametarskog modela. Jedan
mogući pristup sastoji se u izračunavanju budućih izlaza (odziva) procesa za zadate uslove rada
(zadate početne uslove, pobudne ulazne signale i poremećaje) i njihovo poređenje sa stvarnim
izmerenim izlazima procesa, koji su dobijeni pod istim okolnostima. Ukoliko su greške između
izmerenih izlaza i njihovih predikcija dovoljno male, takav model se može smatrati adekvatnim.
Metode identifikacije koje se zasnivaju na ovakvom principu nazivaju se metode greške
predikcije (odgovarajući termin na engleskom jeziku glasi Prediction Error Methods ili skraćeno
PEMs), pošto je greška predikcije, tj. razlika između izmerene i prediktovane vrednosti, usvojena
za meru ili kriterijum valjanosti, odnosno kriterijum za ocenu kvaliteta ponašanje modela u
odnosu na realan sistem. Da bismo formalizovali izloženi koncept, uvedimo sledeće oznake.
Neka ( )ky označava izmereni izlaz procesa u diskretnom trenutku vremena kTtk = , Zkε , gde je
T - perioda odabiranja, odnosno vremenski interval između dva sukcesivna ekvidistantna
diskretna merenja. Pretpostavimo, takođе, da je celokupna prošlost sistema do trenutka k
poznata na osnovu raspoložive merne informacije ( )iy , 1−≤ ki , te da želimo da predvidimo
budući izlaz sistema ( )1+ky u trenutku 1+k . Ovakva predikcija naziva se jednokoračna
predikcija izlaza unapred (eng. one-step ahead prediction) i označava sa ( )kky 1ˆ + . Ako se u
trenutku 1+k izmeri izlaz i ovo merenje označi sa ( )1+ky , tada je greška predikcije (eng.
prediction error)
( ) ( ) ( )kkykykk 1ˆ11 +−+=+ε .
Na osnovu koncepta greške predikcije, model sistema je dobar ukoliko je ova greška
mala. Međutim, mala greška predikcije u jednom trenutku ne implicira isto tako malu vrednost u
nekom narednom trenutku. Zato je bolje kao kriterijum koristiti sekvencu (niz) grešaka
predikcija, a da bi se sprečilo da se efekti pozitivnih i negativnih grešaka potru, uobičajeno da se
posmatra sekvenca (niz) kvadrata grešaka predikcija. Dalje je prirodno da se kao empirijski
kriterijum za ocenu valjanosti modela usvoji aritmetička sredina grešaka predikcija na
posmatranom intervalu Nk ,...,2,1=
( )∑=
−=
N
k
N kk
N
J
1
2
1
1
ε

2. Modeliranje
2
U skladu sa usvojenim kriterijumom, model ima dobar kapacitet predikcije ukoliko je
brojna vrednost kriterijuma NJ dovoljno mala pozitivna veličina. Takođe, najbolji (optimalan)
model je onaj koji minimizira usvojeni kriterijum (sumu kvadrata grešaka predikcija). Na taj
način se zadatak parametarske identifikacije može postaviti kao optimizacioni (minimizacioni)
problem.
Kao što je istaknuto u prethodnom poglavlju, parametarski model se sastoji od
odgovarajuće strukture (na primer, ARX, ARMAX, itd.), skupa celobrojnih promenljivih
(označavaju redove odgovarajućih polinoma u usvojenoj strukturi, eventualno vreme kašnjenja,
itd.) i skupa realnih promenljivih (označavaju nepoznate parametre u usvojenoj strukturi
modela). Ako sve parametre skupimo u vektor parametara θ , tada je optimalan model u okviru
usvojene strukture modela onaj čiji vektor parametara Nθθ ˆ= minimizira usvojeni kriterijum za
ocenu valjanosti modela
( ) ( )∑=
−=
N
k
N kk
N
J
1
2
,1
1
θεθ
odnosno
( )θθ
θε
N
D
N J
M
minargˆ =
Ovde je eksplicitno naznačeno da greške predikcije, a samim tim i kriterijum valjanosti, zavise
od vrednosti parametara u usvojenoj strukturi modela, dok MD označava skup svih mogućih
vektora parametara za usvojenu strukturu modela, tj. usvojenu parametrizaciju modela (na
primer, MD može biti skup svih vektora parametara koji konstituišu ARX model drugog reda).
Metode greške predikcije (PMEs) zasnivaju se na poslednje dve relacije. Blok šema
parametarske identifikacije zasnovana na principu greške predikcije data je na narednoj slici.
( )ku ( )ky
+ ( )θε ,1−kk
- +
( )θ,1ˆ −kky
Nθˆ
Slika: Blok šema parametarske identifikacije na bazi greške predikcije
Modeli predikcije: jednokoračna predikcija unapred
Izračunavanje greške predikcije ( )1−kkε zahteva izračunavanje jednokoračne predikcije
izlaza unapred ( )1ˆ −kky i to prvo na primeru standardne (generalne) strukture parametarskog
modela, a dobijeni rezultat se lako može prilagoditi na slučajeve specifičnih parametarskih
struktura, kao što su FIR, ARX, ARMAX, OE i BJ strukture.
Sistem
Prediktor
θ
Kriterijum
( )θNJ
Minimizacija
( )θNJminarg

3. Modeliranje
3
Model predikcije za standardni parametarski model
Standardni (generalni) model razmatran je u prethodnom poglavlju i prikazan je blok
dijagramom na sledećoj slici
( )ke
+ ( )kv
( )ku +
( )ky
Slika: Standardni parametarski model
Na prikazanoj slici ( )ku , ( )ky i ( )kv označavaju ulaz, izlaz i poremećaj u diskretnom
trenutku k , dok je ( )ke beli šum nulte srednje vrednosti. Dalje se pretpostavlja da se raspolaže
sa ulazno-izlaznom sekvencom merenja ( ) ( ){ }yu , , ,...2,1 −−= kk , kao i da su za momenat
poznate funkcije prenosa ( )qG i ( )qH . Pod navedenim uslovima mogu se izračunati veličine
( ) ( ) ( ) ( )uqGyv −= , ,...2,1 −−= kk
te se ove veličine mogu smatrati poznatim. Takođe, ako je funkcija prenosa ( )qG striktno
kauzalna, tada je njen slobodni član 0≡og , pa je
( ) ∑
∞
=
−
=
1
qgqG
odakle sledi da
( ) ( ) ( ) ( )∑ ∑
∞
=
∞
=
−
−==
1 1
kugkuqgkuqG
zavisi samo od izlaza ( )iu , ,...2,1 −−= kki , tako da je i ovaj član poznat. Polazeći dalje od
izraza za izlaz sistema
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )kvkuqGkeqHkuqGky +=+=
jednokoračna predikcija izlaza može se definisati sa
( ) ( ) ( ) ( )1ˆ1ˆ −+=− kkvkuqGkky
Dakle, rešenje postavljenog jednokoračnog prediktora zahteva da se izračuna jednokoračna
predikcija ( )1ˆ −kkv nemerljivog šuma ( )kv . Da bi ovaj problem bio rešiv funkcija prenosa
(filter) šuma ( )qH mora da zadovoljava sledeća tri uslova:
1. ( )qH je stabilna funkcija prenosa.
( )qH
( )qG

4. Modeliranje
4
2. Inverzna funkcija prenosa ( ) ( )qHqH /11
=−
je stabilna.
3. ( )qH je monik funkcija prenosa, odnosno 1=oh odakle sledi
( ) ∑
∞
=
−
+=
1
1 qhqH
Na osnovu trećeg uslova, korelisani (obojeni) aditivni šum na izlazu sistema je
( ) ( ) ( ) ( ) ( ) ( )∑
∞
=
−+==
1
kehkekeqHkv
Sada se postavlja problem kako generisati predikciju ( )kv , ako su izračunate prethodne vrednosti
( )v , 1−≤ k . Najbolju (optimalnu) predikciju prirodno predstavlja očekivana (srednja)
vrednost ( )kv , tj.:
( ) ( ){ } ( ){ } ( ) ( )
⎭
⎬
⎫
⎩
⎨
⎧
−+==− ∑
∞
=1
1ˆ kehEkeEkvEkkv
gde je {}⋅E generalisano matematičko očekivanje, koje se u navedenom slučaju svodi na
klasično (stohastičko) matematičko očekivanje u odnosu na slučajnu varijablu ( )kv . Pošto je na
osnovu pretpostavke ( ){ }ke beli šum nulte srednje vrednosti, to je ( ){ } 0=keE , dok je drugi
sabirak deterministička veličina, pošto je ( )v , a samim time i ( )e , poznato za 1−≤ k . Na taj
način se dobija
( ) ( ) ( )[ ] ( )keqHkehkkv 11ˆ
1
−=−=− ∑
∞
=
Imajući u vidu da je
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )qHkvkvqHkekeqHkv /1
==⇒= −
Konačno se dobija traženi izraz za predikciju poremećaja
( ) ( )
( )
( )
( )
( )kv
qH
kv
qH
qH
kkv ⎥
⎦
⎤
⎢
⎣
⎡
−=
−
=−
1
1
1
1ˆ
Da bi se izračunao prediktor ( )1ˆ −kkv neophodne su samo vrednosti ( )v , 1−≤ k , koje su
generisane na osnovu relacije
( ) ( ) ( ) ( )uqGyv −= .
Zamenom prediktora poremećaja (šuma) u izraz za predikciju izlaza dobija se relacija
( ) ( ) ( ) ( )[ ] ( )kvqHkuqGkky 1
11ˆ −
−+=−

5. Modeliranje
5
( ) ( ) ( )[ ] ( ) ( ) ( )[ ]kuqGkyqHkuqG −−+= −1
1
na osnovu koje sledi
( ) ( ) ( ) ( ) ( )[ ] ( )kyqHkuqGqHkky 11
11ˆ −−
−+=−
ili u alternativnom obliku
( ) ( ) ( ) ( ) ( )[ ] ( )kyqHkuqGkkyqH 11ˆ −+=−
Zamenom izvedenog prediktora izlaza u definicioni izraz za grešku predikcije dalje se dobija
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )kyqHkuqGqHkkykykk 11
1ˆ1 −−
+−=−−=−ε
Prilikom prethodnih izvođenja pretpostavljeno je da su funkcije prenosa ( )qG i ( )qH poznate,
što inače nije ispunjeno, pošto je model poznat sa tačnošću do nepoznatih parametara, koje treba
estimirati na bazi raspoloživih merenja ulaza i izlaza. Dakle, funkcije prenosa ( )qG i ( )qH nisu
poznate, ali su parametrizovane sa nekim vektorom parametara θ , tako da je u suštini greška
predikcije funkcije ovog vektora parametara, odnosno
( ) ( ) ( ) ( ) ( )[ ]kuqGkyqHkk θθθε ,,,1 1
−=− −
Varirajući vektor parametara unutar skupa MD može se izračunati greška predikcije ε i
rezultujuća vrednost kriterijuma valjanosti modela NJ . Izvedeni prediktor je primenljiv na bilo
koji model koji ima standardnu (generalnu) strukturu prikazanu gornjim blok dijagramom.
Dobijeni prediktor može se primeniti na specifične parametrizovane modele, koji su razmatrani
u prethodnom poglavlju, kao što su FIR, ARX, ARMAX, OE i BJ strukture, a koje predstavljaju
posebne slučajeve standardne (generalne) reprezentacije modela sistema.
Model predikcije za FIR reprezentaciju sistema:
FIR struktura modela sistema predstavlja specijalan slučaj prethodno razmatrane
standardne (generalne) strukture, kada se usvoji
( ) ( ) ∑=
−
==
bn
i
i
i qbqBqG
1
,θ , ( ) 1, =θqH
tako da je vektor parametara u ovako parametrizovanom modelu
{ }T
nb
bbb ...21=θ .
Ovakva struktura prikazana je blok dijagramom na narednoj slici

6. Modeliranje
6
( )ke
+
( )ku +
( )ky
Slika: FIR struktura modela sistema
Na taj način, izlazni signal može se prikazati relacijom
( ) ( ) ( ) ( )kekuqBky +=
gde je ( )ku pobudni signal u k -tom diskretnom trneutku, a ( )ke je aditivni šum na izlazu
sistema, koji predstavlja beli šum nulte srednje vrednosti. Koristeći prethodno dobijeni izraz za
prediktor izlaza u slučaju standardne reprezentacije modela sistema
( ) ( ) ( ) ( )[ ] ( )kyqHkuqGkky 1
11ˆ −
−+=−
i uvrštavajući izraze za funkcije prenosa u FIR strukturi
( ) ( )qBqG = , ( ) 1=qH
dobija se za prediktor izlaza FIR strukture
( ) ( ) ( ) ( ) ( )∑ ∑= =
−
−===−
b bn
i
n
i
i
i
i ikubkuqbkuqBkky
1 1
,1ˆ θ
Ako se merenja ulaza ( )u , 1−≤ k sakupe u regresioni vektor kolonu
( ) ( ) ( ) ( ){ }b
T
nkukukuk −−−= ,...,2,1ϕ
tada se prediktor izlaza može zapisati u formi linearne regresije
( ) ( ) ( )kkkky TT
ϕθθϕθ ==− ,1ˆ
Naziv model linearne regresije potiče od činjenice da je relacija za predikciju izlaza linearna
funkcija nepoznatog vektora parametara θ .
Model predikcije za ARX reprezentacije modela sistema:
ARX struktura predstavlja poseban oblik standardne strukture u kojoj je usvojeno
( ) ( )
( )qA
qB
qG =θ, , ( ) ∑=
−
+=
an
i
i
iqaqA
1
1 , ( ) ∑=
−
=
bn
i
i
i qbqB
1
, ( )
( )qA
qH
1
, =θ
Ovakva struktura predstavljena je sledećim blok dijagramom
( )qB

7. Modeliranje
7
( )ke
( )kv
+
( )ku +
( )ky
Slika: ARX struktura modela sistema.
Parametri polinoma ( )qA i ( )qB definišu vektor parametara
{ }ba nn
T
bbbaaa ...... 2121=θ
dok je izlaz sistema opisan relacijom (diferencnom jednačinom)
( ) ( ) ( ) ( ) ( )kekuqBkyqA +=
Koristeći izraz za prediktor standardne strukture
( ) ( ) ( ) ( ) ( )[ ] ( )kyqHkuqGkkyqH 1,,,1ˆ, −+=− θθθθ
uz uvrštavanje izraza za odgovarajuće funkije prenosa u ARX strukturi
( ) ( ) ( )qAqBqG /, =θ ; ( ) ( )qAqH /1, =θ
dobija se konačan izraz za prediktor izlaza
( ) ( ) ( ) ( )[ ] ( )kyqAkuqBkky −+=− 1,1ˆ θ
( ) ( )∑ ∑= =
−−
−=
b an
i
n
i
i
i
i
i kyqakuqb
1 1
( ) ( )∑ ∑= =
−−−=
b an
i
n
i
ii ikyaikub
1 1
Uvodeći regresioni vektor
( ) ( ) ( ) ( ) ( ) ( ) ( ){ }ba
T
nkukukunkykykyk −−−−−−−−−= ...21...21ϕ
izvedeni izraz za prediktor izlaza ARX strukture modela može se napisati u formi modela
linearne regresije
( ) ( ) ( )θϕϕθθ kkkky TT
==− ,1ˆ .
( )qA
1
( )
( )qN
qB

8. Modeliranje
8
Model predikcije za ARMAX reprezentaciju modela sistema:
ARMAX reprezentacija modela sistema predstavlja specijalan slučaj standardne strukture
modela za specifičan izbor funkcija prenosa u standardnoj strukturi (reprezentaciji) modela
( ) ( )
( )qA
qB
qG =θ, , ( ) ∑=
−
=
cn
i
i
iqcqB
1
, ( ) ∑=
−
+=
an
i
iqaqA
1
1 ,
( ) ( )
( )qA
qC
qH =θ, , ( ) ∑=
−
+=
cn
i
iqcqC
1
1 .
ARMAX struktura modela prikazana je na sledećoj slici
( )ke
( )kv
( )ku +
+
+
( )ky
Slika: ARMAX struktura modela sistema
Izlazni signal kod ARMAX strukture opisan je relacijom
( ) ( ) ( ) ( ) ( ) ( )keqCkuqBkyqA +=
gde je ( )ku pobudni (ulazni) signal a ( )ke diskretan beli šum nulte srednje vrednosti. Parametri
(koeficijenti) polinoma A , B , C definišu vektor parametara θ u ovako usvojenoj
parametrizaciji modela
{ }cba nnn
T
cccbbbaaa ......... 212121=θ
Zamenom usvojenih izraza za funkcije prenosa ABG /= i ACH /= u ARMAX strukturi, uz
korišćenje formule za prediktor izlaza opšte strukture
( ) ( ) ( ) ( ) ( )[ ] ( )kyqHkuqGqHkky 11
1,1ˆ −−
−+=− θ
dobija se formula za prediktor izlaza ARMAX strukture
( ) ( )
( )
( ) ( )
( )
( )ky
qC
qA
ku
qC
qB
kky ⎥
⎦
⎤
⎢
⎣
⎡
−+=− 1,1ˆ θ
Množenjem dobijenog izraza sa ( )qC i dodavanjem člana ( )[ ] ( )θ,1ˆ1 −− kkyqC levoj i desnoj
strani poslednjeg izraza, kao i nultog člana ( ) ( )kyky − , desnoj strani ovog izraza može se pisati
( )
( )qA
qC
( )
( )qA
qB

9. Modeliranje
9
( ) ( ) ( )[ ] ( ) ( ) ( ) ( ) ( )[ ] ( )kyqAqCkuqBkkyqCkkyqC −+=−−+− θθ ,1ˆ1,1ˆ
( )[ ] ( ) ( ) ( )kykykkyqC −+−−+ θ,1ˆ1
odakle sledi izraz za prediktor izlaza ARMAX strukture
( ) ( ) ( ) ( )[ ] ( ) ( )[ ] ( ) ( )[ ]θθ ,1ˆ11,1ˆ −−−+−+=− kkykyqCkyqAkuqBkky
Uvodeći definicioni izraz za grešku predikcije
( ) ( ) ( )θθε ,1ˆ,1 −−=− kkykykk
dobija se konačan izraz za prediktor izlaza ARMAX modela
( ) ( ) ( ) ( )[ ] ( ) ( )[ ] ( )θεθ ,111,1ˆ −−+−+=− kkqCkyqAkuqBkky
( ) ( ) ( )∑ ∑ ∑= = =
−−−
−+−=
b a cn n
i
n
j
j
j
i
i kkqckyqakuqb
1 1 1
,1 θε
( ) ( ) ( )∑ ∑ ∑= = =
−−−+−−−=
b a cn n
i
n
j
ji jkjkckyakub
1 1 1
,1 θε
Uvodeći regresioni vektor
( ) ( ) ( ) ( ) ( ) ( ) ( ){ }θεθεθϕ ,1...,21...1...1, −−−−−−−−−−−= ccba
T
nknkkknkukunkykyk
i imajući u vidu definicioni izraz za vektor parametara θ u razmatranoj ARMAX strukturi, izraz
za prediktor izlaza može se napisati u alternativnom obliku
( ) ( ) ( )θϕθθθϕθ ,,,1ˆ kkkky TT
==−
Primetimo da je u ovom slučaju, za razliku od FIR i ARX struktura, vektor regresije ϕ funkcija
vektora parametara θ , pošto greška predikcije ε predstavlja funkciju θ , tako da izvedeni izraz
za prediktor izlaza ne predstavlja linearnu funkciju vektora parametara. Stoga se poslednji izraz
naziva model pseudo-linearne regresije, jer formalno podseća na model linearne regresije kod
koga regresioni vektor ϕ ne zavisi od vektora parametara θ .
Model predikcije za OE strukturu modela sistema:
OE reprezentacija modela sistema predstavlja poseban oblik standardne strukture modela,
ako se u standardnoj strukturi odgovarajuće funkcije prenosa usvoje kao
( ) ( )
( )qF
qB
qG =θ, , ( ) 1, =θqH , ( ) ∑=
−
=
bn
qbqB
1
, ( ) ∑=
−
+=
fn
qfqF
1
1
Razmatrana struktura prikazana je na sledećoj slici

10. Modeliranje
10
( )ke
( )ku ( )kw +
+ ( )ky
Slika: OE struktura modela sistema.
Na osnovu gornje blok šeme, izlaz ( )ky u k -tom diskretnom trenutku definisan je relacijama
( ) ( ) ( ) ( )kuqBkwqF =
( ) ( ) ( )kekwky +=
gde je ( )ku pobudni signal u k -tom diskretnom trenutku, a ( )ke je realizacija diskretnog belog
šuma nulte srednje vrednosti u posmatranom diskretnom trenutku.
Polazeći od formule za prediktor izlaza standardne strukture
( ) ( ) ( ) ( ) ( )[ ] ( )kyqHkuqGqHkky θθθθ ,1,,,1ˆ 11 −−
−+=−
i uvrštavajući usvojene izraze za odgovarajuće funkcije prenosa FBG /= i 1=H , dobija se
formula za prediktor izlaza OE strukture
( ) ( )
( )
( ) ( )θθ ,1,1ˆ −==− kkwku
qF
qB
kky
ili u alternativnom obliku
( ) ( ) ( ) ( )kuqBkkyqF =− θ,1ˆ
Zamenom izraza za polinome F i B , dalje sledi
( ) ( )∑∑ =
−
=
−
=−⎥
⎦
⎤
⎢
⎣
⎡
+
bf nn
kuqbkkyqf
11
,1ˆ1 θ
odnosno, ako se ima u vidu da je ( ) ( )θθ ,1,1ˆ −=− kkwkky ,
( ) ( ) ( )∑ ∑= =
−−
−−=−
b fn n
kkwqfkuqbkky
1 1
,1,1ˆ θθ
( ) ( )∑ ∑= =
−−−−−=
b fn n
kkwfkub
1 1
,1 θ
Sakupljajući koeficijente polinoma B i F u vektor parametara
( )
( )qF
qB

11. Modeliranje
11
{ }fb nn
T
fbbb ...ff... 2121=θ
i definišući regresioni vektor ϕ , koji i u ovom slučaju zavisi od vektora parametara θ , pošto je
predikcija izlaza determinističkog dela sistema ( )θ,1−kkw funkcija θ ,
( ) ( ) ( ) ( ) ( ) ( ){ }θθθϕ ,1...,1...21, −−−−−−−−−= ffb
T
nknkwkkwnkukukuk
prediktor izlaza OE strukture može se zapisati u obliku modela pseudo-linearne regresije
( ) ( ) ( )θϕθθθϕθ ,,,1ˆ kkkky TT
==− .
Model predikcije za BJ strukturu modela sistema:
BJ struktura predstavlja specijalan slučaj opšte reprezentacije modela kod koje su
odgovarajuće funkcije prenose izabrane na sledeći način
( ) ( )
( )qF
qB
qG =θ, , ( ) ∑=
−
=
bn
qbqB
1
, ( ) ∑=
−
+=
fn
qfqF
1
1
( ) ( )
( )qD
qC
qH =θ, , ( ) ∑=
−
+=
cn
qcqC
1
1 , ( ) ∑=
−
+=
dn
qdqD
1
1
Razmatrana struktura modela može se prikazati sledećim blok dijagramom
( )ke
( )kv
( )ku ( )kw +
+
( )ky
Slika: BJ struktura modela sistema
Na osnovu datog strukturnog blok dijagrama može se pisati
( ) ( )
( )
( )ku
qF
qB
kw = ⇒ ( ) ( ) ( ) ( )kuqBkwqF =
( ) ( )
( )
( )ke
qD
qC
kv = ⇒ ( ) ( ) ( ) ( )keqCkvqD =
( ) ( ) ( )kvkwky +=
gde je ( )kw izlaz determinističkog dela sistema u k -tom diskretnom trenutku, koji je opisan sa
funkcijom prenosa FBG /= , a ( )kv predstavlja realizaciju aditivnog šuma na izlazu
( )
( )qD
qC
( )
( )qF
qB

12. Modeliranje
12
kompletnog sistema u k -tom diskretnom trenutku, pri čemu je ovaj šum modelovan
propuštanjem diskretnog belog šuma ( ){ }ke kroz linearan sistem čija je funkcija prenosa
DCH /= . Izlaz sistema ( )ky u k -tom diskretnom trenutku dobija se superpozicijom izlaza
determinističkog dela sistema ( )kw i aditivnog šuma na izlazu ( )kv .
Imajući u vidu relaciju za izlaz (odziv) ( )ky , prediktor ovog signala u diskretnom
trenutku k , na bazi raspoložive informacije o sistemu do trenutka ( )1−k i poznatog vektora
parametara θ (elementi ovog vektora su koeficijenti polinoma B , F , C , D ), ( )θ,1ˆ −kky
može se izračunati kao
( ) ( ) ( )θθθ ,1ˆ,1ˆ,1ˆ −+−=− kkvkkwkky
gde je ( )θ,1ˆ −kkw jednokoračni prediktor izlaza determinističkog dela sistema a ( )θ,1ˆ −kkv je
jednokoračni prediktor aditivnog slučajnog poremećaja na izlazu sistema. Pošto je determnistički
deo sistema prikazan OE reprezentacijom
( ) ( )
( )
( )ku
qF
qB
kw = , ( ) ( ) ( ) ( )kuqBkwqF =
to je
( ) ( ) ( ) ( )[ ] ( )kwqFkuqBkw −+= 1
( ) ( )∑ ∑= =
−−
−=
b fn n
kwqfkuqb
1 1
( ) ( )∑ ∑= =
−−−=
b fn n
kwfkub
1 1
Pošto je, takođe, na osnovu OE reprezentacije modela jednokoračni prediktor definisan sa
( ) ( )
( )
( )ku
qF
qB
kkw =− θ,1ˆ
dalje se može pisati
( ) ( ) ( ) ( )[ ] ( )θθ ,11,1ˆ −−+=− kkwqFkuqBkkw
( ) ( )∑ ∑= =
−−−−−=
b fn n
kkwfkub
1 1
,1ˆ θ
Stohastički deo sistema opisan je ARMA procesom
( ) ( )
( )
( )ke
qD
qC
kv =

13. Modeliranje
13
gde je ( )ke beli šum srednje vrednosti.
Polazeći od činjenice da je ARMA proces specijalni slučaj ARMAX procesa kod koga je X deo
jednak nuli (polinom 0=B u ARMAX strukturi) i koristeći ranije izvedenu formulu za
jednokoračni prediktor za ARMAX strukturu, uz uslov 0=B , dalje sledi
( ) ( )
( )
( )kv
qC
qD
kkv ⎥
⎦
⎤
⎢
⎣
⎡
−=− 1,1ˆ θ
gde je polinom A u originalnom izrazu zamenjen sa polinomom D . Na sličan način kao kod
analize ARMAX procesa, poslednja relacija se može pisati kao
( ) ( ) ( ) ( )[ ] ( )kvqDqCkkvqC −=− θ,1ˆ
odakle sledi
( ) ( ) ( )[ ] ( )θθ ,1ˆ1,1ˆ −−+− kkvqCkkvqC
( ) ( )[ ] ( ) ( )[ ] ( ) ( ) ( )kvkvkkvqCkvqDqC −+−−+−= θ,1ˆ1
odnosno
( ) ( )[ ] ( ) ( )[ ] ( ) ( )[ ]θθ ,1ˆ11,1ˆ −−−+−=− kkvkvqCkvqDkkv
Uvodeći izraz za grešku predikcije kod ARMA strukture
( ) ( ) ( )θθε ,1ˆ,1 −−=− kkvkvkk
konačno se dobija traženi izraz za prediktor ARMA procesa
( ) ( )[ ] ( ) ( )[ ] ( )θεθ ,111,1ˆ −−+−=− kkqCkvqDkkv
( ) ( )∑ ∑= =
−−
−+−=
d cn n
kkqckvqd
1 1
,1 θε
( ) ( )∑ ∑= =
−−−+−−=
d cn n
kkckvd
1 1
,1 θε
gde je
( ) ( ) ( ) ( ) ( ) ( ) ( )[ ] ( )kwqFkuqBkykwkykv 1−+−=−=
( ) ( ) ( )∑ ∑= =
−+−−=
b fn n
kwfkubky
1 1
Na taj način, prediktor za BJ reprezentaciju modela definisan je sa

14. Modeliranje
14
( ) ( ) ( )θθθ ,1ˆ,1ˆ,1ˆ −+−=− kkvkkwkky
( ) ( ) ( )[ ] ( ) ( )[ ] ( ) ( )[ ] ( )θεθ ,111,1ˆ1 −−+−+−−+= kkqCkvqDkkwqFkuqB
( ) ( ) ( )∑ ∑ ∑= = =
−−−−−−−=
n n nf d
kvdkkwfkub
1 1 1
,1ˆ θ
( )∑=
−−−+
cn
kkc
1
,1 θε
Ako se definiše vektor parametara θ
{ }cf nn
T
cfb ...c...dd...f...b 1n11n1 db
=θ
i regresioni vektor
( )=θϕ ,kT
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ){ }θεθεθθ ,1,21...1,1ˆ...,21ˆ...1 −−−−−−−−−−−−−−−−−−= ccdffb nknkkknkvkvnknkwkkwnkuku
izraz za prediktor se može napisati u formi pseudo-linearne regresije
( ) ( ) ( )θϕθθθϕθ ,,,1ˆ kkkky TT
==−
Modeli predikcije razvijeni u ovom poglavlju biće korišćeni za identifikaciju nepoznatih
parametara θ na osnovu koncepta greške predikcije (PEM princip). Algoritmi (metode) za
parametarsku identifikaciju sistema biće razmatrani u nastavku ovog poglavlja.
Parametarska identifikacija sistema:
Metode parametarske identifikacije koje će se razmatrati u ovom poglavlju pripadaju
familiji metoda tipa greške predikcije (PEM metode). Ove metode se zasnivaju na minimizaciji
kriterijumske funkcije koju sačinjava suma kvadrata grešaka predikcija na nekom intervalu
vremena. Rešavanje postavljenog optimizacionog problema zahteva primenu određenih
matematičkih alata, a jedan uobičajen postupak je metod najmanjih kvadrata (odgovarajući naziv
na engleskom jeziku je Least Squares Method ili skraćeno LS). Ovaj metod biće opisan u
nastavku, a biće takođe pokazano kako se LS metod može primeniti za estimaciju parametara u
specifičnoj strukturi modela sistema. Ovakav zadatak često se naziva i parametarska estimacija
(eng. parameter estimation).
Metod najmanjih kvadrata
Kao što je već istaknuto, metod najmanjih kvadrata predstavlja matematički postupak za
rešavanje problema identifikacije (estimacije) parametara u usvojenoj strukturi modela sistema,
pri čemu je ovaj problem postavljen kao zadatak optimizacije (minimizacije) određene
kriterijumske funkcije. Naime, problem parametarske identifikacije može se formulisati na
sledeći način: za zadati skup merenja ulaza i izlaza sistema ( ) ( ){ }kyku , , Nk ,...,2,1= i usvojenu

15. Modeliranje
15
strukturu modela sistema koja je poznata sa tačnošću do nepoznatog vektora parametara θ
proceniti (estimirati) vektor θ tako da izvedeni model aproksimira što je moguće bolje realan
sistem. Naravno, verbalni iskaz “što je moguće bolje” je subjektivne prirode i neophodno je da se
uvede matematički kriterijum ili mera za ocenu kvaliteta ponašanja ili validnosti modela. Jednu
moguću takvu matematičku meru predstavlja kriterijum koji se sastoji od sume kvadrata grešaka
predikcija na posmatranom intervalu posmatranja
( ) ( )∑=
−=
N
k
N kk
N
J
1
2
,1
1
θεθ
Tada je optimalna procena vektora parametara Nθθ ˆ= ona koja minimizira usvojeni kriterijum
( )θθ
θ
NN Jminargˆ =
Jednokoračna greška predikcije definisana je izrazom
( ) ( ) ( )θθε ,1ˆ,1 −−=− kkykykk
gde je ( )θ,1ˆ −kky jednokoračni prediktor izlaza sistema ( )ky na bazi raspoložive informacije o
sistemu, kroz merenja, do trenutka 1−k i za neki usvojeni vektor parametara θ . U prethodnom
poglavlju je pokazano da se jednokoračni prediktor izlaza sistema, zavisno od usvojene strukture
modela, može prikazati u formi jednačine linearne regresije (FIR i ARX strukture)
( ) ( ) ( )kkkky TT
ϕθθϕθ ==− ,1ˆ
gde regresioni vektor ( )kϕ ne zavisi od nepoznatog vektora parametara koji se estimira, ili u
formi jednačine pseudolinearne regresije (ARMAX, OE i BJ strukture)
( ) ( ) ( )θϕθθθϕθ ,,,1ˆ kkkky TT
==−
kada regresioni vektor ( )θϕ ,k predstavlja funkciju vektora parametara θ . U prvom slučaju
primena metoda najmanjih kvadrata za rešavanje postavljenog optimizacionog problema
rezultuje u linearan sistem jednačina po nepoznatim elementima vektora parametara θ i takav
metod naziva se linearan metod najmanjih kvadrata (eng. Linear Least Squares Method ili
skraćeno LLS metod). U drugom slučaju primena tehnike najmanjih kvadrata za minimizaciju
usvojenog kriterijuma rezultuje u nelinearan sistem jednačina po nepoznatim elementima vektora
parametara θ i neophodno je primeniti neku iterativnu numeričku proceduru za rešavanje tako
dobijenog nelinearnog sistema algebarskih jednačina. U poslednjem slučaju postupak najmanjih
kvadrata se naziva pseudo-linearan metod najmanjih kvadrata (eng. Pseudo-Linear Least Square
Method ili skraćeno PLLS metod).
Linearan metod najmanjih kvadrata: LLS metod
Kao što je izvedeno u prethodnom poglavlju, jednokoračna predikcija izlaza za FIR i
ARX reprezentaciju (strukturu) modela sistema definisana je izrazom
( ) ( ) ( )kkkky TT
ϕθθϕθ ==− ,1ˆ

16. Modeliranje
16
koji predstavlja linearnu funkciju vektora parametara θ , pošto regresioni vektor ( )kϕ ne zavisi
od nepoznatog vektora parametara θ . Kao što je ranije pokazano, za FIR strukturu modela
regresioni vektor sadrži samo zakašnjene (prethodne) ulazne signale
( ) ( ) ( ) ( ){ }o
T
nkukukuk −−−= ...21ϕ
dok za slučaj ARX strukture modela ovaj vektor dodatno sadrži i zakašnjene (prethodne) izlazne
signale
( ) ( ) ( ) ( ) ( ){ }ba
T
nkukunkykyk −−−−−−= ...1...1ϕ
Na taj način, jednokoračna greška predikcije postaje
( ) ( ) ( ) ( ) ( )θϕθθε kkykkykykk T
−=−−=− ,1ˆ,1
te se usvojeni kriterijum valjanosti modela svodi na
( ) ( ) ( )[ ]∑=
−=
N
k
T
N kky
N
J
1
21
θϕθ
U tački minimuma razmatranog kriterijuma Nθθ ˆ= gradijent kriterijumske funkcije jednak je
nuli, odnosno
( ) ( ) ( ) ( ) ( ) 0...ˆ
ˆ21
ˆ =
⎪⎭
⎪
⎬
⎫
⎪⎩
⎪
⎨
⎧
∂
∂
∂
∂
∂
∂
=
∂
∂
=
=
=
T
p
NNNN
NN
N
N
JJJJ
Jgrad
θθ
θθ
θ θ
θ
θ
θ
θ
θ
θ
θ
θ
gde je p dimenzija vektora { }T
pθθθθ ...21= a 0 je 1px dimenzioni nula vektor, čiji su svi
elementi jednaki nuli. Primenom operatora parcijalnog diferenciranja na zadati kriterijum dobija
se
( ) ( ) ( )[ ]
⎭
⎬
⎫
⎩
⎨
⎧
−
∂
∂
=
∂
∂
∑=
N
k
TN
kky
N
J
1
21
θϕ
θθ
θ
( ) ( )[ ]{ }∑=
−
∂
∂
=
N
k
T
kky
N 1
21
θϕ
θ
( ) ( )[ ] ( ) ( )[ ]
∑= ∂
−∂
−=
N
k
T
T kky
kky
N 1
2
1
θ
θϕ
θϕ
( ) ( ) ( )[ ] ( )[ ]
∑= ∂
∂
−−=
N
k
T
T k
kky
N 1
2
1
θ
θϕ
θϕ
Prilikom dobijanja poslednjeg izraza uzeto je u obzir da izlaz sistema ( )ky ne zavisi od vektora
parametara θ . Koristeći dalje pravila linearne algebre koja se odnose na diferenciranje skalarnog
proizvoda po vektoru

17. Modeliranje
17
y
x
xyT
=
∂
∂
, y
x
yxT
=
∂
∂
gde su x i y vektori kolone odgovarajućih dimenzija, a T
y i T
x označavaju vektore vrste, kao i
usvajajući ( )ky ϕ= i θ=x zaključuje se da je
( )[ ] ( )k
kT
ϕ
θθ
θϕ
=
∂
Zamenom izvedenog izraza u relaciju za gradijent kriterijumske funkcije, uz izjednačavanje
poslednjeg izraza sa nulom, konačno se dobija linearna vektorska jednačina za izračunavanje
vektora parametra θ
( ) ( )[ ] ( )∑=
=−
N
k
T
kkky
1
0ϕθϕ
odakle sledi da se procena najmanjih kvadrata Nθθ ˆ= dobija kao rešenje linearne vektorske
jednačine kojoj odgovara sistem linearnih jednačina po neponatim elementima vektora θ koje se
nazivaju i normalne jednačine (eng. Normal equations)
( ) ( ) ( ) ( )⎥
⎦
⎤
⎢
⎣
⎡
=⎥
⎦
⎤
⎢
⎣
⎡
∑∑ ==
N
k
N
N
k
T
kyk
N
kk
N 11
1ˆ1
ϕθϕϕ
odnosno
( ) ( ) ( ) ( )⎥
⎦
⎤
⎢
⎣
⎡
⎥
⎦
⎤
⎢
⎣
⎡
= ∑∑ =
−
=
N
k
N
k
T
N kyk
N
kk
N 1
1
1
11ˆ ϕϕϕθ
pretpostavljajući da postoji inverzija navedene matrice.
U literaturi je uobičajeno da se LS procena prikaže u matrično-vektorskoj notaciji. U tom
cilju definišimo Nxp matricu Φ i 1Nx vektor Y kao
( )
( )
( )⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=Φ
NT
T
T
ϕ
ϕ
ϕ
2
1
;
( )
( )
( )⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
Ny
y
y
Y
2
1
tako da se usvojeni skalarni kriterijum ( )θNJ može prikazati u obliku
( ) ( ) ( )φθφθφθθ −−=−= YYYJ
T
N
2
gde x označava Euclidian-ovu normu vektora x . Dalje se može pisati

18. Modeliranje
18
( ) ( )( )φθφθθ −−= YYJ TTT
N
( ) ( ) ( )θφφθθφθθ TTTTTT
YYYY +−−=
odakle sledi potreban uslov za pronalaženje minimuma kriterijuma
( ) ( ) ( ) ( ) ( ) 0=
∂
∂
+
∂
∂
−
∂
∂
−=
∂
∂
=
θ
θφφθ
θ
θφ
θ
φθ
θ
θ
θ
θ
TTTTT
N
N
YYJ
Jgrad
Prva dva člana u poslednjem izrazu dobijaju se korišćenjem prethodno definisanih pravila za
diferenciranje skalarnog proizvoda vektora po vektoru
( ) Y
Y T
TT
φ
θ
φθ
=
∂
∂
,
( ) ( ) YY
Y TTT
TT
φφ
θ
φθ
==
∂
∂
kao i dodatnog pravila za diferenciranje skalarne kvadratne forme po vektoru
Ax
x
AxxT
2=
∂
∂
je x vektor kolona odgovarajućih dimenzija a A kvadratna i simetrična matrica ( )T
AA = ,
odakle se zaključuje, usvajajući θ=x i φφT
A = ,
( ) ( )θφφ
θ
φφθ T
TT
2=
∂
∂
Zamenom izvedenih izraza za parcijalne izvode u relaciji za gradijent kriterijumske
funkcije dobija se linearna vektorska jednačina, tzv. Normalna jednačina, za izračunavanje LS
procene vektora parametara Nθθ ˆ=
[ ] YT
N
T
φθφφ =ˆ
odnosno
[ ] ⎥⎦
⎤
⎢⎣
⎡
⎥⎦
⎤
⎢⎣
⎡
==
−
−
Y
NN
Y TTTT
N φφφφφφθ
11ˆ
1
1
pretpostavljajući da odgovarajuća inverzna matrica postoji.
Primetimo, takođe, da je matrica čija se inverzija traži u stvari kovarijaciona matrica
regresionog p -dimenzionog vektora ( )kϕ ( ba nnp += kod ARX modela a bnp = kod FIR
modela), tako da se može pisati
( ) ( ) ( )∑=
ΦΦ==
N
k
TTp
N
kk
N
NR
1
11
ϕϕϕ

19. Modeliranje
19
Posebno, za ARX strukturu modela važi ( )ba nnp +=
( )
( )
( )
( )
( )
( )
( )
( ) ( ) ( ) ( )[ ]∑=
−−−−−−
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
−
−
−−
−−
−−
=
N
k
ba
b
ap
nkukunkyky
nku
ku
ku
nky
ky
ky
N
NR
1
...1...1
2
1
2
1
1
ϕ
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−−−−−−−−−−−−
−−−−−−−−−−−−
−−−−−−−−−−−
−−−−−−−−−−−
−−−−−−−−−−−
=
∑∑∑∑∑
∑∑∑∑∑
∑∑∑∑∑
∑∑∑∑∑
∑∑∑∑∑
=====
=====
=====
=====
=====
N
k
b
N
k
b
N
k
ab
N
k
b
N
k
b
N
k
b
N
k
N
k
a
N
k
N
k
a
N
k
ba
N
k
a
N
k
a
N
k
a
N
k
a
N
k
b
N
k
N
k
a
N
k
N
k
N
k
b
N
k
N
k
a
N
k
N
k
nku
N
kunku
N
nkynku
N
kynku
N
kynku
N
nkuku
N
ku
N
nkyku
N
kyku
N
kyku
N
nkunky
N
kunky
N
nky
N
kynky
N
kynky
N
nkuky
N
kuky
N
nkyky
N
ky
N
kyky
N
nkuky
N
kuky
N
nkyky
N
kyky
N
ky
N
1
2
1111
11
2
111
111
2
11
1111
2
1
11111
2
1
1
11
2
1
1
1
1
1
1
1
1
1
21
1
11
1
1
1
11
2
1
1
1
2
1
12
1
2
1
2
1
12
1
1
1
11
1
1
1
21
1
1
1
……
……
……
…
…
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−−+−−+−−+−−
−+−−−−
−+−−−−−
−−−−−
−−−
−−
=
0ˆ2ˆ1ˆˆ2ˆ1ˆ
2ˆ0ˆ1ˆ2ˆ0ˆ1ˆ
1ˆ1ˆ0ˆ1ˆ1ˆ0ˆ
ˆ2ˆ1ˆ0ˆ2ˆ1ˆ
2ˆ0ˆ1ˆ2ˆ0ˆ1ˆ
1ˆ1ˆ0ˆ1ˆ1ˆ0ˆ
uubuubuubayubyubyu
buuuuuuayuyuyu
buuuuuuayuyuyu
abyuayuayuyyayuayy
byuyuyuayyyyyy
byuyuyuayyyyyy
RnRnRnnRnRnR
nRRRnRRR
nRRRnRRR
nnRnRnRRnRnR
nRRRnRRR
nRRRnRRR
……
……
……
……
……
……
Prilikom definisanja ove matrice iskorišćena je činjenica da je ( ) ( )ττ −= yuuy RR .
Dakle, elementi pxp dimenzije korelacione matrice p -dimenzionog ( )ba nnp +=
regresionog vektora ( )kϕ su procene auto-kovarijacionih i kros-kovarijacionih funkcija ulaznog i
izlaznog signala, odnosno
( ) ( ){ }pxpij
p
NRNR =ϕ
gde je
( ) ( ) ( ) ( )∑=
−−=−=
N
k
yyij jkyiky
N
ijRNR
1
1ˆ , anji ≤≤ ,1
( ) ( ) ( ) ( )∑
=
−−−=−−=
N
k
ayuij jkuiky
N
injRNR
1
1ˆ , anji ≤≤ ,1 , baa nnpjn +=≤≤+1

20. Modeliranje
20
( ) ( ) ( ) ( )∑=
−−−=+−=
N
k
auyij jkyiku
N
nijRNR
1
1ˆ , pina ≤≤+1 , anji ≤≤ ,1
( ) ( ) ( ) ( )∑=
−−=−=
N
k
uuij jkuiku
N
ijRNR
1
1ˆ , pjina ≤≤+ ,1
U navedenim izrazima simbol “∧” označava procenu, a xxR i xyR su autokorelacione i kros-
korelacione funkcije razmatranih signala x i y , respektivno. Kod FIR strukture modela postoji
samo blok sa procenama auto-korelacionih funkcija ulaznog signala, tj. za FIR strukturu bnp = i
( ) ( ) ( ) ( )∑=
−−=−=
N
k
uuij jkuiku
N
ijRNR
1
1ˆ , bnpji =≤≤ ,1
Na sličan način, p -dimenzioni vektor kolona
( ) ( ) ( )∑=
==
N
k
T
Ykyk
N
Nf
1
1
φϕϕ
može se za ARX strukturu (reprezentacija) modela napisati u razvijenom obliku
( )
( )
( )
( )
( )
( )
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( )
( )
( )
( )
( ) ⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
−
−
=
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
−
−−
−−
−−
=
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
−
−−
−−
−−
=
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
byu
yu
ayy
yy
yy
N
k
b
N
k
N
k
a
N
k
N
k
N
k
b
a
nR
R
nR
R
R
nkuky
N
kuky
N
nkyky
N
kyky
N
kyky
N
ky
nku
ku
nky
ky
ky
N
Nf
ˆ
1ˆ
ˆ
2ˆ
1ˆ
1
1
1
1
2
1
1
1
1
2
1
1
1
1
1
1
1
1
ϕ
tako da su elementi ovog vektora
( ) ( ) ( ) ( )∑=
−−=−=
N
k
yyi ikyky
N
iRNf
1
1ˆ , ani ≤≤1
( ) ( ) ( ) ( )∑
=
−=−=
N
k
ayui
ikuky
N
niRNf
1
1ˆ , baa nnpin +=≤≤+1
Sledeći primer ilustruje primenu LS metode za parametarsku identifikaciju (estimaciju) usvojene
strukture modela sistema.
Primer: Pretpostavimo da je realni proces opisan diferencnom jednačinom drugog reda
koja povezuje izlaz y i ulaz u

21. Modeliranje
21
( ) ( ) ( ) ( ) ( ) ( )kekukukykyky +−+−=−+−− 25.0127.015.1 , ,...2,1,0=k
gde je diskretni ulaz ( ){ }ku beli šum nulte srednje vrednosti 0=u i varijanse 12
=uσ , dok je
aditivni poremećaj na izlazu e takođe beli šum nulte srednje vrednosti 0=e i varijanse 12
=eσ ,
pri čemu su signali ( ){ }ke i ( ){ }ku međusobno nekorelisani. Da bi se identifikovao ovaj proces
usvojena je ARX reprezentacija modela drugog reda
( ) ( ) ( ) ( ) ( )kekuqBkyqA += −− 11
;
( ) ∑
=
−−
+=
2
1
1
1 qaqA , ( ) ∑
=
−−
=
2
1
1
qbqB ; 2== ba nn
odnosno
( ) ( ) ( ) ( ) ( ) ( )kekubkubkyakyaky +−+−+−−−−= 2121 2121
ili u formi jednačine regresije
( ) ( ) ( )kekky T
+= θϕ
( ) ( ) ( ) ( ) ( ){ }2121 −−−−−−= kukukykykT
ϕ , { }2121 b baaT
=θ
LS procena (estimacija) nepoznatog vektora parametara θ dobija se kao rešenje normalnog
sistema jednačina
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( )
( )
( )
( ) ⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
−
=
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−−
−−−
−−
−−
2ˆ
1ˆ
2ˆ
1ˆ
ˆ
ˆ
ˆ
ˆ
0ˆ1ˆ0ˆ1ˆ
1ˆ0ˆ1ˆ0ˆ
0ˆ1ˆ0ˆ1ˆ
1ˆ0ˆ1ˆ0ˆ
2
1
2
1
yu
yu
yy
yy
uuuuyuyu
uuuuyuyu
yuyuyyyy
yuyuyyyy
R
R
R
R
b
b
a
a
RRRR
RRRR
RRRR
RRRR
Dobijena linearna vektorska jednačina definiše sistem od 4 linearne jednačine sa 4 nepoznate
( )2121
ˆ,ˆ,ˆ,ˆ bbaa . Da bi se definisali koeficijenti u razmatranom sistemu jednačina potrebno je
proceniti auto i kros-korelacione funkcije ulaznog i izlaznog signala na bazi njihovih merenja.
( ) ( ) ( )∑=
−=
N
k
yy kyky
N
R
1
1ˆ ττ ; 1,0=τ
( ) ( ) ( )∑=
−=
N
k
uu kuku
N
R
1
1ˆ ττ ; 1,0=τ
( ) ( ) ( )∑=
−=
N
k
yu kuky
N
R
1
1ˆ ττ ; 2,1,0,1−=τ

22. Modeliranje
22
Pošto se ne raspolaže sa realnim merenjima na sistemu, sistem se može simulirati u cilju
generisanja ulazno-izlaznih podataka. Dijagram toka procedure za simulaciju sistema za
usvojenu dužinu merne sekvence N=200 prikazan je u nastavku.
Korak 1: Inicijalizacija:
( ) ( ) ( ) ( ) ( ) 021210 =−=−=−=−= uuyyy ; ;200=N
5.0,1,7.0,5.1 2121 ===−= bbaa ;
1,0;1,0 22
u ==== eeu mm σσ .
Korak 2: Startovanje brojača vremena: 1=k
Korak 3: Generisanje realizacije slučajnog ulaza ( )1−ku pozivom standardnog generatora
pseudo slučajnih brojeva koji su raspodeljeni po normalnom (Gausovom) zakonu, nulte srednje
vrednosti i jedinične varijanse; ( ) ( )1,0~1 Nku − .
Korak 4: Generisanje realizacije slučajnog poremećaja ( )ke pozivom standardnog gausovskog
generatora pseudoslučajnih brojeva, nulte srednje vrednosti i jedinične varijanse; ( ) ( )1,0~ Nke .
Korak 5: Generisanje izlaza u k -tom diskretnom trenutku
( ) ( ) ( ) ( ) ( ) ( )kekubkubkyakyaky +−+−+−−−−= 2121 2121
Korak 6: Test da li isteklo vreme simulacije: ako je Nk ≤ inkrementirati brojač 1+= kk i
vratiti se na korak 3; ako je Nk > zaustaviti proceduru: izlaz iz procedure su sekvence
( ) ( ) ( ){ }200...1,0 yyy , ( ) ( ) ( ){ }200,...,1,0 uuu
Generisana ulazno-izlazna sekvenca dalje će se koristiti za estimaciju (izračunavanje)
korelacionih funkcija, pa se rešavanjem postavljenog sistema normalnih jednačina dolazi do
procena nepoznatih parametara modela. Asimptotske, kada ∞→N , procene korelacionih
funkcija težiće njihovim egzaktnim vrednostima, koje se mogu izračunati na osnovu postupka
koji je ranije opisan. Naime, ako se jednačine egzaktnog modela sistema sa zadatim tačnim
vrednostima parametara pomnože sa ( )τ−ky i ( )τ−ku i nađe matematičko očekivanje leve i
desne strane tako formiranih jednačina dobija se
( ) ( ) ( ) ( ) ( ) ( )ττττττ eyuyuyyyyyyy RRbRbRaRaR +−+−=−+−+ 2121 2121
( ) ( ) ( ) ( ) ( ) ( )ττττττ euuuuuyuyuyu RRbRbRaRaR +−+−=−+−+ 2121 2121
Pošto su u i e međusobno nekorelisani slučajni procesi to je ( ) 0=τeuR , pa je i ( ) 0=τeyR .
Takođe, pošto ( )ky ne zavisi od ( )iku + za 0≥i , to je ( ) ( ) ( ){ } 0=+=− ikukyEiRyu za 0≥i .
Uzimajući dalje vrednosti 2,1,0=τ dobija se iz druge jednačine
( ) ( ) ( ) ( ) ( )21210 2121 −+−=−+−+ uuuuyuyuyu RbRbRaRaR

23. Modeliranje
23
( ) ( ) ( ) ( ) ( )10101 2121 uuuuyuyuyu RbRbRaRaR +=−++
( ) ( ) ( ) ( ) ( )01012 2121 uuuuyuyuyu RbRbRaRaR +=++
Imajući u vidu da je ( ) ( ) ( )ττστ Δ=Δ= 2
uuuR , gde je ( ) 1=Δ τ za 0=τ i ( ) 0=Δ τ za 0≠τ , kao i
činjenicu da je ( ) 0=τyuR za 0≤τ , konačno se dobija
( ) ( ) 010 =−= yuyu RR
( ) 11 1 == bRyu
( ) ( ) ( ) 25.15.025.012 21 =+=⇒==+ yuyuyu RbRaR
Uvrštavanjem vrednosti 2,1,0=τ u prvu jednačinu sledi sistem jednačina
( ) ( ) ( ) ( ) ( )21210 2121 −+−=++ uyuyyyyyyy RbRbRaRaR
( ) ( ) ( ) ( ) ( )10101 2121 −+=++ uyuyyyyyyy RbRbRaRaR
( ) ( ) ( ) ( ) ( )01012 2121 uyuyyyyyyy RbRbRaRaR +=++
Pošto je ( ) ( ) 111 ==− yuuy RR , ( ) ( ) 222 ==− yuuy RR , ( ) ( ) 000 == yuuy RR , ( ) ( ) 011 =−= yuuy RR ,
navedeni sistem se svodi na
( ) ( ) ( ) 225.0127.015.10 =⋅+=+− yyyyyy RRR
( ) ( ) ( ) 5.017.005.11 =+− yyyyyy RRR
( ) ( ) ( ) 007.015.12 =+− yyyyyy RRR
Rešavanjem ovog sistema jednačina dobija se za autokorelacionu funkciju izlaza
( ) 7344.270 =yyR , ( ) 7656.241 =yyR , ( ) 7344.172 =yyR .
Uvrštavanjem izračunatih egzaktnih vrednosti za korelacione funkcije u normalan sistem
jednačina dobiće se za LS procene tačne vrednosti parametara { }T
LS 5.017.05.1ˆ −=θ . Dakle,
asimptotski (kada ∞→N ) LS procena Nθˆ konvergira ka tačnim parametrima sistema. Postavlja
se pitanje da li je to uvek slučaj i ako nije pod kojim će uslovima LS procena da generiše
asimptotski (kada dužina mernog uzorka N neograničeno raste) tačne procene parametara. O
ovome problemu će biti više reči u nastavku ovog poglavlja.

24. Modeliranje
24
Linearni metod težinskih (ponderisanih) najmanjih kvadrata: WLS metod
Ako se umesto kriterijuma najmanjih kvadrata kao optimizacioni kriterijum za ocenu
valjanosti modela usvoji sledeća njegova modifikacija koja se naziva kriterijum težinskih
(ponderisanih) najmanjih kvadrata (eng. Weighted Least Squares ili skraćeno WLS)
( ) ( ) ( )φθφθφθθ −−=−= YWYYJ
T
WN
2
gde je W pozitivno-definitna ( )0>W i simetrična ( T
WW = ) težinska matrica, tada je
( ) φθφθφθφθθ WWYWYWYYJ TTTTTT
N +−−=
pa se iz uslova minimuma kriterijuma dobija
( ) ( ) ( ) ( ) ( ) 0=
∂
∂
+
∂
∂
−
∂
∂
−=
∂
∂
=
θ
θφφθ
θ
θφ
θ
φθ
θ
θ
θ
θ
WWYWYJ
Jgrad
TTTTT
N
N
Primenom navedenih pravila za diferenciranje skalara po vektoru dalje se dobija
( ) ( ) ( ) 02 =+−− θφφφφ WWYWY TTTT
odakle direktno sledi WLS procena težinskih najmanjih kvadrata
[ ] WYW TT
N φφφθ
1
ˆ −
=
Za razmatranu ARX struktura modela matrice φ je dimenzije Nxp , ba nnp += , vektor Y je
kolona vektor dimenzije 1Nx , tako da je W matrica dimenzija NxN . Posebno, ako se usvoji
cIW = , gde je 0≥c a I jedinična matrica dimenzije NxN , WLS metod se svodi na orgininalni
LS metod. Ako se usvoji
{ }oNN
diagW ρρρρ ...21 −−
=
gde {}⋅diag označava dijagonalnu matricu, to će se za konstantu 1<ρ u proizvodu WY , koji
definiše otežnjeni vektor merenja Y , veće težine dodeljivati potonjim merenjima
( ) ( ),...1, −NyNy u odnosu na početna merenja ( ) ( ),...2,1 yy , odnosno
( )
( )
( )
( ) ⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
−
=
−
−
Ny
Ny
y
y
WY
o
N
N
ρ
ρ
ρ
ρ
1
2
1
2
1
dok će se za 1>ρ veće težine dodeljivati početnim merenjima. Takođe, ako se usvoji da je
težinska matrica W jednaka inverznoj matrici matrice kovarijanse aditivnog šuma na izlazu
sistema

25. Modeliranje
25
{ }[ ]11 −−
== T
e eeERW ; ( ) ( ) ( ){ }NeeeeT
...21=
gde {}⋅E označava matematičko očekivanje, WLS algoritam se naziva algoritam minimalne
varijanse greške estimacije, pošto se u navedenom slučaju optimizacioni kriterijum svodi na
totalnu varijansu greške estimacije, kao sumu varijansi grešaka estimacije pojedinih parametara
u vektoru parametara koji se estimira.
Pseudo-linearni metod najmanjih kvadrata: PLLS metod
Prilikom izvođenja linearnog metoda najmanjih kvadrata (LLS) ili linearnog metoda
ponderisanih (težinskih) najmanjih kvadrata (WLLS) ključna pretpostavka je bila da je regresioni
vektor ( )kϕ u linearnom modelu predikcije ( ) ( )θϕθ kkky T
=− ,1ˆ nezavisan od nepoznatog vektora
parametara, što je podrazumevalo FIR ili ARX reprezentaciju (strukturu) modela. Ukoliko ova
pretpostavka nije ispunjena, već je i regresioni vektor funkcija nepoznatog vektora parametara,
( )θϕ ,k , što je slučaj kod ARMAX, OE i BJ reprezentacija modela, tada je model prediktora
( ) ( )θθϕθ ,,1ˆ kkky T
=− nelinearna funkcija vektora parametara θ , te se ovakav prediktor
naziva pseudo-linearan prediktor. Kriterijum koji se minimizira tada postaje
( ) ( ) ( )[ ]
2
1
,
1
∑=
−=
N
k
T
N kky
N
J θθϕθ
a minimizacijom ovog kriterijuma dobija se procena Nθˆ nepoznatog vektora parametara θ
( )θθθ θε N
D
N
J
M
minargˆ == ; ( ) ( )θθ NNN JJ <ˆ za MDθε∀ i Nθθ ˆ≠ .
gde je MD skup svih mogućih vrednosti nepoznatog vektora parametara θ . Rešenje ovako
postavljenog optimizacionog problema, koji se naziva i pseudo-linearan problem najmanjih
kvadrata (PLLS), zahteva primenu iterativnih nelinearnih numeričkih algoritama. Ovakav
postupak je računski složen, a i sama konvergencija procena parametara koje su generisane
nelinearnim numeričkim algoritmima ka stvarnom (tačnom) vektoru parametara nije u opštem
slučaju garantovana.
Za razliku od klasičnog zadatka optimizacije, gde je u opštem slučaju poznata samo
kriterijumska funkcija, ovde je pored kriterijuma ( )θNJ poznat i izraz za njen argument,
odnosno grešku predikcije ( )θε ,k , tj.
( ) ( )∑=
=
N
k
N k
N
J
1
2
,
2
1
θεθ , ( ) ( ) ( )θθϕθε ,, kkyk T
−=
što će omogućiti da se izvedu optimizacione (minimizacione) metode koje imaju relativno dobra
konvergenciona svojstva. Neke od tih metoda biće razmatrane u nastavku teksta.
Razvojem kriterijuma ( )θNJ oko neke tačke u prostoru parametara 0θθ = dobija se

26. Modeliranje
26
( ) ( ) ( )( ) ( ) ( )( ) ( )0000000 0
2
1
θθθθθθθθθθθθ −+−−+−+= HgJJ
TT
NN
gde je
( ) ( ) ( )
θ
θ
θθ
∂
∂
== 0
00
N
N
J
gradJg ; ( ) ( )
2
0
2
0
θ
θ
θ
∂
∂
= NJ
H ,
( ) 0
0
lim
0
0
0
=
−
−
→ θθ
θθ
θθ
pri čemu simbol ⋅ označava Euklidovu normu vektora. Ako se dalje pretpostavi da je 0θ blisko
minimumu *θ kriterijuma, tada je ( ) 00 ≈θNJ , te je potreban uslov minimuma definisan
relacijom
( ) ( )( )[ ] ( ) ( )( )[ ] 0
2
1
00
1
0
00
=−−
∂
∂
+
∂
−∂
=
∂
∂ −
θθθθθ
θθ
θθθ
θ
θ
H
gJ T
T
N
Koristeći prethodno definisana pravila za diferenciranje skalara po vektoru, poslednja
relacija se svodi na
( ) ( )( ) 02
2
1
00
1
0 =−+ −
θθθθ Hg
odnosno
( ) ( )00
1
0 θθθθ gH −
−=
Ukoliko je ( )θNJ kvadratna funkcija ovako određeno θ odgovaraće minimumu kriterijumske
funkcije *θ i algoritam će u jednom koraku odrediti traženu tačku mimimuma *θ . U svakom
drugom slučaju algoritam se može primeniti u više koraka, u cilju iterativnog pronalaženja
minimuma kriterijuma *θ . Na taj način, ako je iθ procena vektora parametara u i -tom koraku
( ),...2,1,0=i , tada je procena vektora parametara u narednom koraku (iteraciji)
( ) ( )iiii gH θθθθ 1
1
−
+ −= ; ,...2,1,0=i ; 0θ -početna procena
Ovakav iterativan postupak naziva se Newton-ov algoritam. Algoritam može zahtevati nekoliko
ili čak relativno mnogo iteracija da bi se odredio minimum *θ kriterijuma. Kao mogući
kriterijum za zaustavljanje više koračne procedure može se koristiti jedan od sledećih uslova:
( ) εθ ≤+1ig , ( ) ( ) εθθ ≤−+ ii JJ 1
, εθθ ≤−+ ii 1
gde je ε mala pozitivna konstanta.
Ako je kriterijumska funkcija ( )θNJ konveksna (konveksna kriterijumska funkcija J
zadovoljava Jensenovu nejednakost ( )( ) ( ) ( ) 2121 11 θλθλθλλθ −+<−+ JJ za 10 << λ ) tada je i
unimodalna, tj. poseduje jedan ekstremum i algoritam će konvergirati ka tom jedinstvenom
minimumu. Diferencijabilna funkcija ( )θNJ je konveksna ukoliko je Hessian matrica drugih
izvoda ( ) ( ) 22
/ θθθ ∂∂= N
JH pozitivno-definitna ( )0>H . Međutim, unimodalna funkcija u opštem

27. Modeliranje
27
slučaju ne mora biti i konveksna. Ukoliko se ne može dokazati ni konveksnost ni unimodalnost
kriterijumske funkcije tada ona poseduje nekoliko minimuma, a minimum sa najmanjom
vrednošću naziva se globalnim, dok se ostali minimumi nazivaju lokalnim. U navedenom slučaju
ne postoji garancija da će algoritam konvergirati ka globalnom minimumu, odnosno kada
algoritam dostigne tačku minimuma ne postoji mogućnost da se ispita da li je dostignuti
minimum zaista i globalni. Inače, generalno je vrlo teško da se dokaže bilo konveksnost bilo
unimodalnost kriterijumske funkcije i jedino u slučaju kriterijumske funkcije u formi sume
kvadrata grešaka predikcije koje su linearne funkcije vektora parametara (FIR i ARX
reprezentacije modela) može se dokazati konveksnost kriterijuma ( )θNJ , što će u nastavku biti i
učinjeno.
Važne osobine više koračne (iterativne) procedure su brzina konvergencije i robusnost.
Brzina konvergencije odnosi se na sposobnost algoritma da locira tačku ekstremuma u što je
moguće kraćem vremenskom intervalu, odnosno za što je moguće manji broj koraka (iteracija),
dok robusnost označava sposobnost algoritma da odredi tačku minimuma za proizvoljan oblik
kriterijumske funkcije.
Brzina konvergencije algoritma određuje se na osnovu faktora konvergencije
*
*
1
θθ
θθ
β
−
−
=
+
i
i
i ukoliko je ( )1,0βε takav iterativni algoritam je linearno konvergentan. Iterativni algoritmi za
koje je 0≈β konvergiraće vrlo brzo, pošto je tada *
1 θθ ≈+i . Posebno, za 0=β algoritam će
posedovati super brzu linearnu konvergenciju. Newtonov iterativni metod poseduje kvadratnu
konvergenciju, pošto kod njega 2
β teži ka pozitivnoj konstanti. Inače, Newtonov algoritam će
konvergirati vrlo brzo u okolini tačke minimuma, pošto je tada izvršena aproksimacija
kriterijumske funkcije odgovarajućom kvadratnom funkcijom odgovarajuća. Takođe, ukoliko
nije moguće da se Hessian izračuna egzaktno, ne može se garantovati konvergencija ovog
algoritma, te se u takvim situacijama uvodi pozitivna skalarna veličina is kojom se utiče na
priraštaj vektora parametara, odnosno veličinu koraka algoritma, kako bi se obezbedila njegova
konvegencija
( ) ( )iiiii gHs θθθθ 1
1
−
+ −= , ,...2,1,0=i , 0θ -dato
Faktor is može biti fiksan ili promenljiv. Na primer, dok god je ispunjen uslov ( ) ( )ii JJ θθ <+1
može se koristiti konstantan faktor 1>is (na primer, 3.1=is ), a kada dođe do neadekvatnog
koraka (otkaza algoritma) koji je okarakterisan uslovom ( ) ( )ii JJ θθ >+1 veličinu koraka treba
smanjiti njegovim množenjem sa nekom konstantom manjom od 1 (na primer, 0.2), pa nastaviti
proceduru uz testiranje vrednosti kriterijumske funkcije.
Posebno, ukoliko se Hessian aproksimira sa jediničnom matricom, IH ≈ , tada se
Newton algoritam svodi na gradijentni algoritam
( )iiii gs θθθ −=+1 , ,...2,1,0=i , 0θ -dato

28. Modeliranje
28
kod koga se približavanje procene minimumu kriterijumske funkcije *θ vrši u anti-
gradijentnom smeru ( )ig θ− , dok is definiše veličinu koraka u navedenom smeru. Ovakav
metod naziva se metod najbržeg spusta (eng. steepest descent method).
Primena Newtonovog algoritma zahteva izračunavanje gradijenta i Hessiana
( ) ( )
( )
( )
( )
( )
( )
( )⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
∂
∂
∂
∂
∂
∂
=
∂
∂
=
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
p
p
g
g
g
J
J
J
J
g
2
1
2
1
; ( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
=
p
ppp
p
p
ggg
ggg
ggg
H
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
θ
21
2
2
2
1
2
1
2
1
1
1
Polazeći od izraza za kriteirjumsku funkciju
( ) ( )∑=
=
N
k
N k
N
J
1
2
,
2
1
θεθ ; ( ) ( ) ( )θθϕθε ,, kkyk T
−=
i diferenciranjem po elementu iθ , pi ,...,2,1= , vektora parametara θ dobija se za i -ti element
( )θig , pi ,...,2,1= gradijent vektora ( )θg
( ) ( ) ( ) ( )
∑= ∂
∂
=
∂
∂
=
N
k ii
N
i
k
k
N
J
g
1
,
,2
2
1
θ
θε
θε
θ
θ
θ
Poslednja relacija se može napisati u obliku skalarnog proizvoda vektora
( ) ( ) ( ) ( )
( )
( )
( )⎪
⎪
⎭
⎪
⎪
⎬
⎫
⎪
⎪
⎩
⎪
⎪
⎨
⎧
⎭
⎬
⎫
⎩
⎨
⎧
∂
∂
∂
∂
∂
∂
=
θε
θε
θε
θ
θε
θ
θε
θ
θε
θ
,
,2
,1
,
...
,2,11
N
N
N
g
iii
i ; pi ,...,2,1=
tako da je gradijent kriterijumske funkcije
( ) ( )
( )
( )
( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( )
( )
( )⎪
⎪
⎭
⎪
⎪
⎬
⎫
⎪
⎪
⎩
⎪
⎪
⎨
⎧
⎪
⎪
⎪
⎪
⎭
⎪⎪
⎪
⎪
⎬
⎫
⎪
⎪
⎪
⎪
⎩
⎪⎪
⎪
⎪
⎨
⎧
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
=
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
∂
∂
=
θε
θε
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θε
θ
θ
θ
θ
θ
θ
,
,2
,1
,,2,1
,,2,1
,,2,1
1
222
111
2
1
NN
N
N
N
g
g
g
J
g
ppp
p
N
odnosno

29. Modeliranje
29
( ) ( ) ( )θθφθ E
N
g
1
=
gde je pxN dimenziona matrica
( ) ( ){ }pxNij θφθφ = ; ( ) ( )
i
ij
j
θ
θε
θφ
∂
∂
=
,
; pi ,...,1= ; Nj ,...,1=
a 1Nx dimenzioni vektor grešaka predikcije
( ) ( ){ } 1, NxiE θεθ = ; ( ) ( ) ( )θθϕθε ,, iiyi T
−= ; Ni ,...,2,1=
Funkcije ( ) ( ) iij
j θθεθφ ∂∂= /, nazivaju se funkcije osetljivosti prvog reda, te se odgovarajuća
matrica ( )θφ naziva matrica funkcije osetljivosti.
Ponovnim diferenciranjem izraza za gradijent dobija se izraz za Hessian matricu
( ) ( ) ( ) ( ) ( ) ( ) ( )θ
θ
θφ
θ
θ
θφ
θ
θ
θ
θ
θ E
N
E
N
Jg
H N
∂
∂
+
∂
∂
=
∂
∂
=
∂
∂
=
11
2
2
Primenom pravila linearne algebre za diferenciranje m -dimenzionog kolona vektora
{ }T
mbbbb ...21= po n -dimenzionom vektoru koloni { }T
nccc ...c21= , na osnovu koga je rezultat
mxn dimenziona matrica
mxnn
mmm
n
n
mxnj
i
c
b
c
b
c
b
c
b
c
b
c
b
c
b
c
b
c
b
c
b
c
b
⎪
⎪
⎪
⎪
⎭
⎪⎪
⎪
⎪
⎬
⎫
⎪
⎪
⎪
⎪
⎩
⎪⎪
⎪
⎪
⎨
⎧
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
=
⎪⎭
⎪
⎬
⎫
⎪⎩
⎪
⎨
⎧
∂
∂
=
∂
∂
21
2
2
2
1
2
1
2
1
1
1
dalje sledi, usvajajući ( )θEb = i θ=c ,
( ) ( ) ( )θφ
θ
θε
θ
θ T
Nxpj
iE
=
⎪⎭
⎪
⎬
⎫
⎪⎩
⎪
⎨
⎧
∂
∂
=
∂
∂ ,
Na taj način se dobija
( ) ( ) ( ) ( ) ( )θ
θ
θφ
θφθφθ E
NN
H T
∂
∂
+=
11
U opštem slučaju, egzaktno izračunavanje izraza za Hessian je tehnički komplikovano, zbog
potrebe da se odredi matrica funkcija osetljivosti drugog reda ( ) θθφ ∂∂ / .

30. Modeliranje
30
Posebno, ukoliko je usvojena ARX reprezentacija modela, tada je ( ) ( ) ( )θθϕθε ,, kkyk T
−= ,
gde ( ) ( )kk ϕθϕ =, i ne zavisi od θ , tako da je vektor funkcija osetljivosti prvog reda
( ) ( ) ( )
( )
( )
( )
( ) 1
1
1
,
pxb
a
nku
ku
nky
ky
k
kk
⎪
⎪
⎪
⎪
⎭
⎪⎪
⎪
⎪
⎬
⎫
⎪
⎪
⎪
⎪
⎩
⎪⎪
⎪
⎪
⎨
⎧
−
−
−−
−−
==
∂
∂
=
∂
∂
− ϕ
θ
θϕ
θ
θε
Dalje je matrica funkicja osetljivosti prvog reda
( ) ( ) ( ) ( ) ( ) ( ) ( ){ } φϕϕϕ
θ
θε
θ
θε
θ
θε
θφ −=−=
⎭
⎬
⎫
⎩
⎨
⎧
∂
∂
∂
∂
∂
∂
= N
N
...21
,
...
,2,1
odakle slede izrazi za gradijent i Hessian
( ) ( ) ( ) ( )θφθθφθ E
N
E
N
g
11
−==
( ) ( ) ( ) TT
NN
H φφθφθφθ
11
==
Primetimo da u navedenom slučaju ( )θφ ne zavisi od θ , te je ( ) 0// =∂∂=∂∂ θφθθφ .
Takođe se zaključuje da je 1Nx dimenzioni vektor grešaka predikcija
( ) ( ){ } ( ) ( ){ }θϕθεθ iiyiE T
−== ,
( )
( )
( )
( )
( )
( )
θ
ϕ
ϕ
ϕ
⎪
⎪
⎭
⎪
⎪
⎬
⎫
⎪
⎪
⎩
⎪
⎪
⎨
⎧
−
⎪
⎪
⎭
⎪
⎪
⎬
⎫
⎪
⎪
⎩
⎪
⎪
⎨
⎧
=
NNy
y
y
T
T
T
2
1
2
1
θφT
Y −=
Ako se dalje primeni Newtonov algoritam za nalaženje minimuma *θ kriterijuma ( )θNJ samo
u jednom koraku, polazeći od proizvoljnog početnog pogađanja vektora parametara 0θθ = ,
dobija se
( ) ( )00
1
01* θθθθθ gH −
−==
( )0
1
0
11
θφφφφθ TT
Y
NN
−⎟
⎠
⎞
⎜
⎝
⎛
+=
−

31. Modeliranje
31
0
11
0
1111
θφφφφφφφθ ⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
−⎟
⎠
⎞
⎜
⎝
⎛
+=
−−
TTT
NN
Y
NN
( ) 0
1
0 θφφφθ −+=
−
YT
odakle dalje sledi
( ) YT
φφφθ
1
*
−
=
što predstavlja prethodno izvedenu normalnu vektorsku jednačinu za izračunavanje LS procene
vektora parametara. Dakle, primena Newtonovog metoda za identifikaciju parametara u ARX,
kao i FIR, reprezentaciji modela dovodi do procene vektora parametara u jednom koraku,
polazeći od proizvoljne početne procene 0θ ovog vektora. Tako dobijeno rešenje minimizira
srednje-kvadratnu kriterijumsku funkciju greške ( )θNJ i ima analitički oblik koji predstavlja
sistem normalnih jednačina (tj. normalnu vektorsku jednačinu). Međutim, za druge
reprezentacije modela, kao što su ARMAX, OE ili BJ, greške predikcije
( ) ( ) ( )θθϕθε ,, kkyk T
−= tako da je matrica ( ) ( ){ }θφθφ ij= , čiji su elementi funkcije osetljivosti
prvog reda ( ) ( ) iij j θθεθφ ∂∂= /, , pi ,...,1= , Nj ,...,1= , funkcija nepoznatog vektora parametara
θ , te će Newtonov algoritam u više koraka odrediti numerički lokalni minimum razmatranog
kriterijuma. U ovom slučaju određivanje Hessiana
( ) ( ) ( ) ( )θθθφθφθφ E
NN
H T
∂∂+= /
11
je tehnički komplikovano, ne samo zbog činjenice da je matrica funkcija osetljivosti prvog reda
( )θΦ funkcija θ , već i potrebe da se izračuna izvod ove matrice po vektoru θ , tj. odredi matrica
funkcija osetljivosti drugog reda ( ) θθφ ∂∂ / . Tada se obično pribegava određenim
aproksimacijama prilikom izračunavanja Hessiana, od kojih se najčešće koriste sledeće:
a) Gauss-Newtonova aproksimacija: ovde se zanemaruje član ( ) θθφ ∂∂ / i Hessian
aproksimira izrazom koji sadrži samo matricu funkcija osetljivosti prvog reda
( ) ( )θφθφ T
N
H
1
≈
a odgovarajući algoritam naziva se Gauss-Newtonov metod
( ) ( ) ( ) ( )iii
T
iiii
E
NN
s θθφθφθφθθ
11
1
1
−
+ ⎟
⎠
⎞
⎜
⎝
⎛
−=
( ) ( )( ) ( ) ( )iii
T
iii Es θθφθφθφθ
1−
−=
Ovaj algoritam zahteva relativno veliki broj iteracija da bi odredio lokalni minimum *θ
kriterijuma ( )θNJ . Algoritam konvergira vrlo brzo samo u okolini minimuma, kada je
aproksimacija kriterijuma ( )θNJ kvadratnom funkcijom odgovarajuća. Međutim, kada

32. Modeliranje
32
kriterijumska funkcija ( )θNJ nije kvadratna, tada aproksimacija NH T
/φφ≈ može biti vrlo
netačna, te neće garantovati konvergenciju algoritma (može se desiti da ovako izračunat Hessian
H nije više pozitivno definitna matrica).
b) Levenberg-Marquasdtova aproksimacija, sastoji se u aproksimaciji Hessiana izrazom
( ) ( ) NIH T
/θφθφλ +≈
gde je λ pozitivna konstanta, a I jedinična matrica odgovarajuće dimenzije, čime se
obezbeđuje da ovako izračunato H bude pozitivno-definitna matrica ( )0>H , odnosno da
postoji inverzija 1−
H , što će garantovati konvergenciju algoritma
( ) ( ) ( ) ( )iii
T
iiii E
NN
Is θθφθφθφλθθ
11
1
1
−
+ ⎟
⎠
⎞
⎜
⎝
⎛
+−=
Posebno, za 0=λ algoritam se svodi na Gauss-Newtonov metod, a za 1>>λ algoritam postaje
metod “najbržeg spusta”.
c) Aproksimacija “najbržeg spusta”, sastoji se u izrazu
IH ≈
čime se dobija gradijentni metod “najbržeg spusta”
( ) ( ) ( )iiiiiiii E
N
sgs θθφθθθθ
1
1 −=−=+
d) Dvokoračna procedura, kod koje se u prvom koraku, kada su procene parametara daleko od
tačke ekstremuma kriterijuma, koristi gradijentni metod najbržeg spusta (koji ima linearnu
brzinu konvergencije), a u drugom koraku, kada su procene parametara blizu minimuma
kriterijuma, koristi Gauss-Newtonov metod (koji ima kvadratnu brzinu konvergencije).
Numerička realizacija PLLS algoritma zasniva se na sledećim koracima:
Korak 1: Inicijalizacija algoritma; usvajanje strukture i izbor početnog 1px dimenzionog
vektora parametara 0θ , početnog faktora konvergencije 0S , skala faktora α , parametra za
zaustavljanje iterativnog postupka ε .
Korak 2: Formiranje paketa ulazno-izlaznih podataka ( ) ( )( )kyku , , Nk ,...,2,1= , izračunati početni
vektor regresije ( )0θϕ ik , Nk ,...,2,1= i greške predikcije ( ) ( ) ( ) 000 ,, θθϕθε kkyk T
−= , Nk ,...,2,1= i
formirati 1Nx dimenzioni vektor ( ) ( ){ }00 ,θεθ kE = čiji su elementi greške predikcije.
Korak 3: Postavljanje brojača iteracija 1=i .
Korak 4: Izračunavanje grešaka predikcije; formiranje regresionog vektora ( )1, −ik θϕ ,
Nk ,...,2,1= i izračunavanje grešaka predikcije ( ) ( ) ( ) 111 ,, −−− −= ii
T
i kkyk θθϕθε ; formiranje 1Nx
dimenzionog vektora ( ) ( ){ }11 , −− = ii kE θεθ čiji su elementi greške predikcije ( )1, −ik θε , Nk ,...,2,1= .

33. Modeliranje
33
Korak 5: Izračunavanje funkcija osetljivosti prvog reda; izračunavanje izvoda grešaka
predikcije ( ) ( ) jkkj
θθεθεθ ∂∂= /,, , pj ,...,1= i formiranje 1px dimenzionog vektora funkcija
osetljivosti ( ) ( ){ }11 ,, −− = ii kk j
θεθε θθ , čiji su elementi funkcije ostljivosti ( )1, −ikj
θεθ , pj ,...,1= , kao
i formiranje 1px dimenzione matrice funkcije osetljivosti
( ) ( ) ( ) ( ){ }1111 ,...,2,1 −−−− = iiii N θεθεθεθφ θθθ
čije su kolone vektori osetljivosti ( )1, −ik θεθ , Nk ,...,2,1= .
Korak 6: Izračunavanje gradijenta i neke od aproksimacije Hessiana, na primer Gauss-
Newtonove aproksimacije,
( ) ( ) ( )111
1
−−− = iii E
N
g θθφθ ; ( ) ( ) ( )111
1
−−− = i
T
ii
N
H θφθφθ
Korak 7: Izračunavanje procene parametara u tekućoj iteraciji
( ) ( )11
1
11 −−
−
−− −= iiiii gHS θθθθ
Korak 8: Izračunavanje kritrijuma ( ) ( ) ( )ii
T
i EEJ θθθ = i testiranje da li je ( ) ( )1−≤ ii JJ θθ ; ako da ići
na sledeći korak, ako ne modifikovati (smanjiti) parametar 1−iS kao 11 −− = ii SS α i ići na korak 7.
Korak 9: Ispitati da li je ( ) ( ) εθθ ≤− −1ii JJ , ako da ići na korak 4, ako ne zaustaviti iterativni
numerički postupak PLLS algoritam se može šematski prikazati sledećim blok dijagramom.
∑
i
θ
{ ( )}N
u k { ( )}N
y k
ˆ( | )i
y k θ
{ ( , )}i pxN
kθε θ
{ ( , )}i N
kε θ θΔ
0
θ
1i
θ +
Slika: Blok dijagram pseudo-linearnog metoda najmanjih kvadrata za parametarsku
identifikaciji sistema

34. Modeliranje
34
Na kraju ilustrujmo postupak određivanja modela osetljivosti na primeru ARMAX
reprezentacije modela
( ) ( ) ( ) ( ) ( ) ( )keqCkuqBkyqA 111 −−−
+=
gde su odgovarajući polinomi
( ) ∑
=
−−
+=
an
i
i
iqaqA
1
1
1 ; ( ) ∑
=
−−
=
bn
i
i
iqbqB
1
1
; ( ) ∑
=
−−
+=
cn
i
i
iqcqC
1
1
1
a ( )ky , ( )ku i ( )ke predstavljaju realizacije izlaza, ulaza i poremećaja (belog slučajnog procesa)
u k -tom diskretnom trenutku. Pošto je na osnovu date relacije
( ) ( )[ ] ( ) ( ) ( ) ( )[ ] ( ) ( )kekeqCkuqBkyqAky +−++−= −−−
11 111
odnosno
( ) ( ) ( ) ( ) ( )kekeqckuqbkyqaky
cba n
i
i
i
n
i
i
i
n
i
i
i ∑∑∑
=
−
=
−
=
−
+++−=
111
ili imajući u vidu značenje operatora kašnjenja 1−
q
( ) ( ) ( ) ( ) ( )keikeqcikuqbikyyaky
cba n
i
i
i
n
i
i
i
n
i
i
i ∑∑∑
=
−
=
−
=
−
+−+−+−−=
111
predikcija izlaza sistema data je sa
( ) ( ) ( ) ( )∑∑∑
===
−+−+−−=
cba n
i
i
n
i
i
n
i
i ikcikubikyaky
111
,ˆ θεθ , Nk ,...,2,1=
gde je greška predikcije
( ) ( ) ( )θθε kykyki ˆ−= , Nk ,...,2,1=
Uvodeći regresioni vektor
( ) ( ) ( ) ( ) ( ) ( ) ( ){ }θεθεθϕ ,...,1...1...1, cba
T
nkknkukunkykyk −−−−−−−−=
greške predikcije se može zapisati i u formi linearne regresije
( ) ( )θθϕθ kky T
=ˆ , Nk ,...,2,1=
gde je vektor parametara
{ }cba nnn
T
ccbbaa ......... 111=θ .

35. Modeliranje
35
Diferenciranjem izvedenog izraza za grešku predikcije dobijaju se funkcije osetljivosti prvog
reda
( ) ( ) ( ) ( )
j
n
i
i
j
a
a
ik
cjky
a
k
k
c
j
∂
−∂
−−=
∂
∂
= ∑
=
θεθε
θε
,,
,
1
( ) ( )∑
=
−−−=
c
j
n
i
ai ikcjky
1
,θε , anj ,...,1=
( ) ( ) ( ) ( )
j
n
i
j
j
b
b
ik
cjku
b
k
k
c
j
∂
−∂
−−−=
∂
∂
= ∑
=
θεθε
θε
,,
,
1
( ) ( )∑
=
−−−−=
c
j
n
i
bi ikcjku
1
,θε , bnj ,...,1=
( ) ( ) ( ) ( )
j
n
i
i
j
c
c
ik
cjk
c
k
k
c
j
∂
−∂
−−−=
∂
∂
= ∑
=
θε
ε
θε
θε
,,
,
1
( ) ( )∑
=
−−−−=
c
j
n
i
ci ikcjk
1
,, θεθε , cnj ,...,1=
Sada je 1px dimenzioni vektor osetljivosti
( ) ( ){ }θεθε θθ ,, kk j
=
čiji su elementi funkcije osetljivosti prvog reda
( ) ( )θεθεθ ,, kk jj a= , anj ,...,1=
( ) ( )θεθεθ ,, kk ajj nb −= , baa nnnj ++= ,...,1
( ) ( )θεθεθ ,, kk bajj nnc −−= , pnnnnnj cbaba =++++= ,...,1
Uvodeći operator kašnjenja, može se pisati
( ) ( )kyqjky j−
=− , ( ) ( )kuqjku j−
=− , ( ) ( )θεθε ,, kqjk j−
=−
odakle se zaključuje da je
( ) ( ) ( )∑
=
−−
−=
c
jj
n
i
a
i
i
j
a kqckyqk
1
,, θεθε , anj ,...,1=
( ) ( ) ( )∑
=
−−
−=
c
jj
n
i
b
i
i
j
b kqckuqk
1
,, θεθε , bnj ,...,1=

36. Modeliranje
36
( ) ( ) ( )∑
=
−−
−=
c
jj
n
i
c
i
i
j
c kqckqk
1
,,, θεθεθε , cnj ,...,1=
odnosno
( ) ( )
( ) ( )ky
qC
q
ky
qc
q
k
j
n
i
i
i
j
a cj
θ
θε
,1
, 1
1
−
−
=
−
−
=
+
=
∑
, anj ,...,1=
( ) ( )
( ) ( )ku
qC
q
ku
qc
q
k
j
n
i
i
i
j
b cj
θ
θε
,1
, 1
1
−
−
=
−
−
=
+
=
∑
, bnj ,...,1=
( ) ( )
( ) ( )k
qC
q
k
qc
q
k
j
n
i
i
i
j
c cj
ε
θ
εθε
,1
, 1
1
−
−
=
−
−
=
+
=
∑
, cnj ,...,1=
gde ( )θ,1−
qC označava ( )1−
qC polinom u ARMAX modelu kod koga je eksplicitno naznačeno
da koeficijenti ovog polinoma predstavljaju elemente nepoznatog vektora parametara θ koji se
estimira.
Izvedene relacije ukazuju na zaključak da je
( ) ( )θεθε ,, 12
1
kqk aa
−
= , ( ) ( ) ( ) ( )θεθεθεθε ,,...,, 123
11
kqkkqk
anan aaaa −
−−
==
( ) ( )θεθε ,, 12
1
kqk bb
−
= , ( ) ( ) ( ) ( )θεθεθεθε ,,...,, 123
11
kqkkqk
bnbn bbbb −
−−
==
( ) ( )θεθε ,, 12
1
kqk cc
−
= , ( ) ( ) ( ) ( )θεθεθεθε ,,...,, 123
11
kqkkqk
cncn cccc −
−−
==
pri čemu je
( ) ( )ky
qc
q
k
cn
i
i
a
∑
=
−
−
+
=
1
1
1
1
,1
θε
( ) ( )ku
qc
q
k
cn
i
i
b
∑
=
−
−
+
=
1
1
1
1
,1
θε
( ) ( )k
qc
q
k
cn
i
i
c εθε
∑
=
−
−
+
−=
1
1
1
1
,1
Dakle, funkcije osetljivosti se generišu na izlazne blokove za kašnjenje, koji su vezani kaskadno
(redno) i formiraju tzv. Lanac kašnjenja, što je za funkciju osetljivosti iaε , ani ,...,1= može
prikazati sledećim blok dijagramom.

37. Modeliranje
37
1
q− 1
q− 1
q−
1
( , )a
kε θ 2
( , )a
kε θ 3
( , )a
kε θ ( , )na
a
kε θ
Slika: Blok šema formiranja funkcija osetljivosti
Na identičan način se formiraju lanci blokova za kašnjenje u slučaju funkcija osetljivosti
( )θε ,kib , ( )θε ,kic , bni ,...,1= , cnj ,...,1= .
Polazna funkcija osetljivosti ( )θε ,kia može se generisati na osnovu tehnike pomoćne
promenljive. Naime, na osnovu definicionog izraza za 1aε može se pisati
( )
( )
( )
( )kp
kp
gc
q
ky
k
cn
i
i
i
a
∑
=
−
−
+
=
1
1
1
,1
θε
gde je ( )kp pomoćna promenljiva. Na osnovu poslednje relacije se zaključuje da je
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )∑ ∑ ∑∑
= = =
−
=
−
−=−=−=⇒⎥
⎦
⎤
⎢
⎣
⎡
+=
c c cc n
i
n
i
n
i
i
i
i
n
i
i
i kpckykykpqckykpkpqcky
1 1 11
1
( ) ( ) ( )1, 1
1
−== −
kpkpqka θε
Na osnovu prikazanih relacija može se formirati sledeći blok dijagram, na kome su istovremeno
naznačene i ostale funkcije osetljivosti iaε , ani ,...,1=
( )y k
1
( 1)x k +
( )p k
2
( )x k
( 1)p k −
1
( )x k
( )c
p k n−
1
( , )a
kε θ 2
( , )a
kε θ
1
q−1
q−1
q− 1
q− 1
q−
( )cn
x k
( , )nc
a
kε θ ( , )na
a
kε θ
( )an
x k
1
C
2
C
cn
C
( 2)p k −
Slika: Blok dijagram za formiranje funkcija osetljivosti ( )θε ,kia , ani ,...,1= , pretpostavljajući da
je uobičajeno ac nn ≤ .

38. Modeliranje
38
Ako se izlazi blokova za kašnjenje označe komponenta vektora stanja dalje se može
pisati
( ) ( ) ( ) ( ) ( )kxckxckxckykx cc nn−−−=+ ...1 22111
( ) ( )kxkx 22 1 =+
( ) ( )kxkx cc nn 11 −=+
( ) ( )kxkx aa nn 11 −=+
Uvodeći vektor stanja
( ) ( ) ( ) ( ){ }1...111 21 +++=+ kxkxkxkx an
T
Poslednji sistem od an diferencnih jednačina prvog reda može se zapisati u obliku vektorske
diferencne jednačine prvog reda
( ) ( ) ( )kyEkxFkx aa +=+1 , 1,...,1,0 −= Nk
gde su odgovarajuće matrice F i E dimenzija aa xnn i 1xna , respektivno, odnosno
aa
c
xnn
n
a
ccc
F
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡ −−−
=
1...00...00
0...10...00
0...00...00
0...00...10
0...00...01
0...0...21
;
1
0
0
0
0
1
xn
a
a
E
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
Funkcije osetljivosti se, dakle, mogu generisati kao odgovarajući elementi vektora stanja, koji je
opisan navedenim modelom u prostoru stanja,
( ) ( )kxkea 1,1
=θ , ( ) ( ) ( ) ( )kxkekxke aan naa == θθ ,,...,, 22
Na identičan način se mogu generisati funkcije osetljivosti ( )θ,ke ib , bni ,...,1= ; ( )θ,ke ic ,
cni ,...,1= , uvodeći odgovarajuće modele u prostoru stanja koji su opisani sa matričnim parom
( )bb EF , i ( )cc EF , , respektivno. Prilikom definisanja funkcije osetljivosti ( )θ,1
keb pobudni signal
u jednačini stanja biće umesto ( )ky signal ( )ku− , dok se kod generisanja funkcija osetljivosti
( )θ,ke ic signal ( )ky zamenjuje sa ( )θε ,k− , gde je ( )θε ,k greška predikcije izlaza. Ako je cb nn >
matrica bF imaće identičan oblik kao matrica aF , samo će joj dimenzije biti cb xnn , umesto

39. Modeliranje
39
ac xnn , dok je bE vektor dimenzije 1xnb . Za cb nn < matrica bF i cE biće identična i imaće
dimenzije cc xnn , a vektor bE biće identičan 1xnc vektoru cE , gde je
cc
c
xnn
n
c
ccc
F
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡ −−−
=
10...00
0...10
0...01
...21
;
1
0
0
1
xn
c
c
E
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=