This document summarizes research on supervised environmental data classification using spatial auto-beta models. The data consists of random fields with attribute values and class labels. A training set is used to classify new observations using generative classification methods. Specifically, attribute values fall within an interval and class labels take one of two values. Transformations are applied to make the data distribution normal. The best fitting distribution is selected to best describe the data. Classification accuracy is evaluated using actual error rates estimated from the data.
Prižiūrima aplinkos duomenų klasifikacija erdviniais modeliais
1. Prižiūrima aplinkos duomenų
klasifikacija, pagrįsta
erdviniais auto-beta modeliais
„Kompiuterininkų dienos 2021“
Rugsėjo 23-24 d. Klaipėdos universitete ir virtualiai
Eglė Zikarienė, Kęstutis Dučinskas
2. Nagrinėjamas duomenų modelis
• Atsitiktiniai laukai ir - atitinkamai
požymio reikšmės ir klasių žymės.
• Mokymo aibė - 𝑇 = 𝑍′, 𝑌′ ′
• Sprendžiamas uždavinys – stebinio klasifikavimas naudojant
prižiūrimo klasifikavimo generatyvinius (ang. generative) metodus.
• Nagrinėjama situacija, kai požymio reikšmės patenka į intervalą
ir klasių žymės įgyja dvi reikšmes: 1 arba 2.
• Transformacijos, tam kad duomenų skirstinys būtų normalusis,
• Geriausiai duomenis aprašančio skirstinio parinkimas.
: p
Z s s D R
: p
Y s s D R
0
Z s
0,1
3. Šakotojo Banguolio
duomenys
• Duomenys su pilna informacija (448) su
daline informacija (193).
• Vienas stebėjimo taškas - tai 1 kv. m
sritis, augmenijos padengimas,
vertinamas procentais, požymio
reikšmės Z.
• Klasifikuojamas gruntas, esantis po
augmenija.
• 1 klasė – rieduliai, 2 klasė – ne rieduliai
(žvirgždas, smėlis) - klasių žymės Y.
4. Auto-Beta modelis erdviniams duomenims
• Beta modelis su transformacija:
• Sąlyginis beta skirstinys:
čia
• Natūralieji parametrai:
• koordinatės:
• Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške
• Pilnai sąlyginė tankio funkcija (Hardouin, Yao, 2008):
0 0 0 0
, ~ ,
l l
Z T t Y l Beta a b
0 01 0 02
1, 1, 1,2.
l l
l l
a A b A l
0 , j
s s
0
0
1
1
0 0 0 0 0 0 0 0 0 0
, ; , 1 ;
l
l
b
a
l l l l l
f f z t y l a b z z B a b
1 0.5 /
org
z z n n
0
01 1 1 2 2
, 0
ln 1
l
j
l l l
j
z NN j
A x x z
0
02 3 1 4 2
0
ln
l
j
l l l
j
z NN j
A x x z
1 2
, .
x x
0
s
5. Auto-Beta modelio klasifikavimo funkcijos
• Sąlyginė Bajeso diskriminantinė funkcija:
• Sąlyginė tiesinė diskriminantinė funkcija:
1
1 2 1 2
0 01
0 01 01 0 01 02 0 0
2
0 01
; ln ln ln 1 ,
f
W z A A z A A z
f
0 0
0 1 02 02 1 01 02
ln , , ,
B a b B a b
1 2
0 0 0 1 2
0 0 0
0 2 0 2
1 01 2 02
2
ˆ
, ,
z
L z
0
0 0 0
0 0
, ,
l l
l l
a
E Z T t y l
a b
2 0 0
0 0 0 2
0 0 0 0
var , .
1
l l
l
l l l l
a b
Z T t y l
a b a b
0
1
0
2
ln ,
0
apriorinės tikimybės.
l
6. Klasifikavimo klaidos tikimybė
• Tikroji klaidos tikimybė (ang. actual error rate, AER) (Dučinskas, 2009):
čia t. y.
čia - Heaviside step funkcija.
• Apriorinės tikimybės:
• vertinamos atsižvelgiant į turimų klasių imties dydžius:
• vertinamos atsižvelgiant į turimą informaciją:
0
ˆ ˆ
l l
l
P P
0
ˆ ˆ
1,2, 1 , 0
l
l lZ Z
l P P W z
1
1 01 01
, 0
0
ˆ ˆ
,
Z
Z
W t
P f t dt H W t f t dt
1
2 02 02
, 0
0
ˆ ˆ
,
Z
Z
W t
P f t dt H W t f t dt
.
H
0
l l
N N
0
0
0
0 0
1 1
l
l
j NN
j NN j j
d d
10. Šakotojo Banguolio duomenų tyrimas
• Mokymo aibė:
• 113 – nenulinės reikšmės; 335 – nulinės reikšmės.
• Testavimo aibė:
• 49– nenulinės reikšmės; 144– nulinės reikšmės.
• Beta modelis su transformacija:
• Perteklinių nulių auto-Beta modelis (ang. zero inflated auto-Beta
model)
1 2
448, 354, 94.
n n n
1 2
193, 149, 44.
m m m
1 0.5 /
org
z z n m n m
11. Perteklinių nulių auto-Beta modelis
erdviniams duomenims
• Sąlyginis skirstinys:
čia
• Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške
• Parametras - mišinio parametras, nulinės reikšmės tikimybė.
• Sąlyginė tankio funkcija:
0 , j
s s
0 0 0 0 0
, ~ , ,
l l l
Z T t Y l BEZI a b c
0 0 0 0 0 0 0 0 0 0 0 0 0
, , 0 1 0 ,
l l l l l l l l l
g z a b c c I z c I z f z a b
0
0 1
l
c
0
0 1 1 2 2
, 0
ln 1 1
l
j
l l
l j
z NN j
a x x z
0
0 3 1 4 2
0
ln 1
l
j
l l
l j
z NN j
b x x z
0 0
0
, 0 , 0
exp 0 1 exp 0
l l
j j
l l l l
l j j
z NN j z NN j
c I z I z
12. Šakotojo Banguolio modeliai
• Šakotojo Banguolio padengimo modeliai:
• Apriorinės tikimybės:
• vertinamos atsižvelgiant į turimų klasių imties dydžius:
• vertinamos atsižvelgiant į turimą informaciją:
0 0 0
, ~ ,
l l
Z T t Y l Beta a b
0
0 1 1 2 2
, 0
ln 1 1
l
j
l l
l j
z NN j
a x x z
0
0 3 1 4 2
0
ln 1
l
j
l l
l j
z NN j
b x x z
0 0
1 2
1 2
,
N N
N N
1
0
0
0
1
0 0
1 1
j NN
j NN j j
d d
0 0 0 0
, ~ , ,
l l l
Z T t Y l BEZI a b c
0 0
0
, 0 , 0
exp 0 1 exp 0
l l
j j
l l l l
l j j
z NN j z NN j
c I z I z
13. BEZI modelio klasifikavimo funkcijos
• Sąlyginė Bajeso diskriminantinė funkcija:
• Tikrosios klasifikavimo tikimybės vertinimas Hold out metodu:
• Apriorinės tikimybės:
0
apriorinės tikimybės,
l
1 1
01
0 01 0 01 01
0 0 0
2 2
02 02 02
0 02 0
1
; ln ln ln 0 1 0 ln ln
1
c
g c f
W Z I z I z
c c f
g
0 pilnai sąlyginė beta skirtinio tankio funkcija.
l
f
1
1
1 2
1 1
ˆ ˆ
; ;
m m
j j
j j m
H W Z H W Z
HOR
m
0
l l
N N
0
0
0
0 0
1 1
l
l
j NN
j NN j j
d d