SlideShare a Scribd company logo
1 of 17
Download to read offline
Prižiūrima aplinkos duomenų
klasifikacija, pagrįsta
erdviniais auto-beta modeliais
„Kompiuterininkų dienos 2021“
Rugsėjo 23-24 d. Klaipėdos universitete ir virtualiai
Eglė Zikarienė, Kęstutis Dučinskas
Nagrinėjamas duomenų modelis
• Atsitiktiniai laukai ir - atitinkamai
požymio reikšmės ir klasių žymės.
• Mokymo aibė - 𝑇 = 𝑍′, 𝑌′ ′
• Sprendžiamas uždavinys – stebinio klasifikavimas naudojant
prižiūrimo klasifikavimo generatyvinius (ang. generative) metodus.
• Nagrinėjama situacija, kai požymio reikšmės patenka į intervalą
ir klasių žymės įgyja dvi reikšmes: 1 arba 2.
• Transformacijos, tam kad duomenų skirstinys būtų normalusis,
• Geriausiai duomenis aprašančio skirstinio parinkimas.
 
 
: p
Z s s D R
   
 
: p
Y s s D R
 
 
0
Z s
 
0,1
Šakotojo Banguolio
duomenys
• Duomenys su pilna informacija (448) su
daline informacija (193).
• Vienas stebėjimo taškas - tai 1 kv. m
sritis, augmenijos padengimas,
vertinamas procentais, požymio
reikšmės Z.
• Klasifikuojamas gruntas, esantis po
augmenija.
• 1 klasė – rieduliai, 2 klasė – ne rieduliai
(žvirgždas, smėlis) - klasių žymės Y.
Auto-Beta modelis erdviniams duomenims
• Beta modelis su transformacija:
• Sąlyginis beta skirstinys:
čia
• Natūralieji parametrai:
• koordinatės:
• Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške
• Pilnai sąlyginė tankio funkcija (Hardouin, Yao, 2008):
 
0 0 0 0
, ~ ,
l l
Z T t Y l Beta a b
 
0 01 0 02
1, 1, 1,2.
l l
l l
a A b A l
    
 0 , j
s s
     
0
0
1
1
0 0 0 0 0 0 0 0 0 0
, ; , 1 ;
l
l
b
a
l l l l l
f f z t y l a b z z B a b



   
 
 
1 0.5 /
org
z z n n
  
 
0
01 1 1 2 2
, 0
ln 1
l
j
l l l
j
z NN j
A x x z
  
 
   
  
0
02 3 1 4 2
0
ln
l
j
l l l
j
z NN j
A x x z
  
 
   
1 2
, .
x x
0
s
Auto-Beta modelio klasifikavimo funkcijos
• Sąlyginė Bajeso diskriminantinė funkcija:
• Sąlyginė tiesinė diskriminantinė funkcija:
           
1
1 2 1 2
0 01
0 01 01 0 01 02 0 0
2
0 01
; ln ln ln 1 ,
f
W z A A z A A z
f



 

        
 
 
     
 
0 0
0 1 02 02 1 01 02
ln , , ,
B a b B a b
  
  
 
 
  
1 2
0 0 0 1 2
0 0 0
0 2 0 2
1 01 2 02
2
ˆ
, ,
z
L z
 
  
   
 
   

  0
0 0 0
0 0
, ,
l l
l l
a
E Z T t y l
a b
    

 
   
2 0 0
0 0 0 2
0 0 0 0
var , .
1
l l
l
l l l l
a b
Z T t y l
a b a b
    
  
0
1
0
2
ln ,



 
  
 
0
apriorinės tikimybės.
l
 
Klasifikavimo klaidos tikimybė
• Tikroji klaidos tikimybė (ang. actual error rate, AER) (Dučinskas, 2009):
čia t. y.
čia - Heaviside step funkcija.
• Apriorinės tikimybės:
• vertinamos atsižvelgiant į turimų klasių imties dydžius:
• vertinamos atsižvelgiant į turimą informaciją:
  0
ˆ ˆ
l l
l
P P

  
   
 
0
ˆ ˆ
1,2, 1 , 0
l
l lZ Z
l P P W z
    
 
 
 
   
1
1 01 01
, 0
0
ˆ ˆ
,
Z
Z
W t
P f t dt H W t f t dt
 
   
   
 
 
   
1
2 02 02
, 0
0
ˆ ˆ
,
Z
Z
W t
P f t dt H W t f t dt
 
  
 
 
.
H
0
l l
N N
 
0
0
0
0 0
1 1
l
l
j NN
j NN j j
d d



  
Artimiausių kaimynų sritys
Vidutiniai tikrųjų klasifikavimo klaidų įverčiai
Vidutinių tikrųjų klasifikavimo klaidų santykis
Šakotojo Banguolio duomenų tyrimas
• Mokymo aibė:
• 113 – nenulinės reikšmės; 335 – nulinės reikšmės.
• Testavimo aibė:
• 49– nenulinės reikšmės; 144– nulinės reikšmės.
• Beta modelis su transformacija:
• Perteklinių nulių auto-Beta modelis (ang. zero inflated auto-Beta
model)
1 2
448, 354, 94.
n n n
  
1 2
193, 149, 44.
m m m
  
 
   
1 0.5 /
org
z z n m n m
    
Perteklinių nulių auto-Beta modelis
erdviniams duomenims
• Sąlyginis skirstinys:
čia
• Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške
• Parametras - mišinio parametras, nulinės reikšmės tikimybė.
• Sąlyginė tankio funkcija:
 0 , j
s s
 
0 0 0 0 0
, ~ , ,
l l l
Z T t Y l BEZI a b c
 
         
0 0 0 0 0 0 0 0 0 0 0 0 0
, , 0 1 0 ,
l l l l l l l l l
g z a b c c I z c I z f z a b
    
0
0 1
l
c
 
 
0
0 1 1 2 2
, 0
ln 1 1
l
j
l l
l j
z NN j
a x x z
  
 
 
    
 
 
 
  
0
0 3 1 4 2
0
ln 1
l
j
l l
l j
z NN j
b x x z
  
 
 
   
 
 
 

   
0 0
0
, 0 , 0
exp 0 1 exp 0
l l
j j
l l l l
l j j
z NN j z NN j
c I z I z
   
   
 
   
   
 
     
   
 
   
   
 
 
Šakotojo Banguolio modeliai
• Šakotojo Banguolio padengimo modeliai:
• Apriorinės tikimybės:
• vertinamos atsižvelgiant į turimų klasių imties dydžius:
• vertinamos atsižvelgiant į turimą informaciją:
 
0 0 0
, ~ ,
l l
Z T t Y l Beta a b
 
 
0
0 1 1 2 2
, 0
ln 1 1
l
j
l l
l j
z NN j
a x x z
  
 
 
    
 
 
 
  
0
0 3 1 4 2
0
ln 1
l
j
l l
l j
z NN j
b x x z
  
 
 
   
 
 
 

0 0
1 2
1 2
,
N N
N N
 
 
1
0
0
0
1
0 0
1 1
j NN
j NN j j
d d



  
 
0 0 0 0
, ~ , ,
l l l
Z T t Y l BEZI a b c
 
   
0 0
0
, 0 , 0
exp 0 1 exp 0
l l
j j
l l l l
l j j
z NN j z NN j
c I z I z
   
   
 
   
   
 
     
   
 
   
   
 
 
BEZI modelio klasifikavimo funkcijos
• Sąlyginė Bajeso diskriminantinė funkcija:
• Tikrosios klasifikavimo tikimybės vertinimas Hold out metodu:
• Apriorinės tikimybės:
0
apriorinės tikimybės,
l
 
     
 
 
 
1 1
01
0 01 0 01 01
0 0 0
2 2
02 02 02
0 02 0
1
; ln ln ln 0 1 0 ln ln
1
c
g c f
W Z I z I z
c c f
g
 
 
 
 

       
        
 
 
       
 
 

   
     
 
0 pilnai sąlyginė beta skirtinio tankio funkcija.
l
f 
 
   
 
 
1
1
1 2
1 1
ˆ ˆ
; ;
m m
j j
j j m
H W Z H W Z
HOR
m
  
   

 
0
l l
N N
 
0
0
0
0 0
1 1
l
l
j NN
j NN j j
d d



  
Artimiausių kaimynų sritys
Klasifikavimo klaidos įverčiai, naudojant Hold
out metodą.
Prior probability Nearest neighbour areas
1 km 3 km 7 km ~30 km
BETA BEZI BETA BEZI BETA BEZI BETA BEZI
Sample size 0,3550 0,2435 0,3783 0,2642 0,3377 0,2487 0,3837 0,2435
Inv. dist. max min dist. 0,3550 0,2021 0,3783 0,2383 0,3377 0,2228 0,3837 0,2176
Inv. dist. all training sample 0,3550 0,2228 0,3783 0,2487 0,3377 0,2435 0,3837 0,2383
Inv. dist. 4 NN 0,3550 0,2073 0,3783 0,2280 0,3377 0,2124 0,3837 0,2021
Išvados
• Pasiūlytos klasifikavimo taisyklės erdviniams auto beta modeliams, pagrįstos
klasifikuojamo stebinio sąlyginiais tankiais. Palyginimas atliktas sprendžiant dugno
tipo nustatymo uždavinį Baltijos jūros priekrantės zonoje.
• BDF klasifikavimo taisyklė palyginta su modifikuota LDF klasifikavimo taisykle.
Palyginimas atliktas skaičiuojant vidutines tikrosios klaidos tikimybes. BDF
didesnis pranašumas pastebėtas, kai į apriorinių tikimybių skaičiavimą įtraukiama
erdvinė informacija.
• Požymio reikšmių modeliavimui pasirinkti auto-beta ir BEZI modeliai. Pritaikyta
BDF klasifikavimo taisyklė, palyginimas atliktas skaičiuojant empirinę tikrosios
klaidos tikimybę. BEZI modelio pranašumas, klaidų įverčiai gauti mažiausi, kai į
apriorinių tikimybių skaičiavimą įtraukiama erdvinė informacija.
Ačiū.

More Related Content

More from Lietuvos kompiuterininkų sąjunga

D. Dluznevskij. YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemose
D. Dluznevskij.  YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemoseD. Dluznevskij.  YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemose
D. Dluznevskij. YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemoseLietuvos kompiuterininkų sąjunga
 
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...Lietuvos kompiuterininkų sąjunga
 
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...Lietuvos kompiuterininkų sąjunga
 
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...Lietuvos kompiuterininkų sąjunga
 
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...Lietuvos kompiuterininkų sąjunga
 
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...Lietuvos kompiuterininkų sąjunga
 
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizė
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizėGražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizė
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizėLietuvos kompiuterininkų sąjunga
 
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?Lietuvos kompiuterininkų sąjunga
 
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėje
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėjeTomas Kasperavičius. Robotikos realizacija edukacinėje erdvėje
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėjeLietuvos kompiuterininkų sąjunga
 
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėje
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėjePaulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėje
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėjeLietuvos kompiuterininkų sąjunga
 
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...Lietuvos kompiuterininkų sąjunga
 
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...Lietuvos kompiuterininkų sąjunga
 
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...Lietuvos kompiuterininkų sąjunga
 
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitis
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitisAndrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitis
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitisLietuvos kompiuterininkų sąjunga
 

More from Lietuvos kompiuterininkų sąjunga (20)

D. Dluznevskij. YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemose
D. Dluznevskij.  YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemoseD. Dluznevskij.  YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemose
D. Dluznevskij. YOLOv5 efektyvumo tyrimas „iPhone“ palaikomose sistemose
 
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...
I. Jakšaitytė. Nuotoliniai kursai informatikos mokytojų kvalifikacijai kelti:...
 
G. Mezetis. Skaimenines valstybes link
G. Mezetis. Skaimenines valstybes link G. Mezetis. Skaimenines valstybes link
G. Mezetis. Skaimenines valstybes link
 
V. Jakuška. Ką reikėtu žinoti apie .lt domeną?
V. Jakuška. Ką reikėtu žinoti apie .lt domeną?V. Jakuška. Ką reikėtu žinoti apie .lt domeną?
V. Jakuška. Ką reikėtu žinoti apie .lt domeną?
 
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...
V. Marcinkevičius. ARIS dirbtinio intelekto kurso mokymosi medžiaga, www.aris...
 
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...
Jolanta Navickaitė. Skaitmeninė kompetencija ir informatikos naujovės bendraj...
 
Raimundas Matylevičius. Asmens duomenų valdymas
Raimundas Matylevičius. Asmens duomenų valdymasRaimundas Matylevičius. Asmens duomenų valdymas
Raimundas Matylevičius. Asmens duomenų valdymas
 
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...
Romas Baronas. Tarpdisciplininiai moksliniai tyrimai – galimybė atsiverti ir ...
 
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...
Monika Danilovaitė. Informatikos metodų taikymas balso klosčių būklei įvertin...
 
Rima Šiaulienė. IT VBE 2021 teksto maketavimo užduotis
Rima Šiaulienė. IT VBE 2021 teksto maketavimo užduotisRima Šiaulienė. IT VBE 2021 teksto maketavimo užduotis
Rima Šiaulienė. IT VBE 2021 teksto maketavimo užduotis
 
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizė
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizėGražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizė
Gražina Korvel. Lombardo šnekos ir jos akustinių ypatybių analizė
 
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?
Gediminas Navickas. Ar mes visi vienodai suvokiame sintetinę kalbą?
 
Eugenijus Valavičius. Hiperteksto kelias
Eugenijus Valavičius. Hiperteksto keliasEugenijus Valavičius. Hiperteksto kelias
Eugenijus Valavičius. Hiperteksto kelias
 
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėje
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėjeTomas Kasperavičius. Robotikos realizacija edukacinėje erdvėje
Tomas Kasperavičius. Robotikos realizacija edukacinėje erdvėje
 
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėje
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėjePaulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėje
Paulius Šakalys. Robotika: sąvoka, rūšys, pritaikymas edukacinėje erdvėje
 
Olga Kurasova. Dirbtinis intelektas ir neuroniniai tinklai
Olga Kurasova. Dirbtinis intelektas ir neuroniniai tinklaiOlga Kurasova. Dirbtinis intelektas ir neuroniniai tinklai
Olga Kurasova. Dirbtinis intelektas ir neuroniniai tinklai
 
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...
Remigijus Paulavičius. Blokų grandinės – tai gerokai daugiau nei tik skaitmen...
 
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...
Romualdas Krukauskas. Nesistemiško ir decentralizuoto valstybės informacinių ...
 
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...
Eimutis Karciauskas. Programavimo pamokų motyvacijos ir efektyvumo gerinimo m...
 
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitis
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitisAndrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitis
Andrius Plečkaitis. IT specialistų deficitas ir Lietuvos ateitis
 

Recently uploaded

Enhancing Worker Digital Experience: A Hands-on Workshop for Partners
Enhancing Worker Digital Experience: A Hands-on Workshop for PartnersEnhancing Worker Digital Experience: A Hands-on Workshop for Partners
Enhancing Worker Digital Experience: A Hands-on Workshop for PartnersThousandEyes
 
Scanning the Internet for External Cloud Exposures via SSL Certs
Scanning the Internet for External Cloud Exposures via SSL CertsScanning the Internet for External Cloud Exposures via SSL Certs
Scanning the Internet for External Cloud Exposures via SSL CertsRizwan Syed
 
Pigging Solutions Piggable Sweeping Elbows
Pigging Solutions Piggable Sweeping ElbowsPigging Solutions Piggable Sweeping Elbows
Pigging Solutions Piggable Sweeping ElbowsPigging Solutions
 
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks..."LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...Fwdays
 
Swan(sea) Song – personal research during my six years at Swansea ... and bey...
Swan(sea) Song – personal research during my six years at Swansea ... and bey...Swan(sea) Song – personal research during my six years at Swansea ... and bey...
Swan(sea) Song – personal research during my six years at Swansea ... and bey...Alan Dix
 
Advanced Test Driven-Development @ php[tek] 2024
Advanced Test Driven-Development @ php[tek] 2024Advanced Test Driven-Development @ php[tek] 2024
Advanced Test Driven-Development @ php[tek] 2024Scott Keck-Warren
 
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024BookNet Canada
 
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024BookNet Canada
 
Breaking the Kubernetes Kill Chain: Host Path Mount
Breaking the Kubernetes Kill Chain: Host Path MountBreaking the Kubernetes Kill Chain: Host Path Mount
Breaking the Kubernetes Kill Chain: Host Path MountPuma Security, LLC
 
The Codex of Business Writing Software for Real-World Solutions 2.pptx
The Codex of Business Writing Software for Real-World Solutions 2.pptxThe Codex of Business Writing Software for Real-World Solutions 2.pptx
The Codex of Business Writing Software for Real-World Solutions 2.pptxMalak Abu Hammad
 
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmatics
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmaticsKotlin Multiplatform & Compose Multiplatform - Starter kit for pragmatics
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmaticscarlostorres15106
 
SIEMENS: RAPUNZEL – A Tale About Knowledge Graph
SIEMENS: RAPUNZEL – A Tale About Knowledge GraphSIEMENS: RAPUNZEL – A Tale About Knowledge Graph
SIEMENS: RAPUNZEL – A Tale About Knowledge GraphNeo4j
 
Connect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationConnect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationSlibray Presentation
 
Presentation on how to chat with PDF using ChatGPT code interpreter
Presentation on how to chat with PDF using ChatGPT code interpreterPresentation on how to chat with PDF using ChatGPT code interpreter
Presentation on how to chat with PDF using ChatGPT code interpreternaman860154
 
Build your next Gen AI Breakthrough - April 2024
Build your next Gen AI Breakthrough - April 2024Build your next Gen AI Breakthrough - April 2024
Build your next Gen AI Breakthrough - April 2024Neo4j
 
Install Stable Diffusion in windows machine
Install Stable Diffusion in windows machineInstall Stable Diffusion in windows machine
Install Stable Diffusion in windows machinePadma Pradeep
 
Streamlining Python Development: A Guide to a Modern Project Setup
Streamlining Python Development: A Guide to a Modern Project SetupStreamlining Python Development: A Guide to a Modern Project Setup
Streamlining Python Development: A Guide to a Modern Project SetupFlorian Wilhelm
 
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptx
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptxMaking_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptx
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptxnull - The Open Security Community
 

Recently uploaded (20)

Enhancing Worker Digital Experience: A Hands-on Workshop for Partners
Enhancing Worker Digital Experience: A Hands-on Workshop for PartnersEnhancing Worker Digital Experience: A Hands-on Workshop for Partners
Enhancing Worker Digital Experience: A Hands-on Workshop for Partners
 
Scanning the Internet for External Cloud Exposures via SSL Certs
Scanning the Internet for External Cloud Exposures via SSL CertsScanning the Internet for External Cloud Exposures via SSL Certs
Scanning the Internet for External Cloud Exposures via SSL Certs
 
Pigging Solutions Piggable Sweeping Elbows
Pigging Solutions Piggable Sweeping ElbowsPigging Solutions Piggable Sweeping Elbows
Pigging Solutions Piggable Sweeping Elbows
 
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks..."LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...
"LLMs for Python Engineers: Advanced Data Analysis and Semantic Kernel",Oleks...
 
Swan(sea) Song – personal research during my six years at Swansea ... and bey...
Swan(sea) Song – personal research during my six years at Swansea ... and bey...Swan(sea) Song – personal research during my six years at Swansea ... and bey...
Swan(sea) Song – personal research during my six years at Swansea ... and bey...
 
DMCC Future of Trade Web3 - Special Edition
DMCC Future of Trade Web3 - Special EditionDMCC Future of Trade Web3 - Special Edition
DMCC Future of Trade Web3 - Special Edition
 
Advanced Test Driven-Development @ php[tek] 2024
Advanced Test Driven-Development @ php[tek] 2024Advanced Test Driven-Development @ php[tek] 2024
Advanced Test Driven-Development @ php[tek] 2024
 
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
 
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
New from BookNet Canada for 2024: BNC BiblioShare - Tech Forum 2024
 
Breaking the Kubernetes Kill Chain: Host Path Mount
Breaking the Kubernetes Kill Chain: Host Path MountBreaking the Kubernetes Kill Chain: Host Path Mount
Breaking the Kubernetes Kill Chain: Host Path Mount
 
The Codex of Business Writing Software for Real-World Solutions 2.pptx
The Codex of Business Writing Software for Real-World Solutions 2.pptxThe Codex of Business Writing Software for Real-World Solutions 2.pptx
The Codex of Business Writing Software for Real-World Solutions 2.pptx
 
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmatics
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmaticsKotlin Multiplatform & Compose Multiplatform - Starter kit for pragmatics
Kotlin Multiplatform & Compose Multiplatform - Starter kit for pragmatics
 
SIEMENS: RAPUNZEL – A Tale About Knowledge Graph
SIEMENS: RAPUNZEL – A Tale About Knowledge GraphSIEMENS: RAPUNZEL – A Tale About Knowledge Graph
SIEMENS: RAPUNZEL – A Tale About Knowledge Graph
 
The transition to renewables in India.pdf
The transition to renewables in India.pdfThe transition to renewables in India.pdf
The transition to renewables in India.pdf
 
Connect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationConnect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck Presentation
 
Presentation on how to chat with PDF using ChatGPT code interpreter
Presentation on how to chat with PDF using ChatGPT code interpreterPresentation on how to chat with PDF using ChatGPT code interpreter
Presentation on how to chat with PDF using ChatGPT code interpreter
 
Build your next Gen AI Breakthrough - April 2024
Build your next Gen AI Breakthrough - April 2024Build your next Gen AI Breakthrough - April 2024
Build your next Gen AI Breakthrough - April 2024
 
Install Stable Diffusion in windows machine
Install Stable Diffusion in windows machineInstall Stable Diffusion in windows machine
Install Stable Diffusion in windows machine
 
Streamlining Python Development: A Guide to a Modern Project Setup
Streamlining Python Development: A Guide to a Modern Project SetupStreamlining Python Development: A Guide to a Modern Project Setup
Streamlining Python Development: A Guide to a Modern Project Setup
 
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptx
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptxMaking_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptx
Making_way_through_DLL_hollowing_inspite_of_CFG_by_Debjeet Banerjee.pptx
 

Prižiūrima aplinkos duomenų klasifikacija erdviniais modeliais

  • 1. Prižiūrima aplinkos duomenų klasifikacija, pagrįsta erdviniais auto-beta modeliais „Kompiuterininkų dienos 2021“ Rugsėjo 23-24 d. Klaipėdos universitete ir virtualiai Eglė Zikarienė, Kęstutis Dučinskas
  • 2. Nagrinėjamas duomenų modelis • Atsitiktiniai laukai ir - atitinkamai požymio reikšmės ir klasių žymės. • Mokymo aibė - 𝑇 = 𝑍′, 𝑌′ ′ • Sprendžiamas uždavinys – stebinio klasifikavimas naudojant prižiūrimo klasifikavimo generatyvinius (ang. generative) metodus. • Nagrinėjama situacija, kai požymio reikšmės patenka į intervalą ir klasių žymės įgyja dvi reikšmes: 1 arba 2. • Transformacijos, tam kad duomenų skirstinys būtų normalusis, • Geriausiai duomenis aprašančio skirstinio parinkimas.     : p Z s s D R       : p Y s s D R     0 Z s   0,1
  • 3. Šakotojo Banguolio duomenys • Duomenys su pilna informacija (448) su daline informacija (193). • Vienas stebėjimo taškas - tai 1 kv. m sritis, augmenijos padengimas, vertinamas procentais, požymio reikšmės Z. • Klasifikuojamas gruntas, esantis po augmenija. • 1 klasė – rieduliai, 2 klasė – ne rieduliai (žvirgždas, smėlis) - klasių žymės Y.
  • 4. Auto-Beta modelis erdviniams duomenims • Beta modelis su transformacija: • Sąlyginis beta skirstinys: čia • Natūralieji parametrai: • koordinatės: • Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške • Pilnai sąlyginė tankio funkcija (Hardouin, Yao, 2008):   0 0 0 0 , ~ , l l Z T t Y l Beta a b   0 01 0 02 1, 1, 1,2. l l l l a A b A l       0 , j s s       0 0 1 1 0 0 0 0 0 0 0 0 0 0 , ; , 1 ; l l b a l l l l l f f z t y l a b z z B a b            1 0.5 / org z z n n      0 01 1 1 2 2 , 0 ln 1 l j l l l j z NN j A x x z             0 02 3 1 4 2 0 ln l j l l l j z NN j A x x z          1 2 , . x x 0 s
  • 5. Auto-Beta modelio klasifikavimo funkcijos • Sąlyginė Bajeso diskriminantinė funkcija: • Sąlyginė tiesinė diskriminantinė funkcija:             1 1 2 1 2 0 01 0 01 01 0 01 02 0 0 2 0 01 ; ln ln ln 1 , f W z A A z A A z f                            0 0 0 1 02 02 1 01 02 ln , , , B a b B a b              1 2 0 0 0 1 2 0 0 0 0 2 0 2 1 01 2 02 2 ˆ , , z L z                   0 0 0 0 0 0 , , l l l l a E Z T t y l a b             2 0 0 0 0 0 2 0 0 0 0 var , . 1 l l l l l l l a b Z T t y l a b a b         0 1 0 2 ln ,           0 apriorinės tikimybės. l  
  • 6. Klasifikavimo klaidos tikimybė • Tikroji klaidos tikimybė (ang. actual error rate, AER) (Dučinskas, 2009): čia t. y. čia - Heaviside step funkcija. • Apriorinės tikimybės: • vertinamos atsižvelgiant į turimų klasių imties dydžius: • vertinamos atsižvelgiant į turimą informaciją:   0 ˆ ˆ l l l P P           0 ˆ ˆ 1,2, 1 , 0 l l lZ Z l P P W z                1 1 01 01 , 0 0 ˆ ˆ , Z Z W t P f t dt H W t f t dt                   1 2 02 02 , 0 0 ˆ ˆ , Z Z W t P f t dt H W t f t dt          . H 0 l l N N   0 0 0 0 0 1 1 l l j NN j NN j j d d      
  • 10. Šakotojo Banguolio duomenų tyrimas • Mokymo aibė: • 113 – nenulinės reikšmės; 335 – nulinės reikšmės. • Testavimo aibė: • 49– nenulinės reikšmės; 144– nulinės reikšmės. • Beta modelis su transformacija: • Perteklinių nulių auto-Beta modelis (ang. zero inflated auto-Beta model) 1 2 448, 354, 94. n n n    1 2 193, 149, 44. m m m          1 0.5 / org z z n m n m     
  • 11. Perteklinių nulių auto-Beta modelis erdviniams duomenims • Sąlyginis skirstinys: čia • Parametras - apibrėžia priklausomybę tarp požymio reikšmių taške • Parametras - mišinio parametras, nulinės reikšmės tikimybė. • Sąlyginė tankio funkcija:  0 , j s s   0 0 0 0 0 , ~ , , l l l Z T t Y l BEZI a b c             0 0 0 0 0 0 0 0 0 0 0 0 0 , , 0 1 0 , l l l l l l l l l g z a b c c I z c I z f z a b      0 0 1 l c     0 0 1 1 2 2 , 0 ln 1 1 l j l l l j z NN j a x x z                      0 0 3 1 4 2 0 ln 1 l j l l l j z NN j b x x z                       0 0 0 , 0 , 0 exp 0 1 exp 0 l l j j l l l l l j j z NN j z NN j c I z I z                                            
  • 12. Šakotojo Banguolio modeliai • Šakotojo Banguolio padengimo modeliai: • Apriorinės tikimybės: • vertinamos atsižvelgiant į turimų klasių imties dydžius: • vertinamos atsižvelgiant į turimą informaciją:   0 0 0 , ~ , l l Z T t Y l Beta a b     0 0 1 1 2 2 , 0 ln 1 1 l j l l l j z NN j a x x z                      0 0 3 1 4 2 0 ln 1 l j l l l j z NN j b x x z                   0 0 1 2 1 2 , N N N N     1 0 0 0 1 0 0 1 1 j NN j NN j j d d         0 0 0 0 , ~ , , l l l Z T t Y l BEZI a b c       0 0 0 , 0 , 0 exp 0 1 exp 0 l l j j l l l l l j j z NN j z NN j c I z I z                                            
  • 13. BEZI modelio klasifikavimo funkcijos • Sąlyginė Bajeso diskriminantinė funkcija: • Tikrosios klasifikavimo tikimybės vertinimas Hold out metodu: • Apriorinės tikimybės: 0 apriorinės tikimybės, l               1 1 01 0 01 0 01 01 0 0 0 2 2 02 02 02 0 02 0 1 ; ln ln ln 0 1 0 ln ln 1 c g c f W Z I z I z c c f g                                                        0 pilnai sąlyginė beta skirtinio tankio funkcija. l f            1 1 1 2 1 1 ˆ ˆ ; ; m m j j j j m H W Z H W Z HOR m           0 l l N N   0 0 0 0 0 1 1 l l j NN j NN j j d d      
  • 15. Klasifikavimo klaidos įverčiai, naudojant Hold out metodą. Prior probability Nearest neighbour areas 1 km 3 km 7 km ~30 km BETA BEZI BETA BEZI BETA BEZI BETA BEZI Sample size 0,3550 0,2435 0,3783 0,2642 0,3377 0,2487 0,3837 0,2435 Inv. dist. max min dist. 0,3550 0,2021 0,3783 0,2383 0,3377 0,2228 0,3837 0,2176 Inv. dist. all training sample 0,3550 0,2228 0,3783 0,2487 0,3377 0,2435 0,3837 0,2383 Inv. dist. 4 NN 0,3550 0,2073 0,3783 0,2280 0,3377 0,2124 0,3837 0,2021
  • 16. Išvados • Pasiūlytos klasifikavimo taisyklės erdviniams auto beta modeliams, pagrįstos klasifikuojamo stebinio sąlyginiais tankiais. Palyginimas atliktas sprendžiant dugno tipo nustatymo uždavinį Baltijos jūros priekrantės zonoje. • BDF klasifikavimo taisyklė palyginta su modifikuota LDF klasifikavimo taisykle. Palyginimas atliktas skaičiuojant vidutines tikrosios klaidos tikimybes. BDF didesnis pranašumas pastebėtas, kai į apriorinių tikimybių skaičiavimą įtraukiama erdvinė informacija. • Požymio reikšmių modeliavimui pasirinkti auto-beta ir BEZI modeliai. Pritaikyta BDF klasifikavimo taisyklė, palyginimas atliktas skaičiuojant empirinę tikrosios klaidos tikimybę. BEZI modelio pranašumas, klaidų įverčiai gauti mažiausi, kai į apriorinių tikimybių skaičiavimą įtraukiama erdvinė informacija.