Olasılık ve istatistik bayes öğrenmesi https://www.derskonuanlatim.com

1. BAYES ÖĞRENMESİ
1Yapay Zeka-Bayes Öğrenme
Araş. Gör. Nesibe YALÇIN
BİLECİK ÜNİVERSİTESİ

2. İÇERİK
Bayes Teoremi
Bayes Sınıflandırma
Örnek
Kullanım AlanlarıKullanım Alanları
Avantajları
Dezavantajları
Yapay Zeka-Bayes Öğrenme 2

3. BAYES TEOREMİ
Bir olayın meydana gelmesinde birden fazla etkenin
olması koşulunda, olayın hangi etkenin etkinliği ile ortaya
çıktığını gösteren teoremdir.
P(h) = h olayının önsel (marjinal) olasılığı
P(D) = D eğitim verisinin önsel olasılığı
P(D|h) = h olayı verildiğinde D’ nin koşullu olasılığı
P(h|D) = D eğitim verisi verildiğinde h’ nin koşullu
olasılığı
Yapay Zeka-Bayes Öğrenme 3

4. Alternatif iki hipotezi olan bir tıbbi teşhis problemini ele alalım.
(1) Hasta, kanser (2) Hasta, kanser değil
Veriler, (pozitif) ve ϴ (negatif) olmak üzere iki sonucu olan laboratuar
testlerinden oluşmaktadır. Tüm popülasyonun .008’lik
kısmının bu hastalığa sahip olduğuna dair önsel bilgimiz var. Ayrıca
laboratuar testi bu hastalığa dair eksik sonuçlar da verebilmektedir.Test,
hastalığın gerçekte var olduğu durumların %98’inde doğru pozitif sonuç,
olmadığı durumların %97’ sinde doğru negatif sonuç vermektedir. Diğer
durumlarda ise test, hastalığın varlığına dair tam zıttı sonuçlar vermektedir:
P(cancer)=0.008 P(¬cancer)=0.992
P( |cancer )=0.98 P( |¬cancer)=0.03
⊕
⊕ ⊕
Yapay Zeka-Bayes Öğrenme 4
P( |cancer )=0.98 P( |¬cancer)=0.03
P(ϴ|cancer)=0.02 P(ϴ|¬cancer)=0.97
Laboratuar testi pozitif olan bir hastanın olduğunu varsayarsak,
bu hastayı kanser var şeklinde mi, yok şeklinde mi teşhis etmeliyiz?
P( |cancer ) P(cancer)=0.98*0.008 0.0078 0.0078
P( ) = 1 1
P( |¬cancer) P(¬cancer)= 0.03*0.992 0.0298 0.0298
P( ) = 1 1
P( cancer| ) < P(¬cancer| ) ¬cancer
⊕ ⊕
⊕
⊕
⊕ ⊕
⊕
⊕

5. BAYES SINIFLANDIRMA
İstatistiksel bir sınıflandırıcıdır.
İstatistikteki bayes teoremine dayanır.
Örneklerin hangi sınıfa hangi olasılıkla ait olduklarını
öngörür.
Basit bir yöntemdir.Basit bir yöntemdir.
Öğrenme zamanı yoktur, yani sınıflandırmadan önce
bir başlangıç zamanı gerekmez.
Her sınıflandırma için tüm veri kümesini işler.
Yapay Zeka-Bayes Öğrenme 5

6. TENİS OYNAMA ÖRNEĞİ
GünGünGünGün Hava DurumuHava DurumuHava DurumuHava Durumu Sıcaklık DerecesiSıcaklık DerecesiSıcaklık DerecesiSıcaklık Derecesi Nem OranıNem OranıNem OranıNem Oranı RüzgarRüzgarRüzgarRüzgar Oynama DurumuOynama DurumuOynama DurumuOynama Durumu
D1 Güneşli Sıcak Yüksek Zayıf Hayır
D2 Güneşli Sıcak Yüksek Şiddetli Hayır
D3 Bulutlu Sıcak Yüksek Zayıf Evet
D4 Yağmurlu Ilık Yüksek Zayıf Evet
D5 Yağmurlu Serin Normal Zayıf Evet
D6 Yağmurlu Serin Normal Şiddetli Hayır
Yapay Zeka-Bayes Öğrenme 6
D6 Yağmurlu Serin Normal Şiddetli Hayır
D7 Bulutlu Serin Normal Şiddetli Evet
D8 Güneşli Ilık Yüksek Zayıf Hayır
D9 Güneşli Serin Normal Zayıf Evet
D10 Yağmurlu Ilık Normal Zayıf Evet
D11 Güneşli Ilık Normal Şiddetli Evet
D12 Bulutlu Ilık Yüksek Şiddetli Evet
D13 Bulutlu Sıcak Normal Zayıf Evet
D14 Yağmurlu Ilık Yüksek Şiddetli Hayır

7. Hava durumu
P(güneşli|evet) = 2/5 P(güneşli|hayır) = 3/5
P(bulutlu|evet) = 4/4 P(bulutlu|hayır) = 0
P(yağmurlu|evet) = 3/5 P(yağmurlu|hayır) = 2/5
Sıcaklık
P(sıcak|evet) = 2/4 P(sıcak|hayır) = 2/4
P(ılık|evet) = 4/6 P(ılık|hayır) = 2/6
P(evet) = 9/14
P(hayır) = 5/14
Yapay Zeka-Bayes Öğrenme 7
P(serin|evet) = 3/4 P(serin|hayır) = 1/4
Nem oranı
P(yüksek|evet) = 3/7 P(yüksek|hayır) = 4/7
P(normal|evet) = 6/7 P(normal|hayır) = 1/7
Rüzgar
P(şiddetli|evet) = 3/6 P(zayıf|hayır) = 3/6
P(zayıf|evet) = 6/8 P(şiddetli|hayır) = 2/8

8. Yeni X Örneğinin Sınıflandırılması
Yeni örnek X = <yağmurlu, sıcak, yüksek, zayıf>
P(evet|X) = ?
= P(yağmurlu|evet)·P(sıcak|evet)·P(yüksek|evet)·P(zayıf|evet)·P(evet)
= 3/5·2/4·3/7·6/8·9/14 =0.062
P(hayır|X) = ?
= P(yağmurlu|hayır)·P(sıcak|hayır)·P(yüksek|hayır)·P(zayıf|hayır)·P(hayır)
= 2/5·2/4·4/7·2/8·5/14 =0.01
P(evet|X)>P(hayır|X) olduğundan örnek X’in sınıfı evet
olarak öngörülür.
Yapay Zeka-Bayes Öğrenme 8

9. ÖRNEK
Dergi
Harcaması
Kol Saati
Harcaması
Hayat
Sigortası
Kredi Kartı
Sigortası
Cinsiyet
Evet Hayır Hayır Hayır E
Evet Evet Evet Hayır K
Verilen tabloya göre Dergi Harcaması=Evet, Saat Harcaması=Evet
Hayat Sigortası=Hayır, Kredi Kartı Sigortası=Hayır
Cinsiyet=?
Evet Evet Evet Hayır K
Hayır Hayır Hayır Hayır E
Evet Evet Evet Hayır E
Evet Hayır Evet Hayır K
Hayır Hayır Hayır Hayır K
Evet Hayır Evet Evet E
Hayır Evet Hayır Hayır E
Evet Hayır Hayır Hayır E
Evet Evet Evet Hayır K

10. ÖRNEK
Dergi
Harcaması
Kol Saati H. Hayat Sigor.
Kredi Kartı
Sigortası
Cinsiyet E K E K E K E K
Evet 4 3 2 2 2 3 2 1
Hayır 2 1 4 2 4 1 4 3
P(Evet) 4/6 3/4 2/6 2/4 2/6 3/4 2/6 1/4
P(Hayır) 2/6 1/4 4/6 2/4 4/6 1/4 4/6 3/4
S1:Cinsiyet=ERKEK, S2:Cinsiyet=KADIN şeklinde 2 sınıf olsun.
X1,X2,X3,X4 örnekler olsun. Buna göre P(X|Cinsiyet=ERKEK)
koşullu olasılığını hesaplamak gerekmektedir.
10Yapay Zeka-Bayes Öğrenme

11. 1.ADIM: S1:Cinsiyet=ERKEK için P(X|Cinsiyet=ERKEK)
5
3
)( == EcinsiyetP
)(
)()|(
)|(
DP
hPhDP
DhP =
5
BayesTeoremine göre:
11Yapay Zeka-Bayes Öğrenme

12. 2.ADIM: S2:Cinsiyet=KADIN için P(X|Cinsiyet=KADIN)
Bayes Teoremine göre:
5
2
)( == KcinsiyetP
Bayes Teoremine göre:
SONUÇ:Bayes sınıflandırıcı bize, örneğin büyük olasılıkla erkek bir
kredi kartı müşterisi olduğunu söylemektedir.
12Yapay Zeka-Bayes Öğrenme

13. SIFIR DEĞER SORUNU
Dergi Harcaması=Evet, Saat Harcaması=Evet
Hayat Sigortası=Hayır, Kredi Kartı Sigortası=Hayır
Cinsiyet=? [2]
Burada, Kredi Kartı Sigortası=Hayır olan kadınların sayısını 0 kabul edelim:
04/0)|.()|(
4/1)|.()|(
4/2)|.()|(
4/3)|.()|(
23
22
21
=====
====
====
====
KCinsiyetHayirigorKrediKartSPSxP
KCinsiyetHayirHayatSigorPSxP
KCinsiyetEvetKolSaatiHPSxP
KCinsiyetEvetDergiHPSxP
00
4
1
4
2
4
3
)|(
04/0)|.()|( 24
=×××==
=====
KCinsiyetXP
KCinsiyetHayirigorKrediKartSPSxP
kd
pkn
+
+ ))((
Bu problemi aşmak için:
k: 0 ile 1 arasında bir sayıdır, p ise hedef nitelik için mümkün
değerlerin toplamının 1 kesirli kısmıdır. Yani p=1/2 olmaktadır.
13Yapay Zeka-Bayes Öğrenme

14. EKSİK VERİ
Dergi Harcaması=Evet, Saat Harcaması=Bilinmiyor
Hayat Sigortası=Hayır, Kredi Kartı Sigortası=Hayır
Cinsiyet=? [2]
64
9
4
3
4
1
4
3
)|(
27
8
6
4
6
4
6
4
)|(
=××==
=××==
KCinsiyetXP
ECinsiyetXP
05625.0)|(
1778.0)|(
64444
≈=
≈=
XKCinsiyetP
XECinsiyetP
Burada, Saat Harcaması özelliğinin olasılık değeri 1 kabul edilerek ihmal
edilmiştir.
Her iki şartlı olasılık aynı derecede aynı derecede etkilendiğinden sonuç
için problem olmaz.
14Yapay Zeka-Bayes Öğrenme

15. SAYISAL VERİLER
Dergi
Harcaması
Kol Saati
Harcaması
Hayat
Sigortası
Kredi Kartı
Sigortası
Yaş Cinsiyet
Evet Hayır Hayır Hayır 45 E
Evet Evet Evet Hayır 40 K
Hayır Hayır Hayır Hayır 42 E
Evet Evet Evet Evet 30 E
Evet Hayır Evet Hayır 38 KEvet Hayır Evet Hayır 38 K
Hayır Hayır Hayır Hayır 55 K
Evet Hayır Evet Evet 35 E
Hayır Evet Hayır Hayır 27 E
Evet Hayır Hayır Hayır 43 E
Evet Evet Evet Hayır 41 K
Dergi Harcaması=Evet, Saat Harcaması=Evet
Hayat Sigortası=Hayır, Kredi Kartı Sigortası=Hayır, Yaş=45
Cinsiyet=? [2] 15Yapay Zeka-Bayes Öğrenme

16. Yaş verisinin normal dağıldığı varsayılarak, standart olasılık yoğunluk
fonksiyonu kullanılır:
)|45(
4
3
4
1
4
2
4
3
)|(
)|45(
6
4
6
4
6
2
6
4
)|(
KadinCinsiyetYasPKCinsiyetXP
ErkekCinsiyetYasPECinsiyetXP
==××××==
==××××==
SAYISAL VERİLER
sapmastdortalama
exf x
.:,:
)2/(1)( )2/()( 22
σµ
πσ σµ−−
=
050.0)77.72/(1)|45(
45,50.43,77.7
030.0)69.72/(1)|45(
45,00.37,69.7
])77.7(2/[)50.4345(
])69.7(2/[)00.3745(
22
22
≈===
===
≈===
===
−−
−−
eKadinCinsiyetYasP
x
eErkekCinsiyetYasP
x
π
µσ
π
µσ
16Yapay Zeka-Bayes Öğrenme

17. 004.050.0
4
3
4
1
4
2
4
3
)|(
003.030.0
6
4
6
4
6
2
6
4
)|(
≈××××==
≈××××==
KCinsiyetXP
ECinsiyetXP
)(/0018.)(/
5
3
003.)|( XPXPXErkekCinsiyetP ≈





×≈=
SAYISAL VERİLER
SONUÇ: Bayes sınıflandırıcı bize, örneğin büyük olasılıkla 45
yaşında erkek bir kredi kartı müşterisi olduğunu söylemektedir.
)(/0016.)(/
5
2
004.)|( XPXPXKadinCinsiyetP ≈





×≈=

17Yapay Zeka-Bayes Öğrenme

18. KULLANIM ALANLARI
Metin sınıflandırma
Konuşmacı tanıma sistemleri
Şifre kontrolü uygulamaları
Orta veya geniş eğitim kümesinin mevcutOrta veya geniş eğitim kümesinin mevcut
olması durumunda
Örnekleri tanımlayan nitelikler, sınıflandırmadan
bağımsız olarak verildiğinde
Yapay Zeka-Bayes Öğrenme 18

19. Avantaj ve Dezavantajları
Avantajları:
- Kolay uygulanabilirlik
- Üstün performans
- Çoğu durumda iyi sonuçlar
DezavantajlarıDezavantajları
- Varsayım: sınıf bilgisi verildiğinde nitelikler bağımsız
- Gerçek hayatta değişkenler birbirine bağımlı
- Değişkenler arası ilişki modellenemiyor.
- Test verisinin uzun işlem zamanıdır.
Çözüm: Bayes ağları
Yapay Zeka-Bayes Öğrenme 19

20. Kaynaklar
http://http://www.akyokus.com/Presentations/
http://www.iticu.edu.trkutuphanedergi
http://www3.itu.edu.tr/~sgunduz/courses/verimaden/
www.ce.yildiz.edu.trmygetfile.phpid=2353
Wikipedia and Vikipedi
Tom M. Mitchell. Machine Learning. McGraw Hill. 1997
Roiger R. J., Geatz M. W., Data Mining: A Tutorial
Based Primer, Addison Wesley 2003
Yapay Zeka-Bayes Öğrenme 20