Eşle/İndirge Yöntemi Kullanılarak Destek Vektör Makinesi Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının Kutupsal Değerinin Ölçülmesi

Giri¸s Genel Kısımlar Malzeme ve Yöntem Bulgular Sonu¸c
E¸sle/˙Indirge Yöntemi Kullanılarak Destek Vektör Makinesi
Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının
Kutupsal De˘gerinin Öl¸cülmesi
Dr. Ferhat Özgür ÇATAK
TÜB˙ITAK-B˙ILGEM- Siber Güvenlik Enstitüsü
16 Ekim 2014
Dr. Ferhat Özgür ÇATAK TÜB˙ITAK-B˙ILGEM- Siber Güvenlik Enstitüsü
E¸sle/˙Indirge Yöntemi Kullanılarak Destek Vektör Makinesi Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının Kutupsal De˘gerinin Öl¸cülmesi

Sunum Planı
Giri¸s
Özet
Genel Kısımlar
E¸sle/˙Indirge (MapReduce)
Destek Vektör Makinesi
Malzeme ve Yöntem
E¸sle/˙Indirge Tabanlı Paralel DVM Sınıflandırma Algoritması
Sözde DVM Kodu
Sınıflandırma Modeli De˘gerlendirilmesi
Bulgular
Sosyal Medya Veri Seti
Uygulama Kapsamı
TF × IDF Vektör Uzayı
Sosyal Medya Mesajlarının TF × IDF Matrisi ˙I¸cin Hazır Hale Getirilmesi
Sonu¸clar
Sonu¸c
Sonu¸c
Sorular

Özet
Özet
Çalı¸sma Özeti
DVM sınıflandırma algoritmasının E¸sle/˙Indirge (MapReduce) tekni˘gi ile yüksek
boyutlu veri setlerinin e˘gitilmesi
Çalı¸smanın deneysel kısmında Türkiye’de bulunan vakıf ve devlet üniversitelerinin
sosyal medya mesaj veri seti ile sınıflandırılması. E¸sle/˙Indirge tekni˘gi ile ortaya
¸cıkan modellerin testi

Bulut bili¸sim hizmet sa˘glayıcıları, servis olarak platform türünde verdikleri hizmetlerde
standart olarak E¸sle/˙Indirge (MapReduce) tekni˘ginin bir örne˘gini sunmaktadırlar.
Amazon üzerinde Amazon Elastic MapReduce.
Microsoft Windows Azure sistemi üzerinde Project Daytona.
Google App Engine üzerinde MapReduce

Yüksek boyutlu veri seti kullanımı gerektiren uygulamalarda en uygun ¸cözüm, veri
setinin alt kümelere par¸calanmasıdır. Bu ¸sekilde büyük problemin daha ufak alt
problemlere par¸calanması hedeflenir.
E¸sle/˙Indirge yöntemi yüksek boyutlu veri setlerinin i¸slenmesinde kullanılan, ayrıca
Google tarafından da olduk¸ca sık kullanılan bir programlama modelidir [24].
Kullanıcılar tarafından tanımlanan e¸sle (map) ve indirge (reduce) fonksiyonları ve
bu fonksiyonlara girdi de˘geri olarak verilen ¸ca˘grı¸sımsal diziler (Key-Value pairs)
kullanılmaktadır.
E¸sle fonksiyonu paralel olarak girdi veri setine uygulanır. Bir veri alanında bulunan veri ¸ciftlerini
alarak bunları farklı bir alana veri ¸cift listesine ¸cevirir.
esle(a1, d1) → liste(a2, d2)
˙Indirge fonksiyonu, e¸sle fonksiyonu tarafından ili¸skilendirilmi¸s anahtar de˘ger yapısına uygulanır, yeni
de˘gerler listesi olu¸sturulur.
indirge(a2, liste(d2)) → liste(a3, d3)

D = {(xi, yi)|xi ∈ Rm
, y ∈ {−1, +1}}n
i=1 (1)

Data: docid a, doc d
initialization;
1: for each t ∈ doc d do
2: Emit(term t,count 1)
3: end for
Algorithm 1: E¸sle (Mapper)
Data: term t, counts ∈ [c1, ..., cn]
initialization;
sum ← 0
2: for each count c ∈ counts[c1, ..., cn] d do
sum ← sum + c
4: end for
Emit(term t,count sum)
Algorithm 2: ˙Indirge (Reducer)

˙Istatistik ve bilgisayar bilimlerinde verilerin analiz edilmesi, bu verilerden desenlerin
¸cıkarılmasıyla sınıflandırma ve regresyon problemlerinde kullanılan bir yöntemdir.
Yapısal risk minimizasyonu kullanır. Ö˘grenme modelinin a¸sırı ö˘grenmesi problemi
yoktur.
Konveks optimizasyon problemi. Lokal minimum olmadı˘gından, problemin tek
¸cözümü mevcut.
Do˘grusal sınıflandırıcı denklemin a˘gırlık vektörü, e˘gitim veri setinde bulunan
destek vektörleri kullanılır. Destek vektörlerinin sayıları, sınıflandırıcı fonksiyonun
genelleme hatasını verir.

S¸ekil : ˙Ikili sınıflandırma i¸cin e˘gitim setini +1 ve −1 ¸seklinde ikiye ayıran hiperdüzlemlerin
gösterimi.

S¸ekil : Sert marjin do˘grusal ayrı¸stırılabilir veri seti. Optimal ayıran sınıﬂandırıcı fonksiyon ve marjin
de˘gerleri g¨osterilmektedir.

Destek Vektör Makinesi - Primal Form
Ama¸c: f(x) = w.x + b bulmak.
˙Iki paralel düzlem arası uzaklık: 1
w
alternatif yakla¸sım 1
2
||w||2 - Kuadratik optimizasyon problemine dönü¸stürülebilir.
h(x) = arg min
w∈Rm
1
2
||w||2
kısıt : yi(wi × x) ≥ 1, i = 1, ..., n (2)
Lagranj Fonksiyonu - Primal Form
Çözüm : Lagranj fonksiyonu
L(w, b, α) =
1
2
||w||2
−
n
i=1
αi(yi(wi × xi + b) − 1) (3)
∂L(w, b, α)
∂wi
= 0, i = 1, ..., n w =
n
i=1
αiyixi
∂L(w, b, α)
= 0, i = 1, ..., n 0 =
n
αiyi

Da˘gıtık DVM Sınıﬂandırma Algoritması
Veri seti par¸calanmakta,alt veri setleri e˘gitilerek nihai bir sınıﬂandırma hipotezi
¸cıkarılmaya ¸calı¸sılmaktadır.
S¸ekil : E¸sle/˙Indirge DVM algoritmasının genel yapısı.

Sözde DVM Kodu
1: DV Global ← ∅
2: while ht = ht−1 do
3: for l ∈ L do
4: Dt
l ← Dt
l ∪ DV t
Global
5: end for
6: end while
Algorithm 3: Destek vektör makinesi E¸sle fonksiyonu
1: while ht = ht−1 do
2: for l ∈ L do
3: DV l, ht ← SV M(Dl)
4: end for
5: for l ∈ L do
6: DV Global ← DV Global ∪ DV l
7: end for
8: end while
Algorithm 4: Destek vektör makinesi ˙Indirge fonksiyonu

Hipotez kümesi i¸cerisinde model de˘gerlendirilmesi i¸sleminde kayıp fonksiyonu olarak
Hinge kayıp fonksiyonu kullanılmı¸stır. Marjin ne kadar ihlal ediliyorsa daha fazla ceza
de˘geri cıkmaktadır.
l((w.φ(x) + b), y) = max{0, 1 − y(w.φ(x) + b)}
l(h(x), y) = max{0, 1 − y(w.φ(x) + b)}
(4)
Modelin deneysel risk de˘geri ise ¸su ¸sekilde olacaktır.
RDeneysel(h) =
1
n
n
i=1
l(h(xi), yi) (5)
Deneysel riskin minimize edilmesi prensibine göre, ö˘grenme algoritması H hipotez
uzayında yer alan sınıflandırıcı modeller arasında deneysel riski en dü¸sük olan h∗
sınıflandırıcı modelini se¸cmelidir.
h∗
= arg min
h∈H
RDeneysel(h) (6)

Model, en dü¸sük deneysel riskin de˘gi¸simine göre kendini sonlandırmaktadır.
Algoritmanın durması i¸cin gerekli olan ko¸sul ¸su ¸sekildedir.
|RDeneysel(ht
) − RDeneysel(ht−1
)| ≤ η, η ≥ 0 (7)

Uygulama
Türk Üniversitelerinin sosyal medya mesajları, E¸sle/˙Indirge tekni˘gi kullanılarak
geli¸stirilen da˘gıtık ve paralel DVM ö˘grenme modeli kullanılarak elde edilen
deneysel sonu¸cları verilecektir.
Çalı¸smanın teorik kısmında yer alan DVM sınıflandırma algoritması ile bu ¸calı¸sma
kapsamında önerilen model olan E¸sle/˙Indirge tabanlı DVM sınıflandırma
algoritması e˘gitiminin Türkiye’de bulunan üniversitelerin sosyal medya mesajlarına
göre duygu analizi(Sentiment Analysis) i¸cin bir uygulama yapılmı¸stır.
Duygu Analizi
Duygu analizi, bir metin par¸casının herhangi bir konu hakkında duygu veya dü¸sünce
i¸cerdi˘gini ve i¸cermesi durumunda bu metinin kutupsal de˘gerini öl¸cmek i¸cin kullanılan
otomatik bir süre¸ctir.

Uygulama Kapsamı
Uygulama Kapsamı
Uygulama Kapsamı
Çalı¸smada Türkiye’de bulunan 108 adet devlet üniversitesi ve 66 adet vakıf
üniversitesi olmak üzere ele alınmı¸stır.
Sınıflandırma modelinin olu¸sturulması i¸cin ise üniversiteler sosyal medya mesaj
veri setinden farklı olarak 3.404.074 mesaj kullanılmı¸stır.
Uygulama i¸cin Java tabanlı bir uygulama geli¸stirilerek Twitter Stream API v1.1
kullanılmı¸stır. Üniversite adlarından ve resmi Twitter hesaplarından olu¸san bir
kelime vektörü olu¸sturulmu¸stur. Olu¸sturulan bu kelime vektörü ile Twitter4j API
bile¸seni kullanılarak Twitter izlenmeye ba¸slanmı¸stır.
Çalı¸sma kapsamında geli¸stirilen uygulama mesajları MySQL veri tabanına kayıt
etmektedir.
Mesajlar TF × IDF matrisleri olu¸sturularak sayısal hale dönü¸stürülmü¸stür.
Sayısal veri seti E¸sle/˙Indirge tabanlı DVM sınıflandırma algoritmasında e˘gitilmi¸s
ortaya ¸cıkan model sayısalla¸stırılmı¸s veri setlerinin sınıflandırılmasında
kullanılmı¸stır.

T F × IDF Vektör Uzayı
Örnek Mesajlar
@UniversiteEge: Ege Üniversitesi ailesinin yeni üyeleri, hepiniz Ege’ye
ho¸sgeldiniz... Ege’li Olmak Ayrıcalıktır...
@serdargokalp Ege Üniversitesi festival toplulu˘gu ve tüm ege üniversitesi olarak;
seni aramızda görmek istiyoruz.
@LeylaMecnunDizi üniversitemizde sizi görmekten ¸cok büyük mutluluk duyarız
Leyla ile Mecnun ekibi. ”Ege Üniversitesi”
@ismailbaki sizi Ege Üniversitesi’nde görmek istiyoruz

Kelime 1. Mesaj 2. Mesaj 3. Mesaj 4. Mesaj
@ismailbaki 0 0 0 1
@LeylaMecnunDizi 0 0 1 0
@serdargokalp 0 1 0 0
@UniversiteEge 1 0 0 0
ailesinin 1 0 0 0
aramızda 0 1 0 0
Ayrıcalıktır 1 0 0 0
büyük 0 0 1 0
¸cok 0 0 1 0
duyarız 0 0 1 0
Ege 3 2 1 1
ekibi 0 0 1 0
festival 0 1 0 0
görmek 0 1 0 1
görmekten 0 0 1 0
hepiniz 1 0 0 0
ho¸sgeldiniz 1 0 0 0
ile 0 0 1 0

Transpoz Hali
Her bir mesaj i¸cin terim frekansı gösterilmektedir.
1. Mesaj 0,0,0,1,1,0,1,0,0,0,3,0,0,0,0,1,1,0,0,0,0,0,0,1,0,0,0,0,1,1,0,1
2. Mesaj 0,0,1,0,0,1,0,0,0,0,2,0,1,1,0,0,0,0,0,0,0,0,1,0,1,0,1,1,2,0,1,0
3. Mesaj 0,1,0,0,0,0,0,1,1,1,1,1,0,0,1,0,0,1,0,1,1,1,0,0,0,1,0,0,1,0,0,0
4. Mesaj 0,1,0,0,0,0,0,1,1,1,1,1,0,0,1,0,0,1,0,1,1,1,0,0,0,1,0,0,1,0,0,0
Ters döküman frekansı
Sadece terim frekansları ile olu¸sturulan veri seti, her terime e¸sit önem verir. Örnek veri
setimizde ”üniversite” kelimesi olduk¸ca sık ge¸cmektedir. Terim t’nin derlemde yer alan
N adet mesajda görülme frekansi, dokuman frekansı, dft, olarak adlandırılır. Ters
dokuman frekansı ¸su ¸sekilde tanımlanır.
idft = log
N
dft

IDF de˘gerleri
Her bir nitelik(terim) i¸cin idf de˘geri hesaplanır. örnek verisetimizde ”ege” kelimesi her
4 mesajda ge¸cmektedir. Bu durumda idfege = log 4
4
= 0 olacaktır.
Terim Terim
@ismailbaki 0,6021 ho¸sgeldiniz 0,6021
@LeylaMecnunDizi 0,6021 ile 0,6021
@serdargokalp 0,6021 istiyoruz 0,6021
@UniversiteEge 0,6021 Leyla 0,6021
ailesinin 0,6021 Mecnun 0,6021
aramızda 0,6021 mutluluk 0,6021
Ayrıcalıktır 0,6021 olarak 0,6021
büyük 0,6021 Olmak 0,6021
¸cok 0,6021 seni 0,6021
duyarız 0,6021 sizi 0,301
Ege 0 toplulu˘gu 0,6021

TF × IDF Vekt¨or Uzayı
Her bir dokumanda yer alan terimlerin agırlıklarını hesaplamak icin terim frekansı ve
ters dokuman frekansı birlestirilerek terim frekansı-ters dokuman frekansı (TF-IDF)
matrisi olusturulur.
TF × IDF = tft,d × idft
TF-IDF modeli, dokuman d icinde yer alan terim t’ye su sekilde agırlık atamaktadır:
Terim t az sayıda dokumanda bulunması durumunda idf degeri yuksek
cıkmaktadır. Bu sekilde dokumanlar arasında yuksek ayırt edici guce sahip
olmaktadır.
Terim t bir dokuman icerisinde az gorulmesi veya bircok dokumanda gorunmesi
durumunda TF × IDF degeri dusuk cıkmaktadır.
Terim t hemen hemen butun dokumanlarda bulunması durumunda dusuk
olmaktadır.

Örnek Veri Seti Tf-Idf Matrisi
Terim Mesaj 1 Mesaj 2 Mesaj 3 Mesaj 4
@ismailbaki 0 0 0 0,60206
@LeylaMecnunDizi 0 0 0,60206 0
@serdargokalp 0 0,60206 0 0
@UniversiteEge 0,60206 0 0 0
ailesinin 0,60206 0 0 0
aramızda 0 0,60206 0 0
Ayrıcalıktır 0,60206 0 0 0
büyük 0 0 0,60206 0
¸cok 0 0 0,60206 0
duyarız 0 0 0,60206 0
Ege 0 0 0 0

Sosyal Medya Mesajlarının T F × IDF Matrisi ˙I¸cin Hazır Hale Getirilmesi
Sosyal Medya Mesajlarının TF × IDF Matrisi ˙I¸cin Hazır Hale Getirilmesi
Veri seti Boyutu
˙Insanlar duygularını ifade etmek i¸cin kullandı˘gı temel bazı kelimeler bulunmaktadır. Bu
kelimelerden olu¸san bir liste ¸cıkarılarak iki sınıflı, ü¸c sınıflı ve be¸s sınıflı veri setleri
olu¸sturulmu¸stur.
Tablo : DVM sınıflandırma algoritması e˘gitim a¸samasında kullanılacak veri setlerinin boyutuları
Sınıf Etiket Sayısı Mesaj sayısı
2 Sınıf 347.158
3 Sınıf 335.070
5 Sınıf 360.000

Veri seti olu¸sturulması i¸cin kullanılan kelimeler
Tablo : ˙Iki sınıflı sınıflandırma veri seti i¸cin kullanılan kelimelerin listesi
Sınıflandırma Kelimeler
Pozitif güzel, iyi, hayırlı, canım, mutlu, sevgili, a¸sk, seviyorum, te¸sekkür, tatlı,
komik, güldüm, a¸skım, ho¸s, hediye, ho¸sgeldin, ¸seker, iyisi, muhte¸sem,
ma¸sallah, mükemmel, güzel, e˘glence, gülmek, tebrikler, müthi¸s, yakı¸sır,
keyifli, de˘gerli, sevindim, cesaret, minnet, gönülden, kutluyorum, kazan-
mak, ¸cabalarını, i¸sbirli˘gi
Negatif yasak, yüzsüz, arsız, zulüm, vahim, inkarcı, bedel, tasfiye, utan¸c, yalan,
su¸c, taciz, cahillik, ötekile¸stirme, yanıltıcı, yoksun, hesapla¸sma, yalan,
küfür, kötü, katliam, ölüm, hakaret, ¸serefsiz, zorluklar

Tablo : Ü¸c sınıflı sınıflandırma veri seti i¸cin kullanılan kelimelerin listesi
Pozitif güzel, iyi, hayırlı, canım, mutlu, sevgili, a¸sk, seviyorum, te¸sekkür, tatlı,
komik, güldüm, a¸skım, ho¸s, hediye, ho¸sgeldin, ¸seker, iyisi, muhte¸sem,
ma¸sallah, mükemmel, güzel, e˘glence, gülmek, tebrikler, müthi¸s, yakı¸sır,
keyifli, de˘gerli, sevindim, cesaret, minnet, gönülden, kutluyorum, kazan-
mak, ¸cabalarını, i¸sbirli˘gi
Negatif yasak, yüzsüz, arsız, zulüm, vahim, inkarcı, bedel, tasfiye, utan¸c, yalan,
su¸c, taciz, cahillik, ötekile¸stirme, yanıltıcı, yoksun, hesapla¸sma, yalan,
küfür, kötü, katliam, ölüm, hakaret, ¸serefsiz, zorluklar
Nötr Bu kelimeleri i¸cermeyen mesajlar.

Tablo : Be¸s sınıflı sınıflandırma veri seti i¸cin kullanılan kelimelerin listesi
Kutup 1 a˘glıyorum, cahillik, hakaret, katliam, kötü, küfür, lanet, nefret, ölüm,
¸serefsiz, taciz, utan¸c, vahim, vefat, yasak, yüzsüz, zulüm
Kutup 2 hesapla¸sma, inkarcı, maalesef, ötekile¸stirme, sıkıldım, su¸c, tasfiye,
üzgünüm, üzücü, üzüldüm, üzülüyorum, yalan, yanıltıcı, yanlı¸s, yazık, yok-
sun, zorluklar
Kutup 3 Kutup 1,2,4 ve 5’de yer alan kelimeleri i¸cermeyen mesajlar.
Kutup 4 güzel, iyi, hayırlı, te¸sekkür, ho¸s, hediye, ho¸sgeldin, iyisi, muhte¸sem,
ma¸sallah, mükemmel, e˘glence, müthi¸s, yakı¸sır, de˘gerli, cesaret, minnet,
¸cabalarını, i¸sbirli˘gi
Kutup 5 canım, mutlu, sevgili, a¸sk, seviyorum, tatlı, komik, güldüm, a¸skım, ¸seker,
güzel, gülmek, tebrikler, keyifli, sevindim, gönülden, kutluyorum, kazan-
mak

Bütün Süre¸c

Sonu¸clar
˙Iki sınıflı DVM sınıflandırma modeli
S¸ekil : ˙Iki sınıflı DVM sınıflandırma modelinin karma¸sıklık matrisi

Sonu¸clar
˙Iki sınıflı sınıflandırma sonu¸cları
S¸ekil : En yüksek mesaj sayısına göre ilk 10 üniversitenin iki sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Olumlu mesaj oranına göre ilk 10 üniversitenin iki sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Olumsuz mesaj oranına göre ilk 10 üniversitenin iki sınıflı sınıflandırma sonu¸cları

Sonu¸clar
Ü¸c sınıflı DVM sınıflandırma modeli
S¸ekil : Ü¸c sınıflı DVM sınıflandırma modelinin karma¸sıklık matrisi

Sonu¸clar
Ü¸c sınıflı sınıflandırma sonu¸cları
S¸ekil : Mesaj sayısına göre ilk 10 üniversitenin ü¸c sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Olumlu mesaj oranına göre ilk 10 üniversitenin ü¸c sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Nötr mesaj oranına göre ilk 10 üniversitenin ü¸c sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Olumsuz mesaj oranına göre ilk 10 üniversitenin ü¸c sınıflı sınıflandırma sonu¸cları

Sonu¸clar
Be¸s sınıflı DVM sınıflandırma modeli
S¸ekil : Be¸s sınıflı DVM sınıflandırma modelinin karma¸sıklık matrisi

Sonu¸clar
Be¸s sınıflı sınıflandırma sonu¸cları
S¸ekil : Mesaj sayısına göre ilk 10 üniversitenin be¸s sınıflı sınıflandırma sonu¸cları

Sonu¸clar
S¸ekil : Kutup 1 mesaj sayısına göre ilk 10 üniversitenin be¸s sınıflı sınıflandırma sonu¸cları

Sonu¸clar

Sonu¸c
Sonu¸c
Çalı¸sma Sonu¸cları
Makine ö˘grenmesinde kullanılan veri setleri her ge¸cen gün artmakta
Büyük veri (Big Data) ¸seklinde tanımlanan kavram üzerinde makine ö˘grenme
yöntemleri uygulanabilmesi i¸cin ¸ce¸sitli ara¸stırmalar yapılmaktadır
Bundan sonraki ¸calı¸smalarda, olu¸sturulan sınıflandırma modelinin zaman
i¸cerisinde güncellenmesi dü¸sünülmekte
Sosyal medya üzerinde yer alan mesajların i¸ceri˘gi zaman i¸cerisinde de˘gi¸sece˘ginden
dolayı zaman i¸cerisinde kendini güncelleyen e˘gitim veri seti kullanılarak
sınıflandırma modelinin güncelli˘gini koruması gereklidir.

Sorular
Sorular?
Sorular?
Dr. Ferhat Özgür ÇATAK
TÜB˙ITAK - B˙ILGEM - Siber Güvenlik Enstitüsü
ozgur.catak@tubitak.gov.tr
http://tr.linkedin.com/in/ozgurcatak
@ozgurcatak

Eşle/İndirge Yöntemi Kullanılarak Destek Vektör Makinesi Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının Kutupsal Değerinin Ölçülmesi

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (19)