Doğal Dil İşleme (NLP)

2. NLP(DOĞAL DİL İŞLEME)
 NLP NEDİR?
 Uzman Sistemler ve Doğal Dil İşleme
 Yapay Zekâ ve Doğal Dil İşleme
 Dilin Matematik Modeli
 Fonetik ve fonoloji
 Dilin morfolojisi
 Yapay konuşma
 NLP İLE NELER YAPILABİLİR?
 NLP Evreleri (Tokenizer,Normalization…)
 CORPUS Nedir?
 Türkçe ve NLP
 Türkçe Heceleme algoritması
 KAYNAKÇA

3. NLP NEDİR?
 Doğal Dil İşleme, yaygın olarak NLP (Natural Language
Processing) olarak bilinen yapay zekâ ve dilbilim alt
kategorisidir. Türkçe, İngilizce, Almanca, Fransızca gibi doğal
dillerin (insana özgü tüm diller) işlenmesi ve kullanılması amacı
ile araştırma yapan bilim dalıdır.


4. Uzman Sistemler ve NLP
 NLP yani Doğal Dil İşleme, doğal dillerin kurallı yapısının
çözümlenerek anlaşılması veya yeniden üretilmesi amacını
taşır.Bu çözümlemenin insana getireceği kolaylıklar, yazılı
dokümanların otomatik çevrilmesi, soru-cevap makineleri,
otomatik konuşma ve komut anlama, konuşma sentezi,
konuşma üretme, otomatik metin özetleme, bilgi sağlama gibi
birçok başlıkla özetlenebilir.

5. Uzman Sistemler ve NLP
 Bilgisayar teknolojisinin yaygın kullanımı, bu başlıklardan
üretilen uzman yazılımların gündelik hayatımızın her alanına
girmesini sağlamıştır. Örneğin, tüm kelime işlem yazılımları birer
imlâ düzeltme aracı taşır. Bu araçlar aslında yazılan metni
çözümleyerek dil kurallarını denetleyen doğal dil işleme
yazılımlarıdır.

6. Uzman Sistemler ve NLP
 Konuşma ve komut anlama yazılımları ise gelecekte insan ve
bilgisayar arasındaki klavye, fare gibi veri girişi aygıtlarını ortadan
kaldıracak yazılımlardır. Bu gelişmeler makine-insan iletişiminde yeni
ve devrimci değişimlere yol açacak ve bilgisayarların daha çok insan
tarafından kabul görmesine yol açacaktır.


7. Yapay Zeka ve NLP
 Gelecekte, konuşma sentezleyiciler ve konuşma anlama alanındaki
gelişmeler ve makine-insan iletişiminin gelişmesi, insanın makineden
beklentilerini yükseltecektir. İnsanlar makinelerin kendisini
anlamalarını isteyecek, karmaşık kullanımı olan makineler pazar
bulamayacaktır. Giderek gelişen ve insanı anlayan makinelerin daha
zeki olması insanın yaşam kalitesini yükselteceğinden, vazgeçilmez
olması kaçınılmazdır.


8. Yapay Zeka ve NLP
 Zeki makine kavramı, yapay zekâ çalışmalarının hızlanmasına yol
açmıştır. Geleceğin en önemli sektörlerinden biri olan yapay zekâ ile
insanın iletişim kuracağı tek araç dildir.

 Dil, insanoğlunun uygarlaşmasını sağlamakla kalmamış, onun
zekâsının doğada daha önce görülmemiş şekilde parlamasını
sağlamıştır.Kültür dediğimiz insanlık birikimi, dil kullanan ve iletişim
kuran insanın sosyalleşme sürecinin ürünüdür.


9. Dilin Matematik Modeli
 Dilin işlenmek üzere çözümlenebilmesi için, matematik modelinin
oluşturulması gerekmekteydi
 .
 Genişletilmiş Geçiş Ağları

 ATN Genişletilmiş Geçiş Ağları (Augmented Transition
Network),Woods tarafından 1970 ve 1973 yılları arasında geliştirilmiş
bir yaklaşımdır.


10. Genişletilmiş Geçiş Ağları
 Genişletilmiş geçiş ağları (GGA) üç bileşenden oluşur:
 En az başlangıç ve son (/s) durumları olan sonlu sayıdaki durumlar
kümesi,
 Belli bir metindeki mümkün olan harflerden oluşan alfabe
 Sonlu sayıdaki bir durumdan diğer bir duruma geçişi sağlayacak
geçişler kümesi.


11. Genişletilmiş Geçiş Ağları
 Genişletilmiş geçiş ağlarında, bir durumdan diğer bir duruma geçmek
için gerekli harf okunur ve bu harf geçilecek olan duruma geçmek için
gereken harfle karşılaştırılır; uygun ise diğer duruma geçilir. Geçiş
ağlarında doğru bir yol, bir başlangıç durumundan başlayıp, son
duruma ulaşan geçişler sağlandığında tamamlanır. Harflerin birbirine
eklenmesiyle oluşan metin, ağın kabul etmesi için verilen metin ise,
bu metin ağ tarafından kabul edilmiş demektir.


12. Fonetik ve fonoloji
 Fonetik, konuşulurken, dil, gırtlak, ses telleri, damak, dişler ve
dudaklar ile çıkarılan sesleri ve bu seslerin dil ile olan ilişkilerini
tanımlamak için kullanılan bir terimdir.Doğal dillerde anlam ayırıcı
olarak kullanılan en küçük ses fondur (phon ) dur. Fonetik terimi bu
kökten gelmektedir.

13. Fonetik ve fonoloji
 Fon kavramı evrensel değildir ve her dilde farklı seslere kaşılık gelir.
Farklı dillerdeki fonların tek ortak özelliği ayırıcı temel sesler
olmalarıdır.Sesle ifade edilen dili, yani konuşmayı kaydetmek için yazı
icad edilmişti.Konuşmayı yazı ile ifade etmek için ses birim veya
fonları harflerle eşleştirmek gerekmekteydi. Bazı dillerde, örneğin
Türkçe, Fince ve Japoncada, sesbirimler doğrudan harflere karşılık
gelmektedir.

14. Fonetik ve fonoloji
 Bu tip dillere fonetik diller denir.İngilizce, Almanca, Fransızca gibi
dillerde ise Fonlar harflere kaşılık gelmezler.Bu yaklaşımın yerine
uluslararası olarak geçerliliği olan fonetik bir alfabe ses birimleri ifade
etmek için kullanılır. Ses birimlerin simgesel olarak ifade edilmesi
sonucu olusan simgeler fonem (phoneme) olarak adlandırılır. Bir
başka deyişle aslında fonemlerin seslendirilmesiyle ses birimler
(phon) oluşur.

15. Dilin morfolojisi
 Dil bilime terim olarak 1859 yılında August Schleicher tarafından
kazandırılan morfoloji, dilde biçimi oluşturan ögelerin türlerini
tanımlamak ve özetle dil bilgisi kuralları denen biçimsel ögelerin
sınıflandırmasını yapmaktır.

16. Dilin morfolojisi


Doğal dil işleme çalışmalarında anlam bütünsel çözümleme yapabilmek
için, bazı yaklaşımlar belirmiştir. Bu yaklaşımlar aşağıdaki süreçlerden
oluşur.
-Sözdizimsel (sentaktik) analiz
-Anlambilimsel (semantik) analiz

17. Dilin morfolojisi
 Sözdizimsel (sentaktik) analiz:

 Sözdizimsel analiz, sözdizimini (syntax) veya cümleyi oluşturan
morfolojik ögelerin hiyerarşik kurallara uyumunu karşılaştırarak
ölçümlemektir. Böylece söz dizimin anlamlı olup olmadığının
ölçülebilmesi için düzenleyici bir süreç gerçekleşmiş olur.


18. Dilin morfolojisi
 Sözdizimsel (sentaktik) analiz:

 Türkçede cümleler en genel şekliyle özne, nesne ve yüklem
bileşenlerinden oluşur. Cümleye eklenmek istenen anlamlar arttıkça
cümleler, özne, yer tamlayıcısı, zarf tamlayıcısı, nesne ve yüklem gibi
bileşenleri içerir.Ayrıca cümlenin anlamını kuvvetlendiren cümle dışı
bileşenler de (bağlaç, edat, vb) cümlede bulunabilir.Bunlara örnek
olarak "ile, için, ama, çünkü" kelimeleri verilebilir.


19. Dilin morfolojisi
 Sözdizimsel (sentaktik) analiz:

 Türkçede özne ile yüklem cümlenin temel bileşenleridir ve genelde
tüm cümlelerde yer alırlar. Yer tamlayıcısı, zarf tamlayıcısı, nesne gibi
bileşenler bazı cümlelerde yer almayabilirler veya bazı cümlelerde
sadece biri, bazılarında sadece ikisi bulunabilir. Bu bileşenlerin cümle
içindeki sıralanışları da değişebilir.Bilgisayarla doğal dilin
modellenmesinde anlamsal analizden önce kelimelerden oluşturulan
yapının cümle olup olmadığının test edilmesi faydalıdır.Bu işlem
sentaktik eşleştirme işleminde anlamsız eşleşmelerin önlenmesine
faydalı olur.


20. Dilin morfolojisi
 Sözdizimsel (sentaktik) analiz:

 Simgeler: Ö: özne, D: dolaylı tümleç, Z: zarf tümleci, N: nesne, Y:
yüklem, İG: isim grubu, SG: sıfat grubu, İN: isim nesnesi, SN: sıfat
nesnesi, DZ: diğer zarflar, S: sıfat, İ: isim, ZB: zaman belirteçleri, T:
tamlayan, TN: tamlanan, ZM: zamir, NE: nesne eki, TE: tamlayan eki,
TNE: tamlanan eki, KE: kip eki, ZE: zaman eki, DE: dolaylı tümleç eki,
EF: ek fiil


21. Dilin morfolojisi
 Anlambilimsel (semantik) analiz:

 Anlambilimsel analiz, sözdizimini oluşturan morfolojik ögelerin
ayrılması, yani sözdizimsel analiz ile anlam taşıyan kelimelerin
sınıflandırılması işleminden sonra gelen anlamlandırma veya anlama
sürecidir.Bu süreçte anlam taşıyan kelimelerin, ekler ve cümle
hiyerarşisi içindeki konumlarının saptanması sayesinde birbirleri ile
ilişkileri kurulabilir. Bu ilişkiler anlam çıkarma, fikir yürütme gibi ileri
seviye bilişsel fonksiyonların oluşturulmasında ham bilgi olarak
kullanılacaktır.


22. Yapay konuşma
 Morfolojik çözümleme aşamalarından sonra sözdizimsel kurgu veya
yapay konuşma süreci ile yapay zekâ ya veya uzman sistemlere
iletişim becerisi kazandırılacaktır. Sözdizimsel çözümlemenin tersi
süreçlerden oluşan birleştirme sürecinde, önceki süreçlerde ele
geçen bilgi yine morfolojik kurallar dahilinde birleştirilir.


23. Doğal dil üretme(DDÜ)
 Doğal Dil Üretme (DDÜ), makine gösterimi sisteminden doğal dil
üretmeyi amaçlayan bir doğal dil işleme alanıdır.Kimileri DDÜ'yi doğal
dil anlamanın tersi olarak görse de, ayrımları şöyle açıklanabilir: doğal
dil anlamada sistem, girilen cümledeki anlam bulanıklığını gidermeye
çalışırken, DDÜ'de sistem bir kavramı nasıl sözcüklere dökeceği
konusunda kararlar almak zorundadır.


24. Neler yapılabilir?
 Her dilin kendine has gramer kuralları ve kelime çeşitliliği olduğu
düşünülürse, bu alanda yapılan çalışmaların karmaşıklığı biraz olsun
anlaşılabilir. Doğal dil işleme ile neler yapabiliriz ufak bir liste verelim:
 Bilgi çıkarımı (Information Extraction)
 Duygu Analizi ( Sentiment Analysis)
 Çeviri (Translation)
 İstenmeyen mail tespiti (Spam Detection)
 Annotation ( Özetleme)


25. NLP Evreleri
 Ham hâldeki verinin makine için anlamlı olmayacağı aşikâr, bir
metin içerisindeki kelimelerin anlamlandırılabilmesi için, çeşitli
işlemlerden geçmesi gerekir. Normalizasyon bir metin
içerisindeki gereksiz öğelerin atılması işlemi, Lemmatization ise
kelimenin sözlükteki “doğru” hâlinin tespit edilmesidir. Stemming
işlemi de kelimelerin kök hâllerini bulmamızı sağlar.


26. NLP Evreleri



 .


27. NLP Evreleri(Tokenizer)
 Tokenizer



 .


28. NLP Evreleri(Normalization)
 Normalization


29. İşlemler(Deasciifier)
 Deasciifier


30. İşlemler(Vowelizer)
 Vowelizer



31. İşlemler(Spelling Corrector)
 Spelling Corrector


32. NLP Evreleri(isTurkish)
 isTurkish


33. NLP Evreleri(MorphologicalAnalyzer)
 Morphological Analyzer


34. Corpus
 Corpus kelime sözlüğüdür diyebiliriz. Tahmin edeceğiniz gibi
corpus’lar dillere özel olmak zorundadır. Corpus içerisinde bir
kelime ile ilgili anlam bilgisi değil de, özel isim olup olmadığı, fiil
mi? sıfat mı ? isim mi ? gibi sorulara cevap bulabileceğimiz
işaretlemeler yer alır. Doğal dil işleme üzerine çalışırken Python
NLTK programlama dilini ve kütüphanesini kullanmak faydalıdır.
NLTK web sitesine girdiğinizde hazır verileri indirebilir, bunlar
üzerinden çalışmalar yapabilirsiniz. Tabii ki de “bedeve”.


35. PYTHON NLTK
 NLTK (Natural Language Tool Kit)-Doğal Dil
Aracı:
 Python komut satırından “import nltk” ile bu aracın genel modüllerini
kütüphanemize dahil etmiş oluyoruz. Bundan sonrası altbirimlerin
incelenip kullanılmasına kalıyor. Yazılan modüller; derlem
okuyucuları, bölüştürücüler, kök çözücüler, etiketleyiciler,
kümeleyiciler, ayrıştırıcılar, anlam yorumlayıcılar, sınıflandırıclar,
ölçüm, tahmin.


36. PYTHON NLTK
 NLTK (Natural Language Tool Kit) Token
Örneği:


37. Doğal Dil İşleme ve Türkçe
 Türkçe sadece sözcük bazında kurallı bir dildir. Sözcüklerin
oluşturulmasında, eklerin sırasında herhangi bir değişiklik
yapılması mümkün değildir. Fakat cümle öğelerinin yerleri
konusunda herhangi bir kurala sahip değildir. Bu sebeple
sözdizimsel analizi zordur. Resmi yazışmalarda bile dilimizin
gene yapısı olan Özne-Nesne-Yüklem sıralamasına kısmen
uyulmaktadır. Günlük konuşmalarımızda özneyi çoğu zaman
kullanmayız bu işi yükleme bırakırız. Devrik cümle yapısı
fazladır ve vurgulanan kısımları yükleme yakın kullanırız. Bu
sebeple kurgulanması gereken algoritmaların sayısı fazla
olabilir.


38. Doğal Dil İşleme ve Türkçe
 Kök temellidir ve sondan eklemeli bir dildir. Kök temelli olması
anlaşılırlığı yükseltir, sözcüğün genelinden köke inerek anlam
çıkarmak artı olarak düşünülebilir. Fakat sondan eklemi bir
olması Türkçenin işlenmesinde zorluklar karşımıza çıkarır.
Eklenebilecek eklerin çokluğu sözcüğün çözümlenmesini
zorlaştırabilir. Ya da eklenen ek sonucunda başka anlama gelen
bir sözcük oluşabilir. Abartılmış bir örnek vermemiz gerekirse;
 gözlükçülerdenmiş – göz(isim kök)lük(yapım eki)çü(yapım
eki)ler(çoğul eki)den(hal eki)miş(çekimli fiil eki)


39. Doğal Dil İşleme ve Türkçe
 Türkçe fonetiktir, ses harf uyumu vardır, kısacası yazıldığı
gibi okunur ve okunduğu gibi yazılır. Metini seslendirme ya
da sesli bir konuşmayı metine çeviren sistemler için Türkçe
ideal bir dildir.


40. Doğal Dil İşleme ve Türkçe
 Türkçe eş anlamlı ve sesteş sözcük sayısı fazladır. Türkçedeki
kelime sayısının diğer dillere göre az olmasının sebebi de
budur. Hem bir kelime ile birçok anlam verebilirsiniz hem de bir
sözcük yerine birden fazla kelime kullanabilirsiniz. Türkçenin
kurulan bir cümlenin birden fazla yöne çekilmesi ve farklı
anlamlara gelebilmesi bu sebeptendir. İşte bu durum doğal dil
işlemede önümüze engel olarak çıkmaktadır. Cümlenin analizini
doğru yapabilmek için kelimenin hangi anlamda kullanıldığını
doğru saptamak gerekmektedir.


41. KAYNAKÇA
 http://www.nltk.org/
 https://tr.wikipedia.org
 http://tools.nlp.itu.edu.tr/






 Muhammed GÖKKAYA
 14010011014