1. NIVELET E PËRPUNIMIT TË GJUHËS NATYRORE
Metoda më shpjeguese për paraqitjen e asaj që ndodh brenda një sistemi të përpunimit të
gjuhës natyrore është me anë të qasjes në nivelet e gjuhës. Kjo referohet edhe si model sinkronik i
gjuhës dhe të dallohet nga modeli i mëparshëm i vijimësisë, i cili supozon se nivelet e përpunimit të
gjuhës njerëzore ndjekin njëri-tjetrin në mënyrë rreptësisht vijuese. Hulumtimi psycholinguistic
sugjeron se përpunimi i gjuhës është shumë më dinamik, si nivelet mund të ndërveprojnë në një
shumëllojshmëri rregullash. Analizë e vetvetes zbulon se ne shpesh përdorim informacionin që e
kemi fituar nga ajo që është menduar zakonisht si një nivel më i lartë i përpunimit për të ndihmuar
në një nivel më të ulët të analizës.
Për shembull, njohuritë pragmatike se dokumenti që po lexon është rreth biologjisë do të
përdoret kur ndeshet një fjalë të veçantë që ka disa kuptime të mundshme, dhe fjala do të
interpretohet si e ka kuptimin në biologji. Nga nevoja, përshkrimi i mëposhtëm i niveleve do të
paraqitet në mënyrë të vijueshme. Pika kyçe këtu është se kuptimi është përcjellë nga secili dhe çdo
nivel i gjuhës dhe kjo që kur njerëzit kanë treguar se për përdorin të gjitha nivelet e gjuhës për të
fituar kuptimin, sa më i aftë të jetë një sistem i përpunimit të gjuhës natyrore (NLP), aq më shumë
nivele të gjuhës do të përdorë.
Fonologjia
Ky nivel merret me interpretimin e tingujve fjalës brenda dhe përtej fjalëve. Ka, në fakt, tri
lloje të rregullave të përdorura në analizën fonologjike:
1) rregullat fonetike - për tingujt brenda fjalëve,
2) rregullat fonematike - për variacionet e shqiptim kur fjalët fliten bashku, dhe,
3) rregullat prosodike - për lëvizjen e theksit dhe intonacionit nëpër një fjali. Në një sistem të
NLP-së që pranon të dhëna të të folurit, valët e zërit analizohen dhe kodohen në një sinjal
digjitalizuar për interpretimin sipas rregullat të ndryshme ose sipas krahasimit me modele të gjuhës
specifike që po shfrytëzohet.
Morfologjia
Ky nivel ka të bëj me ndërtimin e fjalëve, të cilat përbëhen nga morfema - njësitë më të vogla
të kuptimshme. Për shembull, fjala parashkollormund të analizohet morfologjikisht në tre morfema
të veçanta: parashtesa para, rrënja shkollë dhe prapashtesa or. Meqë kuptimi i çdo morfeme mbetet
i njëjtë në fjalë të ndryshme, njerëzit mund të analizojnë një fjalë të panjohur në morfemat e saj
përbërëse në mënyrë që të kuptojnë domethënien e saj. Në mënyrë të ngjashme, një sistem NLP
mund të njohë kuptimin e bartur nga çdo morfemë në mënyrë që të nxjerrë kuptimin përfaqësues.
Për shembull, duke shtuar mbaresë va në një folje, të bëhet e ditur se veprimi i foljes zhvillohet në
të shkuarën. Kjo është një pjesë kryesore e kuptimit, dhe në fakt, vetëm evidentohet shpesh në një
tekst nga përdorimi i morfemës va.
Leksiku
Në këtë nivel, njerëzit, si dhe sistemet e NLP-së, interpretojnë kuptimin e fjalëve individuale.
Disa lloje të përpunimit të kontribuojnë në të kuptuarit e nivelit të fjalëve të të - e para prej këtyre
është caktimi i një shenje të vetme të pjesës së ligjëratës për çdo fjalë. Në këtë përpunim, fjalëve që
mund të funksionojnë si më shumë se një pjesë e ligjëratës u caktohen një shenjë më e mundshme e
pjesës së ligjëratës, bazuar në kontekstin në të cilën ato ndodhin. Përveç kësaj në nivelin leksikor,
ato fjalë që kanë vetëm një kuptim të mundshëm apo që kuptimi mund të zëvendësohet me një
përfaqësim semantik të atij kuptimi. Natyra e përfaqësimit varion sipas teorisë semantike të
përdorur në sistemin NLP. Përfaqësimi vijues i kuptimit të fjalës është në formën e predikateve
logjike. Siç mund të vërehet, një njësi e vetme leksikor është zbërthehet në tiparet e saj më
themelore. Duke pasur parasysh se ekziston një grup primitivesh semantike të përdorura në të gjitha

2. fjalët, këto përfaqësime të thjeshtësuara leksikore bëjnë të mundur njësimin e kuptimit në të gjitha
fjalët dhe prodhojnë interpretime komplekse, shumë të njëjta me ato që bëjnë njerëzit.
(a large boat used for carrying people on rivers, lakes harbors, etc.)
((CLASS BOAT) (PROPERTIES (LARGE)
(PURPOSE (PREDICATION (CLASS CARRY) (OBJECT PEOPLE))))
Niveli leksikor mund të kërkojë një leksikon, dhe qasja e veçantë e ndërmarrë nga një sistem
NLP do të përcaktojë nëse një leksikon do të përdoret, si dhe natyrën dhe shkallën e informacionit
që është i koduar në leksikon. Leksikonet mund të jenë mjaft të thjeshta, vetëm me fjalët dhe pjesët
e ligjëratës që i përkasin, ose mund të jenë gjithnjë e më komplekse duke përmbajtur informacione
mbi klasën semantik të fjalës, çfarë argumentesh merr, dhe kufizimet semantike për këto argumente,
përkufizimet e kuptimit(ve) në përfaqësimin semantik që shfrytëzohen në sistemin e veçantë, dhe
madje edhe fushën semantike në të cilën çdo kuptim i një fjale polisemike është përdorur.
Sintaksa
Ky nivel fokusohet në analizimin e fjalëve në një fjali në mënyrë që të zbulojë strukturën
gramatikore të fjalisë. Kjo kërkon edhe një gramatikë dhe një analizues. Prodhimi i këtij niveli të
përpunimit është një (ndoshta jo në mënyrë lineare) përfaqësim i fjalisë që tregon marrëdhëniet e
varësisë strukturore midis fjalëve. Ka gramatika të ndryshme që mund të shfrytëzohen, dhe që, nga
ana tjetër, ndikojnë në zgjedhjen e një analizuesi. Jo të gjitha aplikacionet NLP kërkojnë një
analizim të plotë të fjalive, prandaj sfidat e mbetura në analizë gramatikore të fushës së lidhjes dhe
ngjitjes së sintagmave parafjalore nuk i ngatërrojnë ato aplikacione për të cilat varësitë frazore dhe
të fjalisë janë të mjaftueshme. Sintaksa përcjell kuptimin në shumicën e gjuhëve, sepse rendi dhe
varësia kontribuojnë në kuptim.
Për shembull dy fjali:
Qeni ndjek macen
Macja ndjek qenin,
ndryshojnë vetëm në aspektin e sintaksës, por përcjellin kuptime krejt të ndryshme.
Semantika
Ky është niveli në të cilin shumica e njerëzve mendojnë se kuptimi është i përcaktuar,
megjithatë, siç mund ta shohim në përcaktimin e niveleve, janë të gjitha këto nivele që kontribuojnë
për kuptimin. Përpunimi semantik përcakton kuptimet e mundshme të një fjalie duke u fokusuar në
bashkëveprimet midis kuptimeve në nivelin e fjalës në fjali. Ky nivel i përpunimit mund të përfshijë
qartësimin e shumëkuptimësisë (disambiguation) semantike të fjalëve me kuptime të shumta; në një
mënyrë të ngjashme ashtu si qartësimi i shumëkuptimësisë sintaksore të fjalëve që mund të
funksionojnë si pjesë të shumëfishta të ligjëratës
realizohet në nivel sintaksor. Qartësimi i shumëkuptimësisë semantike lejon një dhe vetëm një
kuptim të fjalëve polisemike të përzgjidhen dhe të përfshihen në përfaqësimin semantik të fjalisë.
Për shembull, midis kuptimeve të tjera, emri 'grykë' si një emër mund të ketë këto kuptime: 1. Pjesa
e e përparme e qafës; fyt. I dhemb gryka. 2. Pjesa e sipërme dhe me e ngushtë e një shisheje. Gryka
e shishes. 3. Vend i ngushtë dhe i thellë midis dy maleve. Grykë mali. 4. Pjesa e përparme e tytës së
një arme; tytë. Gryka e pushkës.
Nëse kërkohet informacion nga pjesa tjetër e fjalisë për të qartësuar shumëkuptimësinë,
semantika dhe jo niveli leksikor do ta qartësojë. Një gamë të gjerë metodash të mund të zbatohen
për të përmbushur qartësimin e shumëkuptimësisë, disa prej të cilave kërkojnë informacion në
lidhje me shpeshtësinë me të cilën çdo kuptim ndodh në një korpus të veçantë të interesit, apo në
përdorimin e përgjithshëm, disa kërkojnë shqyrtimin e kontekstit lokal, dhe disa tjera shfrytëzojnë
njohuritë pragmatike të fushës së dokumentit.

3. Ligjërimi (Discourse)
Ndërsa sintaksa dhe semantika punojnë me fjalinë si njësi gjatësie, niveli i ligjërimit
(diskursit) të NLP punon me njësitë e tekstit më të gjatë se një fjali. Kjo nënkupton se ajo nuk i
interpreton tekstet me shumë fjali vetëm si fjali të varguara, ku secila prej tyre mund të interpretohet
veçmas. Përkundrazi, ligjërimi fokusohet në vetitë e tekstit si tërësi që përcjell kuptimin duke i bërë
lidhjet midis fjalive përbërëse. Disa lloje të përpunimit të diskursit mund të ndodhin në këtë nivel,
dy më të zakonshmet janë zgjidhja e anaforës dhe njohja e strukturës së diskursit / tekstit. Zgjidhja
e anaforës ka të bëjë me zëvendësimin e fjalëve të tilla si përemra, të cilat janë semantikisht boshe,
me njësitë e përshtatshme të cilave u referohen. Njohja e strukturës së diskursit / tekstit përcakton
funksionet e fjalive në tekst, të cilat, nga ana tjetër, u shtohen përfaqësimit kuptimplotë të tekstit.
Për shembull, artikuj gazetash mund të shpërbëhen në komponentët e diskursit të tilla si: Lead,
Main Story, Previous Events, Evaluation, Attributed Quotes, and Expectation.
Pragmatika
Ky nivel ka të bëjë me përdorimin e qëllimshëm të gjuhës në situata dhe përdor konteksti n
veç përmbajtjes së tekstit për kuptimin. Qëllimi është që të shpjegojë se si lexohet kuptimi shtesë në
tekste në të vërtetë pa qenë të koduara. Kjo kërkon shumë njohuri nga bota, duke përfshirë edhe
kuptimin e qëllimeve, planeve dhe synimeve. Disa aplikacione NLP mund të shfrytëzojnë bazat e
njohurive dhe modulin e nxjerrjes së përfundimit. Për shembull, këto dy fjali kërkojnë zgjidhjen e
termit anaforik 'ata', por kjo zgjidhje kërkon njohuri pragmatike apo botërore.
The city councilors refused the demonstrators a permit because they feared violence. -
Këshilltarët e qytetit refuzuan një leje demonstruesve sepse ata kishin frikë dhunën.
The city councilors refused the demonstrators a permit because they advocated
revolution. - Këshilltarët e qytetit refuzuan një leje demonstruesve sepse ata mbrojtën
revolucionin.
Përmbledhje e niveleve
Sistemet aktuale NLP kanë prirje për të zbatuar module që të përmbushin kryesisht nivelet më
të ulëta të përpunimit. Kjo është për disa arsye. Së pari, aplikacioni mund të mos kërkojë
interpretim në nivelet më të larta. Së dyti, nivelet e ulëta janë hulumtuar dhe zbatuar më thellë. Së
treti, nivelet më të ulëta merren me njësi më të vogla të analizës, p.sh. morfemat, fjalët dhe fjalitë, të
cilat janë drejtuara sipas rregullave, kundrejt niveleve të larta të përpunimit të gjuhës të cilat merren
me tekstet dhe njohuritë e botës, dhe të cilat janë drejtuara vetëm nga rregullsia. Qasjet statistikore,
deri më sot, janë të vlefshme në nivelet më të ulëta të analizës, ndërsa qasjet simbolike janë trajtuar
në të gjitha nivelet, edhe pse ka ende disa sisteme të cilat përfshijnë nivelet më të larta.