Tag

Евалуација програма за етикетирање текста на српском језику Поповић Зоран Математички факултет Универзитет у Београду

Обрада природног језика (NLP) и етикетирање

Основни појмови

Корпус (дужина, број лексема/токена и лема)

Морфо-синтаксна обележја (етикете) и класе етикета (отворене, затворене)

Етикетирање граматичких делова реченице ( PoS , Part-of-Speech Tagging ):

Vinston / Npmsn--y je / Va-p3s-an-y---p

uveče / Rgp imao / Vmps-sman-n---p

više / Rgp posla / Ncmsg--n nego / C-s

ikad / Rgp . / SENT

Основни појмови

Лексикон

N-грами

Језички модел:

,,традиционалан”, формално описан, по угледу на формалне граматике Ноама Чомског (типови)

и статистички, Шенонов (Шенонове игре; Колмогоров, Чаитин, алгоритамска комплексност, статистичка теорија индукције Р. Соломонова, Голдова идентификација језика)

као и нека врста везе између ова два (нпр. стохастичке контекстно-слободне граматике)

TEI (Text Encoding Initiative, www.tei-c.org)

TEI <TEI.2 id="Osr" lang="sr"> <teiHeader creator="CK" status="update" ... id="Osr.teiHeader"> <fileDesc> <titleStmt> ... </fileDesc> <encodingDesc> <projectDesc> ... </encodingDesc> <revisionDesc> ... </revisionDesc> </teiHeader> <text lang="sr" id="Osr."> <body> <div id="Osr.1" type="part" n="1"> <div id="Osr.1.2" type="chapter" n="1"> <p id="Osr.1.2.2"> <s id="Osr.1.2.2.1"> <w lemma="biti" ana="Vmps-sman-n---p">Bio</w> <w lemma="jesam" ana="Va-p3s-an-y---p">je</w> <w lemma="vedar" ana="Afpmsnn">vedar</w> <w lemma="i" ana="C-s">i</w> ... ... <w lemma="hladan" ana="Afpmsnn">hladan</w> <w lemma="aprilski" ana="Aopmpn">aprilski</w> <w lemma="dan" ana="Ncmsn--n">dan</w> <c>;</c> <w lemma="na" ana="Spsa">na</w> <w lemma="časovnik" ana="Ncmsa--n">časovnicima</w> <w lemma="jesam" ana="Va-p3s-an-y---p">je</w> <w lemma="izbijati" ana="Vmps-snan-n---e">izbijalo</w> <w lemma="trinaest" ana="Mc---l">trinaest</w> <c>.</c> </s> <s id="Osr.1.2.2.2"> <w lemma="Vinston" ana="Npmsn--y">Vinston</w> <w lemma="Smit" ana="Npmsn--y">Smit</w> <c>,</c> ...  </p> </div> </body> </text> </TEI.2>

Примери корпуса

Неколико познатих корпуса са особинама у поређењу са корпусима употребљеним у раду:

Класе етикета: Penn TreeBank (PTB) Tagset, ICE

MSD (TEI): Ncfsg: Noun common feminine singular genitive

Неке примене у областима обраде природног језика

Сегментација (речи и реченица)

Лематизација (stemming)

Word Sense Disambiguation

Прикључење израза с предлогом (Prepositional Phraze Attachment)

Синтаксна и семантичка анализа (парсирање)

Аутоматско превођење (добар пример тежине ове класе проблема: ,,Out of sight, out of mind”)

Претраживање информација (Information Retrieval)

Препознавање и синтеза говора

Различтити програми за етикетирање и методе машинског учења

Перформансе програма за етикетирање

Грешка етикетирања: број погрешно етикетираних речи у односу на укупан број речи тест корпуса (као дати низ реченица и речи)

Десетострука унакрсна валидација (10-fold cross-validation) као тест: 9/10 + 1/10 (корпуси за обучавање + тест)

Тестирање се ради аутоматизовано

Машинско учење

Методе машинског учења:

надгледане (скупу обучавања одговара етикетирани корпус)

ненадгледане (примери интегрисаних система где семантика етикета није битна, аутоматска лематизација и учење)

Проблем презасићења (overfitting) учења и способности генерализације, Окамова оштрица

Примери програма за етикетирање

State-of-the-Art (WSJ 0-18/22-24):

CLAWS, R. Garside, G. Leech, G.Sampson (1987), HMM

MBT (Memory Based Tagger), TiMBL, Daelemans (1999), kNN + CBR

MXPOST, Adwait Ratnaparkhi (1998), MEP

Rule Based Tagger, Eric Brill (1992/93): 97.2% WSJ

TnT – Thorsten Brants (2000), HMM: 96.7% PTB

Tree Tagger, Helmut Schmid (1994), Decision Tree: 96.36% PTB

Методе машинског учења

Бајесове мреже

статистички модели:

MLE (Maximum Likelihood Estimation),

MAP (Maximum a posteriori),

MEP (Maximum Enthropy Principle)

HMM (скривени ланци Маркова као уопштење регуларних граматика; Баум-Велч, Витерби)

методе класификације: SVM (Support Vector Machine), наивни Бајесов / Гибсов класификатор

Учење инстанцама: kNN, RBF, CBR

Учење дрветом одлуке (ID3, C4.5)

Неуронске мреже

Одабрана решења и програми

Tree Tagger

Учење дрветом одлуке

Релативно једноставан за употребу, једини подразумева лематизацију међу одабраним програмима, али нема алат за генерисање лексикона

Корпус се задаје у вертикалном формату (једна лексема по линији, раздвојена белим размаком од етикете – и опционо, леме)

Синтакса команде за етикетирање: tree-tagger {-options-} <parameter file> {<input file> {<output file>}}

TnT - Trigrams'n'Tags

Учење: HMM (Витерби и варијанте)

Веома једноставан за употребу, најбрже учење и етикетирање међу свим одабраним програмима,

Корпус се задаје такође у вертикалном формату

Синтакса команди за учење и етикетирање: tnt-para [opcije] korpus.tt tnt [opcije] model korpus.tt > korpus.tts

Brill - Rule Based Tagger

Учење правила трансформације вођено минимализацијом грешке (лексичка правила за почетно одређивање етикете, контекстна правила трансформације етикета ради повећања тачности)

Прилично сложен и доста спор постпупак учења са припремним међукорацима

Корпус се задаје хоризонталном формату (традицоиналан PTB формат: реченица по линији, лексема и етикета раздвојене са ,,/”)

SVMTool

Учење: SVM класификација

Изузетно спор постпупак учења, али зато најбогатији опцијама и могућностима прилагођавања алгоритма учења од свих одабраних програма

Корпус се задаје вертикалном формату

Синтакса команди за учење и етикетирање: SVMTlearn [opcije] bin/config.short.svmt SVMTagger [opcije] model

MXPOST

Учење: принцип максимума ентропије, алат још увек користи пробни поступак (фиксно 100 итерaција)

Донекле спор постпупак учења

Корпус се задаје хоризонталном формату (реченица по линији, лексема и етикета раздвојене са ,,_”)

Синтакса команди за учење и етикетирање: trainmxpost projectdir traindata mxpost projectdir < wordfile

Резултати и закључак

Резултати

Резултати – наставак Успешност препознавања познатих и непознатих речи у тест корпусу

Закључци

Tree Tagger се понаша нешто боље од других с мањим бројем етикета (корпус 2), али са већим бројем етикета (корпус 3) TnТ је очигледно успешнији. Такође, TnТ је и најбржи (учење, етикетирање) и најједноставнији за употребу

Корпус веће дужине неопходан за боље резултате

Крајњи домети ових програма нису испитани - SVMTool је близак у резултатима, и нуди много веће могућности додатног прилагођавања програма у односу на остале

Питања ?