Corpora para Processamento de Linguagem Natural

Corpora para Processamento de Linguagem Natura Alberto Manuel Brand˜o Sim˜es a o ambs@di.uminho.pt 17 de Outubro de 2008 (v0.1) Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Defini¸õ de Corpus ca Corpus Corpus ´ um termo usado para representar uma coleçõ (finita) e ca de textos, relativos a determinado assunto. Corpora Corpora ´ o plural de Corpus. e  monolingue corpora compar´vel a multilingue paralelo Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Monolingue Alguns exemplos de Corpora Monolingues: British National Corpus — um corpus da l´ ıngua inglesa que cont´m diferentes g´neros de texto (escrito, oral, ...), com e e mais de 100 milh˜es de palavras; o CETEMP´blico — mais de 191 milh˜es de palavras de u o segmentos de texto jornal´ ıstico recolhidos do Jornal P´blico; u CETENFolha — mais de 33 milh˜es de palavras de segmentos o de texto jornal´ ıstico recolhidos da Folha de S˜o Paulo; a Russian National Corpus — um corpus da l´ ıngua russa com mais de 147 milh˜es de palavras; o Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Compar´veis a Corpora Compar´veis a Os Corpora Compar´veis s˜o conjuntos de textos em diferentes a a l´ ınguas que, embora n˜o correspondam directamente a tradu¸˜es a co literais, focam um mesmo assunto. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Compar´veis a Qualquer conjunto de not´ıcias que se refiram a um mesmo assunto ou evento, e que estejam escritos em l´ınguas diferentes podem ser vistos como corpora compar´veis. a Outro exemplo ser´ um conjunto de artigos cient´ a ıficos sobre um mesmo micro-organismo. Estes corpora sõ essencialmente utilizados para o estudo e a extraçõ de terminologia espec´ ca ıfica da ´rea a que os corpora se a referem. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Paralelos Corpora Paralelos Os Corpora Paralelos sõ textos em duas ou mais l´ a ınguas, em que existe uma rela¸õ de tradu¸õ entre eles. Tipicamente sõ ca ca a bilingues, em que uma das l´ ınguas ´ a original, e a outra a e tradu¸õ. ca Corpora Paralelos Alinhados Habitualmente ´ usado o termo gen´rico Corpus Paralelo para e e representar os corpora paralelos alinhados ao n´ da frase. Ou ıvel seja, em que os textos foram divididos em frases e foi definida uma correspondˆncia entre os segmentos nas duas l´ e ınguas. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Paralelos Exemplos de Corpora Paralelos Hansards — Corpus inglˆs/francˆs com mais de um milhõ de e e a unidades de tradu¸õ provenientes da legisla¸õ canadiana; ca ca COMPARA — Corpus portuguˆs/inglˆs com cerca de 97 mil e e unidades de tradu¸õ provenientes de texto liter´rio (com ca a varia¸˜es na direçõ da tradu¸õ e no dialecto portuguˆs). co ca ca e EuroParl — Corpus multilingue com uma m´dia de um milhõ e a de unidades de tradu¸õ para cada par de l´ ca ıngua, provenientes da legisla¸õ europeia; ca JRC-Acquis — Corpus multilingue com uma m´dia de um e milhõ de unidades de tradu¸õ para cada par de l´ a ca ıngua, provenientes da legisla¸õ europeia; ca Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Paralelos na Rede ´ E habitual a disponibiliza¸˜o de Corpora para consulta de ca concordˆncias na Internet. a Alguns exemplos: AC/DC — Acesso a Corpora / Disponibiliza¸˜o de Corpora ca http://www.linguateca.pt/acesso/corpus.php COMPARA — Corpus Paralelo de Obras Liter´rias a http://www.linguateca.pt/COMPARA/psimples.php NATools — Natura Alignment Tools http://linguateca.di.uminho.pt/nat Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Etapas T´ ıpicas na Constru¸õ de um Corpus ca recolha dos textos a incorporar: digitaliza¸õ e OCR de documentos; ca recolha autom´tica a partir de documentos a Caso particular: extraçõ a partir da rede ca an´lise e tratamento da qualidade dos textos: a tratamentos de erros t´ıpicos de OCR; an´lise e seleçõ dos textos obtidos; a ca segmenta¸õ e atomiza¸õ dos textos: ca ca deteçõ de frases (cuidado com abreviaturas...) ca deteçõ de palavras (o que sõ palavras?...) ca a anota¸õ variada: ca anota¸õ das entidades mencionadas; ca anota¸õ das categorias morfo-sintćticas; ca a Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Adicionalmente para Corpora Paralelos alinhamento ao n´ da frase ıvel com base no comprimento das frases; com base em palavras sem tradu¸õ; ca com base em dicion´rios bilingues; a extraçõ de dicion´rios de tradu¸õ ca a ca para cada palavra associar tradu¸˜es prov´veis; co a com base nas co-ocorrˆncias das palavras; e alinhamento ao n´ da palavra ıvel associar uma tradu¸õ a cada ocorrˆncia de uma palavra; ca e Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Aplica¸oes de Corpora c˜ Aprendizagem Autom´tica: a modelos estat´ ısticos de l´ ıngua; Extraçõ de terminologia: ca deteçõ de palavras espec´ ca ıficas de uma ´rea; a extraçõ de terminologia bilingue; ca Tradu¸õ Autom´tica: ca a extraçõ de dicion´rios bilingues; ca a extraçõ de terminologia bilingue; ca extraçõ de exemplos de tradu¸õ; ca ca modelos estat´ısticos de tradu¸õ; ca Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Constru¸õ de Corpora Monolingue ca A constru¸õ de corpora monolingue tem como base a: ca extraçõ de p´ginas da Rede com conte´do relevante ca a u pesquisas por termos chave; extraçõ de algumas p´ginas obtidas; ca a extraçõ do l´xico dessas p´ginas, e compara¸õ com l´xico ca e a ca e comum; usar as palavras resultantes em novas pesquisas. Extraçõ ca dessas p´ginas como constituintes do corpus. a seleçõ das p´ginas obtidas ca a a l´ ıngua pretendida; a percentagem de conte´do util; u ´ Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora para Processamento de Linguagem Natural

by Alberto Simões on Oct 17, 2008

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Corpora para Processamento de Linguagem Natural — Presentation Transcript