Corpora para Processamento de Linguagem Natural

Corpora para Processamento de Linguagem Natura Alberto Manuel Brand˜o Sim˜es a o ambs@di.uminho.pt 17 de Outubro de 2008 (v0.1) Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Defini¸õ de Corpus ca Corpus Corpus ´ um termo usado para representar uma coleçõ (finita) e ca de textos, relativos a determinado assunto. Corpora Corpora ´ o plural de Corpus. e  monolingue corpora compar´vel a multilingue paralelo Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Monolingue Alguns exemplos de Corpora Monolingues: British National Corpus — um corpus da l´ ıngua inglesa que cont´m diferentes g´neros de texto (escrito, oral, ...), com e e mais de 100 milh˜es de palavras; o CETEMP´blico — mais de 191 milh˜es de palavras de u o segmentos de texto jornal´ ıstico recolhidos do Jornal P´blico; u CETENFolha — mais de 33 milh˜es de palavras de segmentos o de texto jornal´ ıstico recolhidos da Folha de S˜o Paulo; a Russian National Corpus — um corpus da l´ ıngua russa com mais de 147 milh˜es de palavras; o Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Compar´veis a Corpora Compar´veis a Os Corpora Compar´veis s˜o conjuntos de textos em diferentes a a l´ ınguas que, embora n˜o correspondam directamente a tradu¸˜es a co literais, focam um mesmo assunto. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Compar´veis a Qualquer conjunto de not´ıcias que se refiram a um mesmo assunto ou evento, e que estejam escritos em l´ınguas diferentes podem ser vistos como corpora compar´veis. a Outro exemplo ser´ um conjunto de artigos cient´ a ıficos sobre um mesmo micro-organismo. Estes corpora sõ essencialmente utilizados para o estudo e a extraçõ de terminologia espec´ ca ıfica da ´rea a que os corpora se a referem. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Paralelos Corpora Paralelos Os Corpora Paralelos sõ textos em duas ou mais l´ a ınguas, em que existe uma rela¸õ de tradu¸õ entre eles. Tipicamente sõ ca ca a bilingues, em que uma das l´ ınguas ´ a original, e a outra a e tradu¸õ. ca Corpora Paralelos Alinhados Habitualmente ´ usado o termo gen´rico Corpus Paralelo para e e representar os corpora paralelos alinhados ao n´ da frase. Ou ıvel seja, em que os textos foram divididos em frases e foi definida uma correspondˆncia entre os segmentos nas duas l´ e ınguas. Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Exemplos de Corpora Paralelos Exemplos de Corpora Paralelos Hansards — Corpus inglˆs/francˆs com mais de um milhõ de e e a unidades de tradu¸õ provenientes da legisla¸õ canadiana; ca ca COMPARA — Corpus portuguˆs/inglˆs com cerca de 97 mil e e unidades de tradu¸õ provenientes de texto liter´rio (com ca a varia¸˜es na direçõ da tradu¸õ e no dialecto portuguˆs). co ca ca e EuroParl — Corpus multilingue com uma m´dia de um milhõ e a de unidades de tradu¸õ para cada par de l´ ca ıngua, provenientes da legisla¸õ europeia; ca JRC-Acquis — Corpus multilingue com uma m´dia de um e milhõ de unidades de tradu¸õ para cada par de l´ a ca ıngua, provenientes da legisla¸õ europeia; ca Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora Paralelos na Rede ´ E habitual a disponibiliza¸˜o de Corpora para consulta de ca concordˆncias na Internet. a Alguns exemplos: AC/DC — Acesso a Corpora / Disponibiliza¸˜o de Corpora ca http://www.linguateca.pt/acesso/corpus.php COMPARA — Corpus Paralelo de Obras Liter´rias a http://www.linguateca.pt/COMPARA/psimples.php NATools — Natura Alignment Tools http://linguateca.di.uminho.pt/nat Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Etapas T´ ıpicas na Constru¸õ de um Corpus ca recolha dos textos a incorporar: digitaliza¸õ e OCR de documentos; ca recolha autom´tica a partir de documentos a Caso particular: extraçõ a partir da rede ca an´lise e tratamento da qualidade dos textos: a tratamentos de erros t´ıpicos de OCR; an´lise e seleçõ dos textos obtidos; a ca segmenta¸õ e atomiza¸õ dos textos: ca ca deteçõ de frases (cuidado com abreviaturas...) ca deteçõ de palavras (o que sõ palavras?...) ca a anota¸õ variada: ca anota¸õ das entidades mencionadas; ca anota¸õ das categorias morfo-sintćticas; ca a Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Adicionalmente para Corpora Paralelos alinhamento ao n´ da frase ıvel com base no comprimento das frases; com base em palavras sem tradu¸õ; ca com base em dicion´rios bilingues; a extraçõ de dicion´rios de tradu¸õ ca a ca para cada palavra associar tradu¸˜es prov´veis; co a com base nas co-ocorrˆncias das palavras; e alinhamento ao n´ da palavra ıvel associar uma tradu¸õ a cada ocorrˆncia de uma palavra; ca e Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Aplica¸oes de Corpora c˜ Aprendizagem Autom´tica: a modelos estat´ ısticos de l´ ıngua; Extraçõ de terminologia: ca deteçõ de palavras espec´ ca ıficas de uma ´rea; a extraçõ de terminologia bilingue; ca Tradu¸õ Autom´tica: ca a extraçõ de dicion´rios bilingues; ca a extraçõ de terminologia bilingue; ca extraçõ de exemplos de tradu¸õ; ca ca modelos estat´ısticos de tradu¸õ; ca Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Constru¸õ de Corpora Monolingue ca A constru¸õ de corpora monolingue tem como base a: ca extraçõ de p´ginas da Rede com conte´do relevante ca a u pesquisas por termos chave; extraçõ de algumas p´ginas obtidas; ca a extraçõ do l´xico dessas p´ginas, e compara¸õ com l´xico ca e a ca e comum; usar as palavras resultantes em novas pesquisas. Extraçõ ca dessas p´ginas como constituintes do corpus. a seleçõ das p´ginas obtidas ca a a l´ ıngua pretendida; a percentagem de conte´do util; u ´ Alberto Sim˜es o Corpora para Processamento de Linguagem Natura

Corpora para Processamento de Linguagem Natural

by Alberto Simões

Accessibility

Categories

Upload Details

Usage Rights

Statistics

Corpora para Processamento de Linguagem Natural Presentation Transcript