Processamento de Linguagem natural com PHP

PROCESSAMENTO DE LINGUAGEM em PHP Ivo NascimentoWednesday, October 19, 11

Ivo Nascimento ivo@o8o.com.br Code Repository Latest Projects github.com/iannsp PEAR PEAR2 Blue Seed php5minutes ianntech.com.br http://o8o.com.brWednesday, October 19, 11

1. - Por que? 2. - Como? 2.1 - TF-IDF 2.2 - NLP Agenda 2.3 ?Wednesday, October 19, 11

Por Que?Wednesday, October 19, 11

dado um corpus, analisa o conteúdo TF-IDF calculando a Term Frequency-Inverse importância relativa de um termo. Document FrequencyWednesday, October 19, 11

tf * idfWednesday, October 19, 11

O desaﬁo de um ser humano não eh deixar para tras a condição de estudante mas descobrir o que estudar. Extração de informaçãoWednesday, October 19, 11

$terms =Array(‘O’, ‘desafio’, ‘de’, ‘um’, ‘ser’, ‘humano’, ‘não’, ‘eh’, ‘deixar’, ‘para’, ‘tras’, ‘a’, ‘condição’, ‘de’, ‘estudante’, ‘mas’, ‘descobrir’, ‘o’, ‘que’, ‘estudar’); TokenizaçãoWednesday, October 19, 11

$terms =Array(‘o’, ‘desafio’, ‘de’, ‘um’, ‘ser’, ‘humano’, ‘não’, ‘é’, ‘deixar’, ‘para’, ‘tras’, ‘a’, ‘condição’, ‘de’, ‘estudante’, ‘mas’, ‘descobrir’, ‘o’, ‘que’, ‘estudar’); NormalizaçãoWednesday, October 19, 11

$terms =Array(‘o’, ‘desafio’, ‘de’, ‘um’, ‘ser’, ‘humano’, ‘não’, ‘é’, ‘deixar’, ‘para’, ‘tras’, ‘a’, ‘condição’, ‘de’, ‘estudante’, ‘mas’, ‘descobrir’, ‘o’, ‘que’, ‘estudar’); Stop-wordsWednesday, October 19, 11

$dictPositive = Array( ‘desafio’=>0.2, $dictNegative = Array( ‘ser’=>0.3, ‘não’ =>0.45, ‘humano’ =>0.21, ‘tras’ =>0.21); ‘deixar’ =>0.21, ‘condição’ =>0.33, ‘estudante’ =>0.4, ‘descobrir’ =>0.133, ‘estudar’ =>0.33); AprendizadoWednesday, October 19, 11

Positiva $terms =Array(‘desafio’, ‘ser’, ‘humano’, ‘não’, ‘deixar’, #estudante ‘tras’,‘condição’,‘estudante’, ‘descobrir’,‘estudar’); #desaﬁo Classi caçãoWednesday, October 19, 11

O desaﬁo de um ser humano não é deixar para tras a condição de estudante mas descobrir o que estudar.$BIGRAM=Array((null,‘o’),(‘o’,‘desafio’),(‘desafio’,’de’),(‘de’,’um’),(‘um’,‘ser’),(‘ser’,‘humano’),(‘humano’ ,‘não’),(‘não,’’é’),(‘é’,‘deixar’),(‘deixar’,‘para’),(‘para’,‘tras’),(‘tras’,‘condicao’),(‘condicao’,’de’),(‘de’,‘estudante’),(‘estudante’,‘mas’),(‘mas’,‘descobrir’),(‘descobrir’,’o’),(‘o’,‘que’),(‘que’,‘estudar’),(‘estudar’,null)); n-gram(bigram,trigram,...)Wednesday, October 19, 11

Distância Euclidiana Coeﬁciente de Relção de Pearson Coeﬁciente de Jaccard Filtro Bayesiano Coef. Dice Análise Qui-quadradoWednesday, October 19, 11

Termos Homógrafos ordem não importa Problemas da abordagem tf-idfWednesday, October 19, 11

dado um corpus, analisa o conteúdo e busca NLP compreensão do todo.Wednesday, October 19, 11

É uma área da inteligência arti cial e da linguística que estuda os problemas da geração e compreensão automática de linguas humanas naturais.(wikipedia)Wednesday, October 19, 11

Natural Language Tool Kit http://www.nltk.org/ NLTKWednesday, October 19, 11

O evento é bom. O evento vai ser bom. O evento foi bom. O evento já foi bom. O evento seria bom.Wednesday, October 19, 11

O evento é bom. S O evento é bom NLPWednesday, October 19, 11

Where are the NLP and M.P. tools for use in PHP? http://bit.ly/aCbfR0 The Biggest QuestionWednesday, October 19, 11

A unica maneira de rodar a NLTK http://bit.ly/n69g0 PIP (python in PHP)Wednesday, October 19, 11

O Início http://bit.ly/oZte8b https://github.com/iannsp/texta Texta - Text AnalizerWednesday, October 19, 11

Texta - Text AnalizerWednesday, October 19, 11

http://livehelton.blogspot.com	119
http://ianntech.com.br	97
http://livehelton.blogspot.com.br	45
http://us-w1.rockmelt.com	3
http://translate.googleusercontent.com	1

Processamento de Linguagem natural com PHP

by Ivo Nascimento on Oct 23, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 265

Statistics

Processamento de Linguagem natural com PHP — Presentation Transcript