Apresentação realizada no 4º Meetup Elastic São Paulo User Group. Foi apresentado a comunidade o case de classificação automática de textos de reclamações da Anatel, utilizando o Elastic Search para tal.
Apresentada por: Jozias Rolim - Analista Sênior - iColabora
5. Classificar automaticamente reclamações da Anatel
Clientes realizam reclamações sobre os seus serviços na Anatel
O operador classifica a reclamação
As reclamações devem ser classificadas para que possam ser encaminhadas
para os setores responsáveis da empresa.
Classificação está relacionada com indicadores de qualidade - Anatel
A árvore de reclamação é imensa
O operador classifica de forma equivocada
Classificar demanda tempo - Aumento da produtividade do operador 5
11. Realizando a consulta dos textos mais similares
_search?analyzer=analyzer_classificador
{
"query": {
"common" :{
"campo_texto.classificacao":{
"query": "Texto de reclamação informado",
"cutoff_frequency": 0.001
}
}
},
"size": 1,
“ A consulta retorna apenas
o documento mais similar,
melhores resultados podem
ser obtidos, retornando mais
documentos e comparando
as classes deles.”
11
13. Dificuldades e possíveis soluções
Base de dados com classificações erradas - Filtrar os dados que possuem
classificação errada para a base
Neologismo - Utilizar synonyms
Palavras com escrita errada - Ignorar palavras não presentes no dicionário
Palavras abreviadas - Ignorar ou utilizar synonyms
Quantidade de sinônimos elevada - Mapear a maior quantidade de
sinônimos possível
13