Автоматический анализ текста для аннотирования изображения

Автоматический анализ текста для аннотирования изображения Баев Александр Андреевич Научный руководитель: к.ф.-м.н, с.н.с. Лукашевич Наталья Валентиновна

Введение ,[object Object],[object Object],[object Object]

Постановка задачи ,[object Object],[object Object],[object Object],[object Object]

Пример статьи На подмосковной железной дороге произошел взрыв На железнодорожной ветке в подмосковном городе Видное произошел взрыв. Как сообщили РИА Новости в правоохранительных органах в понедельник, 6 октября, в результате повреждены 2,4 метра рельсов. Никто не пострадал. "Интерфакс" уточняет, что взрыв произошел вечером в воскресенье - сигнал о нем поступил в 23:45. По данным милиции, мощность неустановленного взрывного устройства составляла два килограмма в тротиловом эквиваленте. Оно было заложено на подъездной ветке к комбинату "Москокс". По факту произошедшего возбуждено уголовное дело по статье 213 (хулиганство). В оперативно-следственной группе, расследующей это дело, "Интерфаксу" сообщили, что, помимо хулиганства, рассматривают несколько версий произошедшего, включая конкурентную борьбу и теракт. Всего: 100 статей с www.rbk.ru 150 статей с www.lenta.ru

1. Формирование списка слов и терминов. ,[object Object],Текст Термины Слова ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Параметры для вычисления веса:

Формулы вычисления коэффициентов ,[object Object],где Cap, Name, Pep – параметры заголовок, имя собственное и личность соответственно. Freq ср – средняя частотность слов в тексте, а iFreq – обратная частотность: где n – частотность слова в базе слов из 1000000 статей, max (N) – максимальная частотность в этой базе ,[object Object],Где Vis – параметр визуальность

2. Сборка единого списка сущностей ,[object Object],[object Object],ЖЕЛЕЗНОДОРОЖНЫЙ ПУТЬ ЖЕЛЕЗНОДОРОЖНАЯ ВЕТКА 2 СУДЕБНОЕ ДЕЛО РАССЛЕДОВАНИЕ ПРЕСТУПЛЕНИЙ РАССМОТРЕТЬ, РАЗОБРАТЬ СЛЕДСТВЕННАЯ ГРУППА РАССЛЕДОВАТЬ (ОСУЩЕСТВИТЬ СЛЕД МИЛИЦИЯ ЖЕЛЕЗНЫЙ 1 ДОРОГА 1 ЖЕЛЕЗНОДОРОЖНЫЙ 1 ВЕТКА 2 ПРАВООХРАНИТЕЛЬНЫЙ 1 МИЛИЦИЯ 1 ОПЕРАТИВНО-СЛЕДСТВЕННЫЙ 1 ГРУППА 1 ДЕЛО 2 ПРАВООХРАНИТЕЛЬНЫЕ ОРГАНЫ

3. Контекстная зависимость Contextual dependence : w1, w2 – слова. f(w1), f(w2), f(w1,w2) – кол-во страниц, выданных поисковой системой на запрос со словом w1, w2 и ‘w1 && w2’ соответственно. M – размер индекса поисковой машины . ,[object Object],[object Object]

Алгоритм работы Текст статьи Термины Слова Вычисление веса Вычисление веса Сборка сущностей Чистка по связям Контекстная зависимость Три объекта - подписи ЯП – C# СУБД – MSQL 2005

Методы оценки результатов ,[object Object],Q – количество статей, M – ручная оценка сущностей. ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Оценка результатов ,[object Object],[object Object],[object Object],MRR Точность Полнота F- мера 1 0,38 0,28 0,5 0,35 2 0,46 0,38 0,65 0,48 3 0,5 0,42 0,7 0,52

Заключение ,[object Object],[object Object],[object Object],[object Object]

Автоматический анализ текста для аннотирования изображения

Recommended

Recommended

More Related Content

Similar to Автоматический анализ текста для аннотирования изображения

Similar to Автоматический анализ текста для аннотирования изображения (20)

More from Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ

More from Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ (20)

Автоматический анализ текста для аннотирования изображения