1.
Применение шаблонов при выделении коллокаций<br />Жильцов Д.И. (МИЭМ)<br />

2.
Что такое шаблон?<br />Под шалоном будем понимать комбинацию состоящую из нулей и единиц длиной k. Где k – длина словосочетания, а 1 в определенной позиции соответствуетслову из словосочетания в той же позиции, по которому будем объединять.<br />Порог шаблона – такое число единиц, при котором шаблон считается валидным. В данной работе пороговое значение равно 50% от k.<br />Коэффициент нормализации шаблона – значение равное количеству нулей.<br />Пример:<br />k = 6; порог = 3;<br />000111/001011/001101/…<br />

3.
Материал и методика<br />В качестве основного материала использовался неразмеченный корпус текста “РИА Новости”, содержащий более 200000000 словоупотреблений.<br />На этапе морфологического анализа если наблюдалась омонимия, то использовалась первая из предложенных лемм, т.е. неодназначность разбора игнорировалась.<br />MI или t-score?<br /> За счет того, что t-score является лишь несколько модифицированным ранжированием словосочетаний по частоте(Ягунова 2010), основной мерой была взята MI.<br />

4.
Материал и методика.MI для словосочетаний длиной k<br />n – слово <br /> - частота словосочетания<br /> - абсолютная частота слова в корпусе<br />N – количество словоупотреблений в корпусе<br />

5.
Материал и методика.S-MI для словосочетаний длиной k<br /> Алгоритм состоит из следующих этапов:<br />С помощью морфологического анализа приводим все слова к каноническому виду, объединяя их в словосочетания и распределяя по правилам (группам) относительно их словоизменительной парадигмы.<br />Состоявляем шаблоны для длины k с заданным порогом объединения.<br />Для каждого словосочетания из правила вычисляем шаблон. Если количество сочетаний, входящих в шаблон, больше 3, переходим к 4 пункту, иначе – переходим к следующему словосочетанию или шаблону.<br />Относительно полученного шаблона вычисляемдля каждого словосочетания меру MI и ищем сочетания с максимальной мерой. Назовем его - “главный представитель” шаблона.<br />Вычисляем сумму частот всех словосочетаний и делим ее на коэфициент нормализации.<br />Для главного представителя, предполагая, что не объединенные слова являются синонимами в данном контексте(корпусе), вычисляем меру MI, заменяя при этом собственную частоту на сумму из 5 пункта.<br />

6.
Материал и методика.S-MI для коллокаций длиной k<br />В результате получаем файл(ы) вида:<br />

7.
Результаты.Коллокации без знаков препинания.Длина 3.<br />

8.
Результаты.Коллокации со знаками препинания. Длина 3.<br />

9.
Результаты.Коллокации со знаками препинания. Длина 4.<br />

10.
Что остается за бортом?<br />

11.
В дальнейшем планируется:<br />Найти связь между шаблоном длиною k и словосочетаниями большей и меньшей длины, за счет фиксированной части шаблона.<br />Опробовать алгоритм для словоформ.<br />Произвести не только количественную оценку, но и качественную - абстагироваться от частоты и уделить больше внимания правилам.<br />

12.
Спасибо за внимание!<br />