SlideShare a Scribd company logo
1 of 15
Пономарѐв С.В.
Пономарѐв Сергей
Васильевич
 Опыт в речевых технологиях 1.5
месяца;
 Программист C++;
 Сфера интересов – машинная
лингвистика, сильный искусственный
интеллект.
Архитектура парсера
Главные трудности при разработке:
 Рваный график разработки;
 Недостаток времени;
 Отсутствие опыта.
Решение:
 Разработать парсер в виде классифицирующего дерева.
Преимущества:
 Разработка изолированными сессиями;
 Отсутствие необходимости погружения в задачу;
 Использование методов автоматического обучения.
Универсальный Блок №1
Специальный Блок №1.1 Специальный Блок №1.2
Решающее
правило
Декомпозиция задачи
Морфологический уровень
Синтаксический уровень
Семантический уровень
Онтологии
Морфологический уровень
Фонемная сеть и поток фонем:
 Не очень похоже на ИИ;
 Содержит массу специфики:
 Ошибки распознавания фонем;
 Шумы дыхания;
 Дефекты дикции т.д.
Решение:
 Уделить необходимый минимум
внимания в надежде на коррекцию
ошибок на последующих уровнях.
Синтаксический уровень
Выбирает из потока возможных слов те,
которые образуют более-менее
синтаксически правильный текст:
 Согласованные грамматические атрибуты;
 Распространѐнные обороты речи, имена
спортсменов.
Достраивает утраченные при распознавании
частицы:
 “по поводу”;
 “в спорте”;
 “ну и разумеется”.
Семантический уровень
Реализован косвенно, через выделение
би- три- квадрограмм по эталонному
тексту и по внешним источникам.
Хотя планы были большие, но времени не хватило.
Как реализовано?
Гипотезы о словах
Гипотезы о группах слов
Оценка гипотез
Специальные коррекции
Оценка гипотез.
Коррекции.
Как могло бы быть…
Ассоциативное связывание слов с выводом “по аналогии”:
 Возьмѐм базу на 1.3 миллиона слов и понятий, с
полумиллиардом связей между ними, разбитых на 64-ре
канала:
 База собиралась более года;
 Содержит в себе:
○ Викисловарь;
○ Dict.academic.ru
○ Результаты парсинга согласованных н-грамм по бибилиотеке Мошкова и
новостям;
○ Очень много чего ещѐ.
 Установим степень подобия между двумя любыми словами
или группами слов (подобен предмету, подобен человеку,
подобен месту и т.д.);
 Определим ожидаемые признаки слова (понятия) в данной
позиции фразы;
 Осуществим вывод по аналогии.
Вывод по аналогии,
пример.
- Какого цвета трава?
- Трава зелѐного цвета.
- Какого цвета апельсин?
- Апельсин оранжевого цвета.
Найдѐм путь в базе, связывающий слова “Трава” и “Цвет” и “Зелѐный”.
Например, такой:
1. Цвет >> гипоним >> зелѐный (викисловарь);
2. Трава >> согласованные н-граммы “атрибут существительного” >>
зелѐный (“поросшие зелѐной травой холмы” и такого типа).
3. Применим этот же путь к аргументам “Апельсин” и “Цвет”.
4. Более того, применим этот же путь к аргументам “Размер” и
“мышь” и поразимся результатам.
Пути обнаруживаются и подстраиваются автоматически.
Как это выглядит?
Question: Какой глубины лужа?
Correct Answer: Лужа - мелкая.
Generated Answer: Глубина.
New Rule Added.
Question: Какой глубины море?
Correct Answer: Море - глубокое.
Generated Answer: Море - мелкое.
Adding 1 New Paths.
Correct Answer Found.
Question: Какой глубины океан?
Correct Answer: Океан - глубокий.
Generated Answer: Океан - глубокий.
Correct Answer Found.
Question: Какой глубины лужа?
Correct Answer: Лужа маленькой глубины.
Generated Answer: Лужа - мелкая.
Generated Answer: Глубина.
New Rule Added.
Question: Какой глубины море?
Correct Answer: Море большой глубины.
Generated Answer: Море огромной глубины.
Adding 1 New Paths.
Correct Answer Found.
Question: Какой глубины океан?
Correct Answer: Океан большой глубины.
Generated Answer: Океан большой глубины.
Correct Answer Found.
http://servponomarev.livejournal.com/3175.html
Question: Какого цвета огурец?
Correct Answer: Огурец зеленого цвета.
Generated Answer: Огурец зеленого цвета.
Correct Answer Found.
Question: Какого цвета апельсин?
Correct Answer: Апельсин оранжевого цвета.
Generated Answer: Апельсин яркого цвета.
Adding 1 New Paths.
Correct Answer Found.
Question: Цвет апельсина какой?
Correct Answer: Апельсин оранжевого цвета.
Generated Answer: Апельсин оранжевого цвета.
Correct Answer Found.
Question: Апельсин какого цвета?
Correct Answer: Апельсин оранжевого цвета.
Generated Answer: Апельсин оранжевого цвета.
Correct Answer Found.
Question: Какого цвета спелый апельсин?
Correct Answer: Спелый апельсин оранжевого цвета.
Generated Answer: Апельсин оранжевого цвета.
Generated Answer: Апельсин - красный.
Generated Answer: Цвет.
New Rule Added.
Question: Какого цвета море?
Correct Answer: Море синего цвета.
Generated Answer: Море море синего цвета.
Generated Answer: Море синего цвета.
Correct Answer Found.
Зачем нужно?
 Определение кореферентных ссылок и снятие анафор –
конкурс “Диалог - 2014” – завершѐн 27 фераля,
результаты пока не объявлены;
 Создание вопрос-ответной системы на естественном
языке;
 Парсинг документов на естественном языке с
установлением связей с онтологической базой, в том
числе – с возможностью задавать уточняющие вопросы.
 А вообще – это моя мечта и страсть.
Пономарѐв С.В.

More Related Content

Viewers also liked

Классификация поисковых запросов
Классификация поисковых запросовКлассификация поисковых запросов
Классификация поисковых запросовСергей Пономарев
 
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...Сергей Пономарев
 
Автоматическая голосовая служба поддержки
Автоматическая голосовая служба поддержкиАвтоматическая голосовая служба поддержки
Автоматическая голосовая служба поддержкиСергей Пономарев
 
Технологический стек классификации текстов на естественных языках
Технологический стек классификации текстов на естественных языкахТехнологический стек классификации текстов на естественных языках
Технологический стек классификации текстов на естественных языкахСергей Пономарев
 

Viewers also liked (7)

Классификация поисковых запросов
Классификация поисковых запросовКлассификация поисковых запросов
Классификация поисковых запросов
 
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...
ПОСТРОЕНИЕ ОТНОШЕНИЙ В СМЕШАННОЙ ОНТОЛОГИЧЕСКОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ТЕСТИР...
 
LEARNING BY ANALOGY IN A HYBRID ONTOLOGICAL NETWORK
LEARNING BY ANALOGY IN A HYBRID ONTOLOGICAL NETWORKLEARNING BY ANALOGY IN A HYBRID ONTOLOGICAL NETWORK
LEARNING BY ANALOGY IN A HYBRID ONTOLOGICAL NETWORK
 
Автоматическая голосовая служба поддержки
Автоматическая голосовая служба поддержкиАвтоматическая голосовая служба поддержки
Автоматическая голосовая служба поддержки
 
Learning by Analogy
Learning by AnalogyLearning by Analogy
Learning by Analogy
 
Технологический стек классификации текстов на естественных языках
Технологический стек классификации текстов на естественных языкахТехнологический стек классификации текстов на естественных языках
Технологический стек классификации текстов на естественных языках
 
Word2vec для поискового движка II
Word2vec для поискового движка IIWord2vec для поискового движка II
Word2vec для поискового движка II
 

Similar to Конкурс Родная речь 2014

Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...
Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...
Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...Юрий Хмелевский
 
3 ry1 b 1 часть
3 ry1 b 1 часть3 ry1 b 1 часть
3 ry1 b 1 часть11book
 
919 5 русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с
919 5  русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с919 5  русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с
919 5 русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176сddfefa
 
презентация Microsoft power point
презентация Microsoft power pointпрезентация Microsoft power point
презентация Microsoft power pointАня Иванова
 
Rosijska mova-11-klas-balandina-2019-07
Rosijska mova-11-klas-balandina-2019-07Rosijska mova-11-klas-balandina-2019-07
Rosijska mova-11-klas-balandina-2019-07kreidaros1
 
11 ry b_2019_7rik
11 ry b_2019_7rik11 ry b_2019_7rik
11 ry b_2019_7rik4book
 
урок русского языка 3 класс
урок  русского языка  3 классурок  русского языка  3 класс
урок русского языка 3 классVasiliiiii
 
Шлуинский А. Б.
Шлуинский А. Б. Шлуинский А. Б.
Шлуинский А. Б. zpsh
 
учебный проект
учебный проектучебный проект
учебный проектDaryaYa
 
учебный проект
учебный проектучебный проект
учебный проектDaryaYa
 
Новое издание: как мы работали над интерфейсом Словарей
Новое издание: как мы работали над интерфейсом СловарейНовое издание: как мы работали над интерфейсом Словарей
Новое издание: как мы работали над интерфейсом СловарейDmitry Pavlov
 
3. методика онз
3. методика онз3. методика онз
3. методика онзtgulina
 
Вебинар Как разговаривать на английском более естественно
Вебинар Как разговаривать на английском более естественноВебинар Как разговаривать на английском более естественно
Вебинар Как разговаривать на английском более естественноSkyeng
 
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...ЗПШ СПбГУ
 

Similar to Конкурс Родная речь 2014 (20)

Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...
Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...
Конспект урока русского языка в 5 классе по фгос на тему чередование звуков. ...
 
Подготовка школьников к олимпиаде по русскому языку
Подготовка школьников к олимпиаде по русскому языкуПодготовка школьников к олимпиаде по русскому языку
Подготовка школьников к олимпиаде по русскому языку
 
3 ry1 b 1 часть
3 ry1 b 1 часть3 ry1 b 1 часть
3 ry1 b 1 часть
 
919 5 русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с
919 5  русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с919 5  русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с
919 5 русский язык. 3 кл. в 2ч. ч. 1.-бунеев р.н, бунеева е.в. и др_2015 -176с
 
презентация Microsoft power point
презентация Microsoft power pointпрезентация Microsoft power point
презентация Microsoft power point
 
7 ry sam_2015
7 ry sam_20157 ry sam_2015
7 ry sam_2015
 
открытый урок правописание предологов 2 класс
открытый урок правописание предологов 2 классоткрытый урок правописание предологов 2 класс
открытый урок правописание предологов 2 класс
 
логопедическое занятие
логопедическое занятиелогопедическое занятие
логопедическое занятие
 
Rosijska mova-11-klas-balandina-2019-07
Rosijska mova-11-klas-balandina-2019-07Rosijska mova-11-klas-balandina-2019-07
Rosijska mova-11-klas-balandina-2019-07
 
11 ry b_2019_7rik
11 ry b_2019_7rik11 ry b_2019_7rik
11 ry b_2019_7rik
 
1
11
1
 
урок русского языка 3 класс
урок  русского языка  3 классурок  русского языка  3 класс
урок русского языка 3 класс
 
Шлуинский А. Б.
Шлуинский А. Б. Шлуинский А. Б.
Шлуинский А. Б.
 
учебный проект
учебный проектучебный проект
учебный проект
 
учебный проект
учебный проектучебный проект
учебный проект
 
Новое издание: как мы работали над интерфейсом Словарей
Новое издание: как мы работали над интерфейсом СловарейНовое издание: как мы работали над интерфейсом Словарей
Новое издание: как мы работали над интерфейсом Словарей
 
3. методика онз
3. методика онз3. методика онз
3. методика онз
 
Вебинар Как разговаривать на английском более естественно
Вебинар Как разговаривать на английском более естественноВебинар Как разговаривать на английском более естественно
Вебинар Как разговаривать на английском более естественно
 
конспект урока по теме лексика
конспект урока по теме  лексикаконспект урока по теме  лексика
конспект урока по теме лексика
 
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...
В.Ф.Спиридонов "Психология языка, или почему психологи так плохо различают ба...
 

Конкурс Родная речь 2014

  • 2. Пономарѐв Сергей Васильевич  Опыт в речевых технологиях 1.5 месяца;  Программист C++;  Сфера интересов – машинная лингвистика, сильный искусственный интеллект.
  • 3. Архитектура парсера Главные трудности при разработке:  Рваный график разработки;  Недостаток времени;  Отсутствие опыта. Решение:  Разработать парсер в виде классифицирующего дерева. Преимущества:  Разработка изолированными сессиями;  Отсутствие необходимости погружения в задачу;  Использование методов автоматического обучения. Универсальный Блок №1 Специальный Блок №1.1 Специальный Блок №1.2 Решающее правило
  • 4. Декомпозиция задачи Морфологический уровень Синтаксический уровень Семантический уровень Онтологии
  • 5. Морфологический уровень Фонемная сеть и поток фонем:  Не очень похоже на ИИ;  Содержит массу специфики:  Ошибки распознавания фонем;  Шумы дыхания;  Дефекты дикции т.д. Решение:  Уделить необходимый минимум внимания в надежде на коррекцию ошибок на последующих уровнях.
  • 6. Синтаксический уровень Выбирает из потока возможных слов те, которые образуют более-менее синтаксически правильный текст:  Согласованные грамматические атрибуты;  Распространѐнные обороты речи, имена спортсменов. Достраивает утраченные при распознавании частицы:  “по поводу”;  “в спорте”;  “ну и разумеется”.
  • 7. Семантический уровень Реализован косвенно, через выделение би- три- квадрограмм по эталонному тексту и по внешним источникам. Хотя планы были большие, но времени не хватило.
  • 8. Как реализовано? Гипотезы о словах Гипотезы о группах слов Оценка гипотез Специальные коррекции
  • 11. Как могло бы быть… Ассоциативное связывание слов с выводом “по аналогии”:  Возьмѐм базу на 1.3 миллиона слов и понятий, с полумиллиардом связей между ними, разбитых на 64-ре канала:  База собиралась более года;  Содержит в себе: ○ Викисловарь; ○ Dict.academic.ru ○ Результаты парсинга согласованных н-грамм по бибилиотеке Мошкова и новостям; ○ Очень много чего ещѐ.  Установим степень подобия между двумя любыми словами или группами слов (подобен предмету, подобен человеку, подобен месту и т.д.);  Определим ожидаемые признаки слова (понятия) в данной позиции фразы;  Осуществим вывод по аналогии.
  • 12. Вывод по аналогии, пример. - Какого цвета трава? - Трава зелѐного цвета. - Какого цвета апельсин? - Апельсин оранжевого цвета. Найдѐм путь в базе, связывающий слова “Трава” и “Цвет” и “Зелѐный”. Например, такой: 1. Цвет >> гипоним >> зелѐный (викисловарь); 2. Трава >> согласованные н-граммы “атрибут существительного” >> зелѐный (“поросшие зелѐной травой холмы” и такого типа). 3. Применим этот же путь к аргументам “Апельсин” и “Цвет”. 4. Более того, применим этот же путь к аргументам “Размер” и “мышь” и поразимся результатам. Пути обнаруживаются и подстраиваются автоматически.
  • 13. Как это выглядит? Question: Какой глубины лужа? Correct Answer: Лужа - мелкая. Generated Answer: Глубина. New Rule Added. Question: Какой глубины море? Correct Answer: Море - глубокое. Generated Answer: Море - мелкое. Adding 1 New Paths. Correct Answer Found. Question: Какой глубины океан? Correct Answer: Океан - глубокий. Generated Answer: Океан - глубокий. Correct Answer Found. Question: Какой глубины лужа? Correct Answer: Лужа маленькой глубины. Generated Answer: Лужа - мелкая. Generated Answer: Глубина. New Rule Added. Question: Какой глубины море? Correct Answer: Море большой глубины. Generated Answer: Море огромной глубины. Adding 1 New Paths. Correct Answer Found. Question: Какой глубины океан? Correct Answer: Океан большой глубины. Generated Answer: Океан большой глубины. Correct Answer Found. http://servponomarev.livejournal.com/3175.html Question: Какого цвета огурец? Correct Answer: Огурец зеленого цвета. Generated Answer: Огурец зеленого цвета. Correct Answer Found. Question: Какого цвета апельсин? Correct Answer: Апельсин оранжевого цвета. Generated Answer: Апельсин яркого цвета. Adding 1 New Paths. Correct Answer Found. Question: Цвет апельсина какой? Correct Answer: Апельсин оранжевого цвета. Generated Answer: Апельсин оранжевого цвета. Correct Answer Found. Question: Апельсин какого цвета? Correct Answer: Апельсин оранжевого цвета. Generated Answer: Апельсин оранжевого цвета. Correct Answer Found. Question: Какого цвета спелый апельсин? Correct Answer: Спелый апельсин оранжевого цвета. Generated Answer: Апельсин оранжевого цвета. Generated Answer: Апельсин - красный. Generated Answer: Цвет. New Rule Added. Question: Какого цвета море? Correct Answer: Море синего цвета. Generated Answer: Море море синего цвета. Generated Answer: Море синего цвета. Correct Answer Found.
  • 14. Зачем нужно?  Определение кореферентных ссылок и снятие анафор – конкурс “Диалог - 2014” – завершѐн 27 фераля, результаты пока не объявлены;  Создание вопрос-ответной системы на естественном языке;  Парсинг документов на естественном языке с установлением связей с онтологической базой, в том числе – с возможностью задавать уточняющие вопросы.  А вообще – это моя мечта и страсть.