Рассказ о том, чем занимаются в Яндексе лингвисты. Мы обсудим, как лингвистические данные и методы помогают улучшать поиск и другие сервисы, а ещё поговорим о том, при чём здесь машинное обучение, что такое поисковые расширения и как расшифровывается NERQ.

1. Компьютерная
лингвистика
в Яндексе
Виталий Волк
Отдел лингвистических технологий
1

2. Области применения
• Поиск
– Лингвистическая информация о запросе
– Лингвистическая информация о документе
• Вне поиска
2

3. Лингвистические методы
• Machine Learning
• Статистика
• Контекстно-свободные грамматики
• Словарные и корпусные данные
• Онтологии
• Языковые модели
3

4. В Поиске
4

5. 5

6. 6

7. 7

8. 8

9. 9

10. 10

11. 11

12. 12

13. 13

14. 14

15. 15

16. 16

17. 17

18. 18

19. 19

20. 20

21. 21

22. Исправление опечаток
• Генерация гипотез
• Оценка исходного запроса и каждой гипотезы
по языковой модели (language model)
• Сравнение разницы вероятностей с
функцией ошибки
22

23. Тезаурусные расширения
23

24. Как заметить расширения?

25. Контекст запроса:
когда нельзя расширять
25

26. Персонализируем расширения
26

27. Вне Поиска

28. Яндекс.Перевод

29. Голосовые команды
Едем от «улица Льва
Толстого, 16»
до «Азбука Вкуса» через
«Лукойл»

30. Извлечение фактов в почте

31. Выделение именованных объектов
31

32. Выделение именованных объектов
32

33. Виталий Волк
Отдел лингвистических технологий
vitalyvolk@yandex-team.ru
Спасибо!