15 октября 2011, Я.Субботник в Алматы Ольга Мегорская "Качество поиска: экспертные оценки и исследование пользовательского поведения" О докладе: Что такое хороший поиск? Как измерить качество поиска? Как понять, что именно хотел пользователь? Мы постоянно ищем ответы на эти вопросы, придумываем новые метрики, отражающие различные аспекты качества поиска. Огромную роль в этой работе играют экспертные оценки асессоров – обычных людей, которые с точки зрения пользователя оценивают, насколько хорошо найденные документы отвечают на потребность, выраженную в поисковом запросе. Этот доклад призван рассказать, кто такие асессоры Яндекса, как они работают и как используются их оценки. Кроме того, мы постараемся рассказать, как мы пытаемся понять, что на самом деле имел в виду пользователь, задавая тот или иной запрос, и какие методы анализа пользовательского поведения мы используем.

1. Качество поиска: экспертные
оценки и исследование
пользовательского поведения
Ольга Мегорская
Руководитель группы асессоров
Я.Субботник, Алматы, 15 октября 2011 года

2. Оценка качества поиска
2

3. Зачем это нужно?
• Как наши внедрения влияют на качество?
• Улучшили по одному классу: не испортили ли по
другому?
• Где есть «проблемные точки»?
3

4. Что для этого нужно?
• «Человеческие» оценки качества выдачи
• Формальные метрики качества поиска
• Понимание пользователя
4

5. Экспертные оценки:
асессоры
5

6. Кто такие асессоры?
• Обычные пользователи
• Есть в каждом регионе присутствия Яндекса
• В Казахстане у нас тоже есть команда
6

7. Как работают асессоры?
• Случайные запросы из потока
• Документы, нашедшиеся по этим запросам
• Оценки
7

8. Как работают асессоры?
8

9. Шкала релевантности
Vital однозначно на первом месте
Useful дает авторитетный, очень полный и полезный
ответ на запрос
Relevant+ отвечает на запрос
Relevant- имеет отношение к запросу, но в полной мере
на запрос не отвечает
Irrelevant не отвечает на запрос
9

10. Для чего используются оценки
асессоров?
• Настройка поисковых алгоритмов
• Оценка качества поиска
10

11. Настройка поиска
11

12. Обучаем робота отличать
хорошие документы от плохих
1. У нас есть набор для обучения – N яблок и M груш.
2. У Робота есть факторы: форма; цвет; вкус
12

13. Определяем признаки для набора
13

14. OMG!
14

15. Аналогично с релевантностью
документов:
1. У робота – факторы
2. У нас - оценки асессоров
3. Робот ищет закономерности
4. Для любого неоцененного документа из Веба робот знает
факторы:
Документ Х: Есть слова запроса; на документ кликают; на
документ ссылаются.
Вероятно, Документ Х Релевантен запросу
15

16. Оценка: метрики качества
поиска
16

17. Пример метрики: Pfound
• Гипотеза:
• Пользователь идет
сверху вниз
• Останавливается,
если:
Нашел
Устал.
Правильно, левый!
17

18. Исторический график Pfound
Показывает, как внедрения влияют на качество поиска
Опечаточная
врезка
18

19. Что не улавливает Pfound?
• Проблему разнообразия выдачи
19

20. Разнообразие объектов: [Наполеон]
20 artclassic.edu.ru

21. Разнообразие потребностей:
[Название фильма]
100%
90%
Другое
80%
70% Отзывы/рецензии
60% Кадры/фото
50% Трейлер
40% Общая информация
30%
Смотреть онлайн
20%
Скачать
10%
0%
Старые Фильмы в Будущие
фильмы прокате фильмы
21

22. Понимание пользователей
22

23. Исследование
пользовательского поведения:
• Пользовательские сессии
• Переформулировки и клики
• Эксперименты на выдаче
• Классификация запросов
23

24. Анализ сессий:
Что хотел этот пользователь?
24

25. А этот?
25

26. Эксперименты на выдаче:
• Выкатываем экспериментальный алгоритм на n%
пользователей
• Смотрим на несколько метрик:
— Доля некликнутых
— Средняя позиция первого клика
— Еще 100500 других
26

27. Выделение тематик запросов:
• Выбираем интересующие нас группы пользователей
• Составляем автоматический классификатор запросов
• Смотрим на распределение разных тематик запросов
для разных групп пользователей
27

28. Выделение тематик запросов:
Пользователи Android VS пользователи IPhone
Android
IPhone
28

29. Битва титанов: Android vs. iPhone :
29

30. Битва титанов: iPhone vs. Android :
30

31. Спасибо!
31

32. Ольга Мегорская
Руководитель группы асессоров
omegorskaya@yandex-team.ru