Your SlideShare is downloading. ×

23apr.rif2010 -horujenko

287

Published on

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
287
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
1
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Как понять пользователей (и возможно ли)?
  • 2. Обзор доклада
    • Зачем изучать поведение пользователей?
    • Как оценивать поведение пользователей?
    • Тестируем изменения в поиске:
      • ранжирование
      • интерфейсы
      • аннотации к результатам поиска
  • 3. Зачем изучать поведение пользователей?
    • Хотим узнать, как пользователи реагируют на изменения.
    • Факторы влияния:
    • технические характеристики поиска
    • релевантность, качество результатов поиска
    • релевантность, качество контекстной рекламы
    • аннотации к результатам поиска
    • интерфейсы
    • геомагнитные бури…
  • 4. Чем мы меряемся?
    • Метрики – статистические коэффициенты на основе логов действий пользователей:
    • Клики: c0,c1,acp,p1c,click-entropy
    • Время: t1l, tmr, oldtime
    • Глубина поиска: c1t1, kpg
    • Объем поисковых сессий
  • 5. Сплит-тесты ( a . k . a A/B- тесты)
  • 6. Проверяем новое ранжирование
    • Улучшение ранжирования видно:
    • Первого результата становится достаточно
    • Клики « выше » в результатах поиска
    • На найденных сайтах дольше « сидят »
    • Меньше отказных кликов
    • Поиском пользуются чаще
    • Приходят новые пользователи
  • 7. Проверяем новое ранжирование Клики по первому результату
  • 8. Средняя позиция кликов Проверяем новое ранжирование
  • 9. «Отказные» клики Проверяем новое ранжирование
  • 10. Среднее время на найденных сайтах Проверяем новое ранжирование
  • 11. Рост поисковых сессий Проверяем новое ранжирование «Шеф, усё пропало!»
  • 12. Проверяем новое ранжирование Хорошие показатели не привели к повышению частоты обращений.
  • 13. Проверяем новое ранжирование Причины:
    • Много факторов: интерфейсы , аннотации, скорость, реклама.
    • Изменения в пределах погрешности.
    • Выборка по IP : текучка пользователей между сплитами.
  • 14. А что с рекламой? Улучшенное ранжирование «перетягивает одеяло» с рекламы.
  • 15. Введите слово для поиска Тестируем пользовательский интерфейс
  • 16. Тестируем 10 результатов вместо 15
    • Что произойдет, если уменьшить количество результатов на странице?
    • Хорошо ли это?
  • 17. Тестируем 10 результатов вместо 15 Клики стали «выше» -- Ваш К.О. День выкатки
  • 18. Тестируем 10 результатов вместо 15 Время до первого клика уменьшилось -- Ваш К.О. День выкатки
  • 19. Тестируем 10 результатов вместо 15
    • При этом почти не изменились:
    • Количество сессий на пользователя
    • Количество cookie и количество сессий в день
    • Выводы?
    • Очевидные последствия.
    • Однозначного ответа нет.
    • Нужно больше экспериментов.
  • 20. Введите слово для поиска Тестируем аннотации в сниппетах
  • 21. Тестируем аннотации в сниппетах «Мама мыла Раму»
    • Что меняем в алгоритме:
    • Делаем выбор в пользу одного «цельного предложения», а не в пользу «кусочного».
    • Не меняем среднюю длину.
    • Выбираем информативные предложения.
  • 22. Было Стало Тестируем аннотации в сниппетах Как среагировали пользователи?
  • 23. Тестируем аннотации в сниппетах Возросла средняя позиция кликов – пользователи стали кликать «глубже». Запустили Поломали Починили
  • 24. Тестируем аннотации в сниппетах Увеличилось время до первого клика – пользователи стали больше и дольше читать. Поломали Починили Запустили
  • 25. Тестируем аннотации в сниппетах Запросы без кликов уменьшились Поломали Починили Запустили
  • 26. Тестируем аннотации в сниппетах Среднее количество поисковых сессий Поломали Починили Запустили
  • 27. Тестируем аннотации в сниппетах Вывод: Некоторые изменения требуют экспертной оценки. Нужно найти запросы и те результаты, у которых сместились клики и оценить это смещение .
  • 28. Введите слово для поиска Вывод:
    • Мы не всегда знаем, что в итоге увидим.
    • А то, что видим, не всегда понимаем
    • Много факторов и они взаимосвязаны.
  • 29. Введите слово для поиска Спасибо! Вопросы? Хоруженко Марина

×