1. Сплит-тесты
в поиске Рамблера

2. Свыше 1 млн. хитов в сутки

3. Кажется, что дизайн можно улучшить
Арни, ты
можешь это
прочесть? Я лучше XML
посмотрю.

4. «Все разбираются в дизайне» ™
font-size: 16px! Понабрали по
объявлениям!

5. К экспертам есть недоверие…
Эй, эксперт!
Любишь пѐсиков?

6. …ибо эксперты тоже ошибаются
Куда же вы?
Потяните
за звѐздочку!

7. На юзабилити-тестирование столько людей не найти
Респондентов
вызывали?

8. Можно «позаимствовать» решения у конкурентов,
но делать это вслепую бессмысленно
Лѐха! CSS
обфусцирован!

9. Win! Cлит-тесты понятны всем!
Я знаю в чѐм
измерять KPI!

10. В новых условиях сперва непривычно…
Мы даже это
тестируем? Надо больше
метрик…
!?

11. Важно!
Метрики! Записываем
А=↑
B=↓ Планируем
Идея!
Запускаем
Выкатываем
Анализируем

12. CTR результатов
Время до первого клика
Запросы без кликов
Средняя позиция кликов
Среднее время на результатах
… ещѐ 25 метрик

13. Вытянули мета-данные в одну строку:
Ожидаем:
Изменение средней позиции кликов
Возможен рост сессий (основная метрика)

14. Стали больше кликать
на «нижние» результаты

15. Средняя позиция кликов
тоже изменилась

16. Роста сессий не заметили
(возможно, очень малое влияние)

17. Оформление рекламных блоков
Было
Стало
Ожидаем:
Рост выручки от рекламы
Остальные показатели не должны упасть

18. Сессии на пользователя
остались прежними

19. CTR объявлений «Бегуна» вырос
Выручка повысилась на {NDA}%

22. 1. Меряем только то, что знаем
2. Тестируем только то, где видим проблему
3. Иногда результаты не дают ответа

23. 1. Тестируйте!
2. Продумайте метрики
3. Слабые отличия слабо заметны

24. Мечтаем, планируем
Вот сделаем
перпендикулярные
сплиты…
…и машинные
гипотезы

25. Привет
от команды
поиска! Задайте
Диме вопрос!
#404fest #rambler @dzimin