Сплит-тесты
в поиске Рамблера
Свыше 1 млн. хитов в сутки
Кажется, что дизайн можно улучшить




   Арни, ты
 можешь это
  прочесть?           Я лучше XML
                       по...
«Все разбираются в дизайне» ™




font-size: 16px!     Понабрали по
                     объявлениям!
К экспертам есть недоверие…




        Эй, эксперт!
      Любишь пѐсиков?
…ибо эксперты тоже ошибаются




Куда же вы?
 Потяните
за звѐздочку!
На юзабилити-тестирование столько людей не найти




Респондентов
 вызывали?
Можно «позаимствовать» решения у конкурентов,
     но делать это вслепую бессмысленно




                            Лѐха...
Win! Cлит-тесты понятны всем!




                Я знаю в чѐм
               измерять KPI!
В новых условиях сперва непривычно…




Мы даже это
тестируем?              Надо больше
                         метрик…
 ...
Важно!
        Метрики!          Записываем
             А=↑
             B=↓                         Планируем


Идея!


...
CTR результатов
Время до первого клика
Запросы без кликов
Средняя позиция кликов
Среднее время на результатах
… ещѐ 25 мет...
Вытянули мета-данные в одну строку:




Ожидаем:
Изменение средней позиции кликов
Возможен рост сессий (основная метрика)
Стали больше кликать
на «нижние» результаты
Средняя позиция кликов
   тоже изменилась
Роста сессий не заметили
(возможно, очень малое влияние)
Оформление рекламных блоков
Было


Стало



Ожидаем:
Рост выручки от рекламы
Остальные показатели не должны упасть
Сессии на пользователя
  остались прежними
CTR объявлений «Бегуна» вырос
Выручка повысилась на {NDA}%
1. Меряем только то, что знаем
2. Тестируем только то, где видим проблему
3. Иногда результаты не дают ответа
1. Тестируйте!
2. Продумайте метрики
3. Слабые отличия слабо заметны
Мечтаем, планируем


   Вот сделаем
перпендикулярные
    сплиты…




    …и машинные
     гипотезы
Привет
от команды
  поиска!              Задайте
                     Диме вопрос!


     #404fest   #rambler @dzimin
Как устроены сплит-тесты в поиске Рамблера
Как устроены сплит-тесты в поиске Рамблера
Upcoming SlideShare
Loading in …5
×

Как устроены сплит-тесты в поиске Рамблера

4,367 views

Published on

Published in: Design, Technology

Как устроены сплит-тесты в поиске Рамблера

  1. 1. Сплит-тесты в поиске Рамблера
  2. 2. Свыше 1 млн. хитов в сутки
  3. 3. Кажется, что дизайн можно улучшить Арни, ты можешь это прочесть? Я лучше XML посмотрю.
  4. 4. «Все разбираются в дизайне» ™ font-size: 16px! Понабрали по объявлениям!
  5. 5. К экспертам есть недоверие… Эй, эксперт! Любишь пѐсиков?
  6. 6. …ибо эксперты тоже ошибаются Куда же вы? Потяните за звѐздочку!
  7. 7. На юзабилити-тестирование столько людей не найти Респондентов вызывали?
  8. 8. Можно «позаимствовать» решения у конкурентов, но делать это вслепую бессмысленно Лѐха! CSS обфусцирован!
  9. 9. Win! Cлит-тесты понятны всем! Я знаю в чѐм измерять KPI!
  10. 10. В новых условиях сперва непривычно… Мы даже это тестируем? Надо больше метрик… !?
  11. 11. Важно! Метрики! Записываем А=↑ B=↓ Планируем Идея! Запускаем Выкатываем Анализируем
  12. 12. CTR результатов Время до первого клика Запросы без кликов Средняя позиция кликов Среднее время на результатах … ещѐ 25 метрик
  13. 13. Вытянули мета-данные в одну строку: Ожидаем: Изменение средней позиции кликов Возможен рост сессий (основная метрика)
  14. 14. Стали больше кликать на «нижние» результаты
  15. 15. Средняя позиция кликов тоже изменилась
  16. 16. Роста сессий не заметили (возможно, очень малое влияние)
  17. 17. Оформление рекламных блоков Было Стало Ожидаем: Рост выручки от рекламы Остальные показатели не должны упасть
  18. 18. Сессии на пользователя остались прежними
  19. 19. CTR объявлений «Бегуна» вырос Выручка повысилась на {NDA}%
  20. 20. 1. Меряем только то, что знаем 2. Тестируем только то, где видим проблему 3. Иногда результаты не дают ответа
  21. 21. 1. Тестируйте! 2. Продумайте метрики 3. Слабые отличия слабо заметны
  22. 22. Мечтаем, планируем Вот сделаем перпендикулярные сплиты… …и машинные гипотезы
  23. 23. Привет от команды поиска! Задайте Диме вопрос! #404fest #rambler @dzimin

×