Как устроены сплит-тесты в поиске Рамблера

Сплит-тесты в поиске Рамблера

Свыше 1 млн. хитов в сутки

Кажется, что дизайн можно улучшить Арни, ты можешь это прочесть? Я лучше XML посмотрю.

«Все разбираются в дизайне» ™ font-size: 16px! Понабрали по объявлениям!

К экспертам есть недоверие… Эй, эксперт! Любишь пѐсиков?

…ибо эксперты тоже ошибаются Куда же вы? Потяните за звѐздочку!

На юзабилити-тестирование столько людей не найти Респондентов вызывали?

Можно «позаимствовать» решения у конкурентов, но делать это вслепую бессмысленно Лѐха! CSS обфусцирован!

Win! Cлит-тесты понятны всем! Я знаю в чѐм измерять KPI!

В новых условиях сперва непривычно… Мы даже это тестируем? Надо больше метрик… !?

Важно! Метрики! Записываем А=↑ B=↓ Планируем Идея! Запускаем Выкатываем Анализируем

CTR результатов Время до первого клика Запросы без кликов Средняя позиция кликов Среднее время на результатах … ещѐ 25 метрик

Вытянули мета-данные в одну строку: Ожидаем: Изменение средней позиции кликов Возможен рост сессий (основная метрика)

Стали больше кликать на «нижние» результаты

Средняя позиция кликов тоже изменилась

Роста сессий не заметили (возможно, очень малое влияние)

Оформление рекламных блоков Было Стало Ожидаем: Рост выручки от рекламы Остальные показатели не должны упасть

Сессии на пользователя остались прежними

CTR объявлений «Бегуна» вырос Выручка повысилась на {NDA}%

1. Меряем только то, что знаем 2. Тестируем только то, где видим проблему 3. Иногда результаты не дают ответа

1. Тестируйте! 2. Продумайте метрики 3. Слабые отличия слабо заметны

Мечтаем, планируем Вот сделаем перпендикулярные сплиты… …и машинные гипотезы

Привет от команды поиска! Задайте Диме вопрос! #404fest #rambler @dzimin

by Dmitry Zimin on Oct 19, 2010