При внедрении на сайт нового функционала могут «поломаться» метрики, передаваемые в Google Analytics. В результате вы получите некорректные данные и, чем позднее выявите ошибку, тем выше будет стоимость ее исправления. Поэтому веб-аналитикам приходится вручную тестировать метрики после обновлений на сайте. В среднем на проверку данных после небольшого релиза уходит до 2 часов. Хорошая новость в том, что этот процесс можно автоматизировать, чтобы освободить ценное время аналитика на поиск инсайтов и точек роста. Автотестированию метрик на сайте посвящена эта презентация, а также бесплатный вебинар, который вы можете посмотреть в записи https://www.owox.com/c/3f6.

1. Как автоматизировать
тестирование метрик на сайте
и повысить уверенность в качестве данных

2. 1. Почему важно тестировать систему метрик и как это делать
2. Вызовы с которыми столкнулась команда ozon.ru
3. Описание подхода к решению
4. Примеры отчетов
5. Результаты автоматизации тестирования метрик
План вебинара

3. 1. Объедим данные из рекламных источников
2. Настроим модель атрибуции
3. Автоматизируем отчеты по рекламным кампаниям
4. Найдем ценные инсайты в воронке продаж
OWOX BI — ваш персональный маркетинг-
аналитик
20 000пользователей
18стран
9петабайт данных
обрабатывается в месяц

4. OZON: очень быстро растет
86%
рост выручки*
>350
заявок от компаний
на размещение на
маркетплейсе за 2
недели сентября
*Рост выручки OZON год к году, 2 кв.2018

5. Топ-5
категорий
1,5 млн.
SKU
Ассортимент OZON – давно
не книги. Топ-3 категорий*
Электроника
Товары для дома
Детские товары
*Данные OZON, осень 2018

6. Фото

7. ЗАДАЧА КОТОРУЮ
МЫ РЕШАЕМ

8. Как эффективнее тратить ресурс аналитика
Анализ
маркетинговых
каналов и сегментов
Тестирование
поведения
пользователей
Автоматизация
маркетинг аналитики
Получение и мониторинг качественных данных *
* Данные, которым мы доверяем
Настройка
GA и GTM
Сбор
бизнес
требований
ТЗ на
dataLayer
Проверка
внедрения
ТЗ
Поддержка
новых
релизов
Ценностьдлябизнеса

9. Как ресурс аналитика используется
на самом деле
Ожидание бизнеса Реальность
Сбор данных
Управление качеством данных
Поиск точек роста продукта
Сбор данных
Управление качеством данных
Поиск точек роста продукта
Проверка качества данных в GA после небольшого
релиза сайта занимает до 2 часов аналитика
100%ресурсааналитика

10. Но даже тщательный контроль не всегда спасает...
Задача аналитика:
“Оценить объем целевых
событий по взаимодействию
с элементом сайта”

11. А стоимость ошибки - растетСтоимостьошибки
Время внедрения
Чем позднее выявлена
ошибка в данных, тем
выше стоимость
исправления
Техническая спецификация Аналитика на Q&A Внедрение на “бой”

12. Снизить временные затраты аналитика на управление качеством
данных и сфокусировать ресурсы на поиск точек роста проекта за счет:
• Автоматизации тестирования собираемых данных на ранних этапах;
• Точного определения места и причины снижения качества сбора
данных;
• Своевременных оповещений ответственным сотрудникам о сбоях.
Так какую задачу мы решаем?

13. РЕШЕНИЕ С ПОМОЩЬЮ
АВТОТЕСТОВ

14. Как происходит анализ качества
данных в GA
● А можно ли получить из данных
смысл?
● А данные вообще попали в GA?
● Все ли устройства и браузеры
передают данные?
● Есть ли аномалии в данных?
● Не отвалился ли какой-нибудь важный
Custom Dimension из dataLayer?

15. Что такое автотестирование метрик
Автотесты - облачное решение, позволяющее автоматически
выполнять следующие операции:
● Проверять соответствие переменной dataLayer “to be” к “as is”;
● Проверять наличие и работу кода GTM;
● Проверять факт отправки данных в GA и BQ;
● Складывать данные об ошибках в BQ;
● Запускать тест в любое требуемое время (до релиза).

16. Решение №1. Проверка аналитики
на тестовой среде
Этапы сбора
данных
Этапы
тестирования
Бизнес
требования
Техническая
спецификация
Аналитика
на Q&A
GTM &
Внедрение
на “бой”
Отчеты и
выводы
Testing Testing Testing Business
Idea

17. Этапы сбора
данных
Этапы
тестирования
Бизнес
требования
Техническая
спецификация
GTM &
Внедрение
на “бой”
Отчеты и
выводы
Testing Testing Testing
Business
Idea
Аналитика
на Q&A
Решение №1. Проверка аналитики
на тестовой среде

18. Решение №2. Детальная проверка
сценариев
Задача аналитика:
“Убедиться, что в GA
передаются не просто
события, а каждый
значимый параметр в
сценарии: цена,
категория товара, бренд”

19. Решение №2. Детальная проверка
сценариев
Наиболее распространенные ошибки:
1. Покрыты не все сценарии
Например, событие авторизации для незарегистрированных пользователей с мобильного устройства
1. Задание реализовано не на всех страницах
Например, данные собираются для карточек товара, но не для страниц каталога
1. Не все параметры передаются в GA
Например, в GA не со всех страниц уходит параметр, отвечающий за AB-тесты
1. Передается неверный формат данных
Например, неверно передаются “копейки” в параметре Price

20. Как работа автотестов зависит от ресурсов

21. Альтернативы. Google Analytics Custom Alerts
Плохо
Хорошо
● Относительно простая настройка в интерфейсе;
● Не нужно разрабатывать и поддерживать;
● Подходят небольшим проектам;
● Хорошо считают базовые события (404 ошибка, отвал транзакций).
● Не покажут вам детали, только тренды;
● Создают много лишнего шума в BQ, GA и почте;
● Данные за прошлый день, часто с опозданием;
● Показывают отклонения на действующих пользователях
сайта, а не на тестовых.

22. Альтернативы. Google BigQuery Dashboard
Плохо
Хорошо
● Показывают отклонения в разрезе часов для оперативной реакции;
● Еще лучше считают базовые события (404 ошибка, отвал транзакций);
● Можно настроить сценарии (но с SQL).
● Много деталей на графике отразить не получится;
● Показывают отклонения на действующих пользователях
сайта, а не на тестовых;
● На анализ причин отклонений нужно тратить время.

23. КАК НАСТРОИТЬ
АВТОТЕСТЫ

24. Процесс автоматизации можно разделить на три основных этапа:
1. Собрать технические требования для настройки тестирования.
2. Настроить алгоритм тестирования и обработки данных.
3. Настроить отчеты и уведомления.
Как настроить автотесты

25. • Набор правил для тестирования страниц
Сбор технических требований
для настройки тестов

26. • Набор правил для тестирования событий
Сбор технических требований
для настройки тестов

27. • Набор правил для тестирования сценариев
Сбор технических требований
для настройки тестов

28. Настройка алгоритма тестирования
Web Pages
For Test:
CSV,
Sitemap,
URL
Data Layer
Scheme
PageType
Mapping
Application in
Google Cloud
Google BigQuery
Email
Notifications
Slack
Notifications
Data Studio

29. ЧТО В РЕЗУЛЬТАТЕ

30. Отчет по мониторингу ошибок
Ошибки в настройках
делятся по типам:
- Implementation
- Redirect

31. Уведомления аналитикам / разработчикам
Для каждого типа
ошибки можно
определить приоритет
и получить обратную
связь о причине
ошибки

32. • Заинтересованность от IT-коллег на стороне бизнеса,
• Ответственный за качество данных на стороне бизнеса,
• Проверка любого изменения сайта на Q&A до “боевой” версии.
При каких условиях решение “полетит”

33. Команда аналитики:
• Увеличила скорость тестирования и точность результатов, исключив
человеческий фактор;
• Снизила себестоимость тестов и увеличила частоту их проведения.
Теперь тесты запускаются каждый день и компания экономит 1,5
чел/час на каждом релизе;
• Выявила и исправила около 2 700 неточностей на 37 типах страниц,
которые не замечала ранее.
Результаты в кейсе OZON

34. https://www.owox.com/c/3f3

35. mail@owox.ru
www.owox.ru
Вопросы?