Kyiv PMDay 2019 Spring Stream: Product

1. Система автоматизации
подсчета результатов
А/Б тестов в 30 странах

2. Иванов
Александр
CBDO Flatfy
Head of Product ЛУН
Professium PM Curator at Projector
facebook.com/orka.enaОтвечу на все вопросы в Facebook :

3. Сайт #1 по недвижимости
в Украине
Международный бренд ЛУН
Запущено 30 стран

4. Real Estate globally
in 30 countries

5. стран
Flatfy в цифрах
30
посещений в месяц
10M
просмотров страниц в
месяц
40M
объявлений в день
1,000,000+
картинок в день
5,000,000
человек в офисе
100

6. Tech we provide

8. 3D maps
Tech we provide

9. Air View 360
Tech we provide

10. Tech we provide
3D Virtual
Tour

11. Tech we provide
3D Rendered
Window View

12. Construction
Monitoring
Tech we provide

13. How we use AI
i

14. Image
classification
How we use AI
Automatically recognize
Interiors, Bathrooms,
Kitchens and 25 more types
of Real Estate Photos
FACADE BATHROOM INTERIOR
INTERIOR INTERIOR

15. Floor plan
segmentation
How we use AI
Automatically find flats
on floor plans

16. Outdoor 3D
reconstruction
How we use AI
Get a 3D-model of a building
based on drone video

17. Outdoor
advertising
analysis
How we use AI
Track Outdoor Boards Quality
& Visibility

19. A/Б тестирование и оформление
Начать делать
первые тесты
1
Построить
постоянный
процесс
2
Автоматизация
3

20. Документирование A/Б тестов
Для передачи
знаний внутри
команды
1
Для других
команд
2
Для себя
в будущем
3

21. 1 этап
Внедрение
А/Б тестов

22. Вызов:
Нам нужны А/Б тесты?

23. Решение:
– Запускают разработчики вручную
– Оцениваем в GA через Custom
Dimensions

24. Версия 1
Карточка товара,
шрифты,
картинки
*by Arseniy Feshchenko

25. Версия 2
Карточка товара,
шрифты,
картинки
*by Arseniy Feshchenko

27. Запускаются вручную
0-3 А/Б тестов в месяц
Результаты оформляются хаотично
Не понятно когда заканчивать тест
Метрики оценивания выбираются вручную
Сложно дать доступ
Сложно поделиться экспертизой
Высокий риск ошибки в проведении
Нет единого места накопления экспертизы
Приходит первичная оценка необходимости
Выводы:

28. 2 этап
Оптимизация
запуска и
документации

29. Вызов:
Тестов становится больше

30. Решение:
– Набор отчетов А/Б тестов
– Оцениваем в GA через C.Dimension
– Конвертируем результаты
в отчет-картинку

31. Версия 1
Карточка товара,
шрифты,
картинки

32. Версия 2
Карточка товара,
шрифты,
картинки

33. Числа:
-5.5% BR
+1 PPS
+1 мин.

38. Запускаются вручную
3-10 А/Б тестов в месяц
Результаты оформляются в отчеты
Появляется процесс А/Б тестирования
С картинками-отчетами тяжело работать
Можно дать доступ
Позволяет поделиться экспертизой
Очень медленно оформляется
Можно совершить ошибку в отчете
Сложно работать с дост
Выводы:

39. 3 этап
Github
or
Google Drive?

40. Вызов:
Систематизация и доступы

45. Запускаются вручную
10-20 А/Б тестов в месяц
Легко сделать сборную таблицу А/Б тестов
Появляется единое хранище результатов
Текстовые результаты поддаются копированию
Легко дать доступ
Система подходит для нескольких команд
Очень медленно оформляется
Можно совершить ошибку в отчете
Читабельность отчетов сохранилась
Выводы:

46. 4 этап
Google Data
Studio
&
GitHub

47. Вызов:
Автоматизация процесса

49. Запускаются вручную
20+ А/Б тестов в месяц
Легко сделать сборную таблицу А/Б тестов
Легко прослеживается вся “жизнь” задачи
Текстовые результаты поддаются копированию
Легко дать доступ
Система подходит для нескольких команд
Очень быстро оформляется
Нет возможности совершить ошибку в отчете
Читабельность отчетов превосходная
Выводы:

50. 5 этап
Поиск
знаний
и много
стран

51. Вызов:
Быстрый поиск и
доступ по API

58. Решение:
– Теги в GitHub
– API GitHub
– Ежедневная выгрузка метрик с GA и
управление тестами в RealTime

59. Бонус

61. Спасибо
за внимание!
Может вопросы? :)

62. Иванов
Александр
CBDO Flatfy
Head of Product ЛУН
Professium Curator at Projector
facebook.com/orka.enaОтвечу на все вопросы в Facebook :