GameDev Conference 2018 Олександр Дзюба та Євгеній Тур "Майстер-клас “Вивчення гравців. DIY” Ми реально навчимо робити найкращі ігри в світі через аналіз гравців"

1. Изучение игроков. DIY
Как делать лучшие в мире игры
через анализ игроков

2. Евгений Тур
Head of Analytics/Product
в Sense.Vision
Больше 6 лет опыта
в исследованиях и аналитике
Фанат индустрии видеоигр
2
Обо мне

3. 3
● Проводим плейтесты
по всему миру
● Команда работает
почти 5 лет
● Нам доверяют лидеры
рынка видеоигр
Sense.Vision. Кто мы?

4. 4
О чем будем говорить?
● Что такое плейтест и зачем их проводить?
● Отличия плейтестов от QA и аналитики
● Форматы и этапы организации плейтеста
● Поиск респондентов
● Методы сбора данных
WORKSHOP PLAN

5. $24,5 млрд объем рынка
видеоигр США
Общий объем в мире
более $100 млрд
5
Индустрия видеоигр

6. ● Попасть в магазин никогда не было так легко
● Получить внимание никогда не было так сложно
● В 2017 году на Steam вышло 7672 игры (+40% к 2016)
● Это больше игр, чем за весь период 2005-2015 (!)
● Десятки новых игр на всех платформах каждый день
● У игры есть только один шанс привлечь аудиторию
6
Рост конкуренции

7. Что делать?
Игры,
интересные
целевой
аудитории
7

8. Что мы знаем
Сколько?
- попыток на уровне
- длится игровая сессия
- retention 7го дня
- CPI, ARPU, MAU, DAU

9. - создать фан в игре
- выбирают игру в жанре
- воспринимают мою игру
- строят стратегию игры
- описывают игру другу
Как?
Что нужно знать

10. Как
≠
Сколько
Как увеличить ретеншн?
Сколько % составляет ретеншн?

11. Спросить
у игрока!

12. Плейтест — это
пользовательское
тестирование игры,
проводимое с целью оценить
играбельность, управление,
введение игрока в игру,
общее впечатление,
потенциал по удержанию
игроков и монетизации.
12
Что такое плейтест?

13. 13
Что дают плейтесты?
- понимание ЦА
- правильные решения
- видеть проблемы заранее
- знать, как изменять игру
- сделать игроков счастливыми

14. ● Экономия бюджета на
переделки
● Становятся выше
ретеншн, LTV,
виральность, NPS
● Органический трафик
● PR
Коммерческая выгода
плейтестов
14

15. Да все
делают
ЭТО!

16. 16
Типичные задачи плейтеста
● Изучить конкурентов или игры/референсы
● Оценка/сравнение прототипов игры
● Привлечение игроков в игру (Acquisition)
● Удержание игроков (Retention)
● Потенциал монетизации (Monetization)
● Оценка различных составляющих игры:
○ обучение (формат и понятность);
○ управление и интерфейс
○ игровые механики,
○ игровой мир (сеттинг);
○ графика и звук.

17. 17
Не путать роли
Не ожидать готовых идей
Оценивать то, что есть в игре
Игровая сессия до 2 часов
Не использовать одних
и тех же игроков
Ограничения плейтестов

18. 18
QA и плейтесты
● QA тестирование
(англ. quality assurance)
● Пользовательское
тестирование (плейтесты)

19. Плейтест:
● позволяет увидеть
впечатления и эмоции игрока
от игры;
● дает информацию о
проблемах, с которыми
сталкивается игрок;
● можно проводить задолго до
релиза (не требуют активной
базы игроков в игре);
● не дает точных метрик, но
позволяет лучше понимать их. 19
Игровая
аналитика:
● работает с большими
массивами данных;
● ориентирована на точные
метрики (ARPU, Retention%,
DAU, WAU, MAU и т.п.);
● не дает инсайтов о причинах
поведения игрока;
● не дает информации об
эмоциях и проблемах, с
которыми сталкивается игрок

20. 20
Этапы разработки игры
Идея Прототип Альфа Бета Софт-лонч Апдейт

21. 21
Задачи исследований
Идея Прототип Альфа
Выбор ЦА игры
Когда, как долго, где,
с кем и для чего играют
Лучшие каналы промо игры
По каким критериям игроки
оценивают и выбирают игры
Драйверы, триггеры, барьеры
Видение идеальной игры
Идея игры
Основная механика
Игровые цели
Модель управления
Идея сеттинга
Вызванные эмоции
Манера взаимодействия

22. 22
Задачи исследований
Бета Софт-лонч Апдейт
Геймплей
Графика, звук
Навигация
Управление и UI
Сеттинг
Баланс
Ретеншн (расчет и увеличение)
Монетизация (модель, цены т.д.)

23. Процесс организации плейтеста
1. Постановка задачи
2. Уточнение параметров ЦА
3. Определение кол-ва участников
4. Подготовка методологии
5. Рекрутинг участников
6. Игровая сессия
7. Сбор данных
8. Анализ данных
9. Воплощение результатов
Playtesting
The difference between cake and evil robots
23

24. Постановка задачи
24
Без ТЗ —
результат ХЗ

25. Постановка задачи
25
● Насколько туториал справляется со своими задачами
● Эмоции и впечатления от основного геймплея
● Оценка графики, эстетики, игрового мира
● Оценка сюжета, персонажей
● Оценка баланса сложности
● Оценка системы прогресса в игре
● Драйверы и барьеры ретеншна 7 дня
● Драйверы и барьеры монетизации

26. Пол, возраст
Платформа и устройства
Опыт игры в референсы
Любимые жанры
Хардкорность
Кто ваши игроки?
26

27. Поиск игроков
27
Места потенциального
скопления
Какие есть интересы?
Где бывают?
Где и с кем общаются?

28. ВАЖНО!!!
Отборочный скринер
Вознаграждение - лучше не деньгами
Источники поиска респондентов:
● Аудитория предыдущих проектов
● Сайты
● Сообщества, форумы
● Соцсети
● Мероприятия
● Сайты поиска работы
● Сарафанное радио
Поиск подходящих игроков
28

29. Преимущества профильной компании:
● наличие базы респондентов
● строгий контроль респондентов в базе (данные, когда последний
раз участвовали);
● профессиональные рекрутеры в разных странах мира (США,
Германия, Великобритания, Нидерланды, Китай, Япония)
● подписание NDA со всеми респондентами.
Поиск подходящих игроков
29

30. ● Тест юзабилити - 5 человек для выявления 80% проблем
● Стандартный плейтест - 10-25 человек
● Если нужно сравнивать варианты - нужно хотя бы 50
● Многодневный плейтест - учитывайте отвал респондентов
Определение количества игроков
30
Количество
игроков
Погрешность
измерений
(P=95%*)
Количество
игроков
Погрешность
измерений
(P=95%*)
25 19,5% 200 6,9%
50 13,8% 300 5,7%
75 11,3% 400 4,9%
100 9,8% 800 3,5%
150 8,0% 1000 3,1%

31. 31
Форматы плейтеста
Холл-тест Хоум-тест

32. 32
Логика сбора данных
Кол-во
игрового
времени
Этапы формирования
игрового опыта
О чем спрашиваем
0 минут Отсутствует Данные респондента (фамилия, имя, пол, возраст, предпочитаемые игры,
прочее).
0 минут Ожидания, сформированные
маркетинговыми
материалами
Впечатления от иконки, названия, описания в сторе, скриншотов, видео.
Ожидания от игры, для кого игра. Желание установить игру, начать играть.
2 минуты Первое впечатление Первое впечатление от игры (что за игра). Разобрался ли игрок с целями на
уровне и управлением, есть ли желание продолжить игру
10 минут Первый опыт Разобрался ли игрок с игровыми целями, привык ли к управлению. Оценка
туториала (доступность, полнота, удобство).
30 минут Значительный опыт Качество реализации замысла. Освоение основных игровых механик. Оценка
понимания системы прогресса в игре. Комфорт в возрастании сложности.
Удобство реализации меню и интерфейса, приемов управления. Желание
играть дальше.
60 минут Полный опыт Общая оценка игры, насколько оправдались ожидания. Сильные и слабые
стороны игры. Оценка игрового процесса. Баланс сложности. Темп прогресса.
Оценка графики и звука. Оценка сюжета, положительных и отрицательных
героев, главного героя. Готовность рекомендовать друзьям, соревноваться,
делиться в соцсетях. Общие пожелания, идеи. Желание вернуться в игру.

33. 33
● Анкетирование
● Наблюдение
● Видеозапись
● Индивидуальное интервью
● Групповое интервью (фокус-группа)
● Экспертное интервью
● Мысли вслух
Основные методы сбора данных

34. 34
Анкетирование
● Данные собирают с помощью анкеты
● Вопросы в анкете могут быть закрытые и открытые
● Цель - сбор основных впечатлений, оценок на
различных этапах тестирования

35. Закрытые вопросы — дают возможность получить количественную
оценку определенному свойству изучаемого объекта.
● Номинальные шкалы:
- с выбором одной альтернативы;
- с множественным выбором альтернатив;
● Порядковые (или ранговые) шкалы
● Метрические шкалы (семантический дифференциал)
Открытые вопросы — место для развернутого комментария;
хороший способ получить интересные мысли, идеи, лучше понять
игрока.
Типы вопросов в анкете
35

36. 36
Только открытые вопросы - ЗЛО
Игрок не ограничен
в высказываниях
Легче готовить
инструментарий
Тяжело обрабатывать данные
Тяжело получить
количественные показатели
Тяжело сравнивать ответы
разных респондентов
Много игроков ленятся писать,
ответы из одного слова

37. Однозначность
прочтения
Один вопрос за раз
Нейтрально
заданные вопросы
Уточняющие вопросы
(лучше в интервью)
Формулируйте вопросы
правильно

38. 38
Анализ данных анкет
Excel и SPSS
Визуализация закрытых
вопросов (диаграммы)
Кодировка и визуализация
открытых вопросов
Нахождение зависимостей

39. 39
Позволяет
проследить
поведение игроков
в определенных
ситуациях,
отклонение от
заложенного
сценария
поведения.
Наблюдение
Что важно:
- нестандартное поведение
- сильные эмоции и реплики
- уточняющие вопросы

40. Четкие цели
Ничего не отвлекает
Прямой фидбэк
Постоянное напряжение
с расчетом на победу
Состояние “потока”

41. Видеозапись
● Геймплей
● Лицо
● Руки
41

42. 42
Интервью
Индивидуальное интервью - это структурированная
беседа с игроком на определенном этапе знакомства с
продуктом с целью выявления мотивов игрока (главное
- ответ на вопрос “почему?”).

43. Один вопрос за раз
Нейтральность вопросов
Однозначность формулировки
Уточняющие вопросы
Как задавать вопросы

44. Правильно
Открытые вопросы
Что Вы думаете об этом?
Как бы Вы описали систему
прогресса в игре?
Уточняющие вопросы
Что именно в интерфейсе Вам
непонятно?

45. НЕправильно
Закрытые вопросы
Вам понравилась игра?
Наводящие вопросы
Понятно ли, что цель игры состоит в наборе
максимального количества очков?
Вопросы о будущем
Будете играть, если добавят метагейм?

46. Видеозапись и транскрипт
Общие тенденции
и разногласия
Причины поведения
Смыслы, идеи,
а не количество
Гипотезы
46
Анализ интервью

47. ФГИ - одновременное интервьюирование 6-10 человек
в формате дискуссии.
Продолжительность - 1-2 часа.
Типичные задачи для ФГИ:
- отношение к играм подобного жанра
- изучение предпочтений ЦА
- тестирование маркетинговых материалов
Групповое интервью (фокус-группа)
47

48. Мысли вслух
48

49. Экспертное интервью
49
Концентрат знаний
Помогает сделать ОК

50. In-house плейтест
50
Преимущества:
● полный контроль за
проведением;
● самостоятельный подбор
респондентов;
● изменение методологии на
лету.
Недостатки:
● временные затраты;
● трудности с поиском
подходящих респондентов;
● организационные сложности;
● большой риск ошибок при
проведении;
● трудности с донесением
результатов до команды.

52. Sense.Vision
info@sense.vision
Skype: sense.vision
http://sense.vision
https://fb.com/sense.vision.company
ru.note.sense.vision
evgeniy.t@sense.vision