ПОЛЬЗОВАТЕЛЬСКИЕ
ИССЛЕДОВАНИЯ В ИГРАХ
НАТАЛИЯ СПРОГИС, MAIL.RU
Плейтесты, фокус-тесты,
фокус-группы… Нужны ли
они только крупным
компаниям? Стоит ли
тратить на них ресурсы?
Я РАССКАЖУ…
Зачем разработчикам игр UX исследования?
На какие вопросы они помогут ответить?
В какой момент их стоит применять?
Как организовать исследование?
UX-ЛАБОРАТОРИЯ MAIL.RU
ЗАЧЕМ?
НО ВЕДЬ У НАС ЕСТЬ
ЭКСПЕРТЫ!
Эксперты нужны и дают замечательные
идеи. Только эти идеи нужно проверять
на реальных людях.
У НАС ОТЛИЧНЫЙ QA.
КАКИЕ ИССЛЕДОВАНИЯ?
Тестировщики в первую очередь ищут
баги. Они проверяют, работает ли игра
так, как ее задумали разработчики. Но
вот хороша ли эта задумка?
ЗАЧЕМ, КОГДА ЕСТЬ
ЗБТ И ОБТ?
ЗБТ и ОБТ дают вам багрепорты и фидбек
от самых активных. Но вы не видите,
почему от вас ушел обычный игрок.
ПОНЯТЬ ПОЧЕМУ
Игроки уходят после часа игры?
У нового квеста очень низкий процент
прохождений?
Казуалам наша игра не нравится?
ПРОБЛЕМЫ И
ИНСАЙТЫ
Понимают ли игроки, как надо играть?
Сработали ли ваши задумки?
Что им нравится больше всего?
Как они осваивают игру?
Какие стратегии выбирают?
ЗНАНИЕ АУДИТОРИИ
Где, в каких ситуациях играют в вашу
игру?
Какие социальные модели рождаются?
Как лучше строить маркетинговые
кампании?
КОГДА?
1.
КОНЦЕПТИРОВАНИЕ И
ПРОТОТИПИРОВАНИЕ
• На какой возраст игроков нам лучше ориентироваться?
• Что игрокам нравится в конкурентах? А каких ошибок не нужно
повторять?
• Есть ли у нас шансы зацепить казуальных игроков?
• Какие фичи стоит разработать в первую очередь, а что может
подождать?
ВОЗМОЖНЫЕ ВОПРОСЫ
КЕЙС 1: СЕГМЕНТАЦИЯ
Разработчику нужно сегментировать
аудиторию популярного игрового
жанра, чтобы понять, на кого
ориентироваться при разработке игры,
какие у сегментов ожидания и
потребности от жанра
ЗАДАЧА
6 фокус-групп с игроками разного
возраста и предпочтений. Быстрый
способ понять общую ситуацию по
жанру, сформировать гипотезы о
сегментации, определить отношение
к конкурентам, общие предпочтения
по механикам, отношение к
монетизации.
ФОКУС-ГРУППЫ
КЕЙС 1: СЕГМЕНТАЦИЯ
ЭТНОГРАФИЯ
Интервью у игроков дома, в
«естественной среде».
Цели:
• выявить контекст и
окружающую атмосферу
при взаимодействии с игрой
• исследовать игровое
поведение на основании
полученных на первом
этапе гипотез
КЕЙС 1: СЕГМЕНТАЦИЯ
РАЗНОЕ ПОВЕДЕНИЕ В ИГРЕ
Хардкорные симуляторщики Играющие в живой компании Любители аркадного сюжета
КЕЙС 1: СЕГМЕНТАЦИЯ
КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ
Разработчик хочет сделать мобильную
версию игры популярного десктопного
жанра. Как понять, от чего можно
отказаться, а от чего нет в условиях
ограничений устройства.
ЗАДАЧА
Фокус-группы с игроками разного
возраста и географии. Сегментация
игроков и предпочитаемых ими фич.
КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ
ОНЛАЙН ФОКУС-
ГРУППЫ
Поиск сильных и слабых сторон
конкурентов
КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ
ТЕСТИРОВАНИЕ
КОНКУРЕНТОВ
2.
ВЕРТИКАЛЬНЫЙ СРЕЗ
• Понимают ли игроки, как играть?
• Есть ли критичные проблемы геймплея?
• В каких местах критично сделать обучение, а где сами могут
разобраться?
ВОЗМОЖНЫЕ ВОПРОСЫ
Первый тест основного геймплея
мобильной ККИ, чтобы выявить основные
проблемы и сложности геймплея.
КЕЙС 3: ТЕСТ CORE GAMEPLAY
ЗАДАЧА
Нашли много проблем, в первую
очередь связанных с механизмами
прокачки карт. Поняли, в каких
местах критично обучение.
КЕЙС 3: ТЕСТ CORE GAMEPLAY
КЛАССИЧЕСКИЙ
UX ТЕСТ
Проверили понимание геймплея и
восприятие игры разными группами
игроков.
КЕЙС 3: ТЕСТ CORE GAMEPLAY
ПОНИМАНИЕ И
ВПЕЧАТЛЕНИЯ
3.
ПРОИЗВОДСТВО КОНТЕНТА
• Находят ли игроки самостоятельно оптимальную стратегию
прохождения инстанса?
• Понятны ли игрокам способности монстров?
• Уровень с ледяными фигурами не слишком сложный?
• Хорошо ли видео объясняет предысторию игры?
ВОЗМОЖНЫЕ ВОПРОСЫ
Проверить, понимают ли игроки
эффекты и абилки различных
мобов и какую стратегию боя
они используют против них.
КЕЙС 4: ТЕСТ АРМИЙ МОБОВ
ЗАДАЧА
КЕЙС 4: ТЕСТ АРМИЙ МОБОВ
СТАТИСТИКА
На специальной арене игроки дерутся с
несколькими паками мобов. После
просматривают свою игру и
рассказывают, как поняли действия
мобов в каждом паке и почему
выбирали ту или иную стратегию.
КЕЙС 4: ТЕСТ АРМИЙ МОБОВ
ПЛЕЙТЕСТ С
РЕТРОСПЕКТИВОЙ
Как понять, хорошо ли сделан
инстанс (приключение в
определенной локации) в ММОРПГ
игре?
КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА
ЗАДАЧА
ПЛЕЙТЕСТ С
ПСИХОФИЗИОЛОГИЕЙ
Нам недостаточно было найти UX-
проблемы геймплея. Помимо
опроса респондентов, мы с
помощью психофизиологических
показателей пытались понять,
сохраняется ли вовлеченность.
КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА
РЕАКЦИИ НА РАЗНЫЕ ЭТАПЫ
-0,3
-0,1
0,1
0,3
0,5
0,7
0,9
02:34 03:34 04:34 05:34 06:34 07:34
Первый этаж, респондент 2
Пак1 Пак2 Пак3 Пак4 Пак5 пак 6
КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА
4.
ЗБТ И ОБТ
• Возникают ли проблемы во время первого часа игры?
• Эффективно ли обучение?
• Какие части игры самые интересные?
• Не становится ли игрокам скучно?
ВОЗМОЖНЫЕ ВОПРОСЫ
Первый час игры — критичен для
нового игрока. Как уменьшить
процент ухода игроков на этом
этапе?
КЕЙС 6: СНИЗИТЬ ПОРОГ ВХОДА
ЗАДАЧА
КЕЙС 6: СНИЗИТЬ ПОРОГ ВХОДА
На первых уровнях
игнорируют важные
элементы игры.
Фиксируем, в какой
момент начинают
разбираться
КЕЙС 6: СНИЗИТЬ ПОРОГ ВХОДА
игнорируют
подсказки
не видят, о
чем
подсказка
5.
ПОСЛЕ РЕЛИЗА
• Почему игроки отваливаются после пятого уровня?
• Понимают ли игроки, как покупать в игровом магазине?
• Эффективен ли новый интерфейс крафтов?
ВОЗМОЖНЫЕ ВОПРОСЫ
Сравнить нашу игру с конкурентами,
чтобы выявить сильные и слабые
стороны и понять, куда двигаться
дальше.
КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ
ЗАДАЧА
VS
ЮЗАБИЛИТИ-ТЕСТ
• 20 минут игры в каждом из
покеров
• Сбор впечатлений
• Сравнение по различным
характеристикам
8%
15%
10%
6%
38%
38%
10%
22%
23%
23%
30%
50%
31%
8%
40%
22%
15%
10%
0% 20% 40% 60% 80% 100%
Poker Arena
Zynga
Boyaa
Pokerist
Какой покер вам больше
понравился?
Ерунда полная Не очень Средне Очень неплохо Отличная игра
КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ
СРАВНЕНИЕ
• Выявили достоинства и недостатки
каждой игры
• Сравнили эффективность
различных интерфейсных решений
КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ
Протестировать новую возможность
смены класса в игре. Выявить
проблемы нового интерфейса.
КЕЙС 8: СМЕНА КЛАССА В ММОРПГ
ЗАДАЧА
Классический UX тест. Нашли
проблемы интерфейса. Например,
отсутствие предупреждений,
сложный выбор новых шмоток и т.д.
КЕЙС 8: СМЕНА КЛАССА В ММОРПГ
ЮЗАБИЛИТИ-
ТЕСТИРОВАНИЕ
Протестировать процесс первого
входа в игру: от лендинга до
загрузки клиента. Найти проблемы
сайта игры.
КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА
ЗАДАЧА
Мы проверили, находят ли игроки
установку клиента, что они хотят
видеть на сайте, есть ли проблемы с
регистрацией.
КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА
ЮЗАБИЛИТИ-
ТЕСТИРОВАНИЕ
КАК?
ВНЕШНЕЕ
АГЕНТСТВО
нужна
квалификация
СОБСТВЕННАЯ
ЛАБОРАТОРИЯ
СВОИМИ
СИЛАМИ
ВАШИ
ОПЦИИ дорого
недостаточное
погружение
ПРОЦЕСС ИССЛЕДОВАНИЯ
ПЛАНМЕТОД УЧАСТНИКИ ПРОВЕДЕНИЕ АНАЛИЗЦЕЛИ
3.0 ЦЕЛИ
TO TEST OR NOT TO
TEST?
• Всегда четко формулируйте цели
исследования
• Иногда эти вопросы можно решить
другими методами
3.1 МЕТОДЫ
МЕТОД
ИССЛЕДОВАНИЯ
• Подходит ли метод для данной задачи?
• Нужно ли здесь вообще исследование или
достаточно статистики?
ПОЛЕ
МЕТОДОВ
• По размеру выборки
• По типу информации:
«что говорят» vs «что
делают»
©C. Rohrer, When to Use Which User-Experience Research Methods
ЭТНОГРАФИЯ
Что это: Игроки у себя дома
показывают вам, как они играют
и отвечают на ваши вопросы
Зачем: Глубоко изучить
аудиторию, понять контекст и
особенности игрового
поведения, найти инсайты
ФОКУС-
ГРУППЫ
Что это: 6-8 человек обсуждают
предлагаемые модератором
вопросы
Зачем: быстро собрать мнения,
понять контекст, мнения о
конкурентах и жанре.
ПЛЕЙТЕСТ
Что это: Вы наблюдаете за тем
как человек/люди играют в
вашу игру, а потом даете им
опросники или разговариваете с
ними
Зачем: Найти проблемы,
проверить гипотезы, собрать
впечатления.
АЙТРЕКИНГ
!Не отдельный метод, а
технология в рамках плейтеста!
Что это: Фиксация движения
взгляда респондентов во время
игры.
Зачем: Найти проблемы
заметности и фокуса внимания
респондентов. Повысить
наглядность результатов
исследования.
ПСИХО-
ФИЗИОЛОГИЯ
!Не отдельный метод, а
технология в рамках плейтеста!
Что это: Фиксация
энцефалограммы, КГР, ЭКГ и
прочей биометрии
Зачем: Эмоциональный фон и
ментальная нагрузка во время
игры
ДНЕВНИКОВЫЕ
ИССЛЕДОВАНИЯ
Что это: Игроки играют у себя
дома в течение недели-двух,
регулярно заполняя опросники
Зачем: Проверить то, что
невозможно за час-два в
лаборатории. Понять, как
меняется интерес к игре через
день/два/неделю и что на это
влияет. Понять, как игроки
осваивают игру, какие стратегии
выбирают.
3.2 РЕСПОНДЕНТЫ
КОГО ЗВАТЬ?
ЦА вашего теста:
• Играют в вашу игру или
новички?
• В какие игры еще играют? Как
много?
• На каких устройствах играют?
• Пол? Возраст?
CASUAL, MIDCORE,
HARDCORE
Не всегда просто определить:
• Как часто играет?
• Как долго?
• В какие еще игры?
• Стиль игры?
• Лексика?
И т.д.
ГДЕ ИХ ИСКАТЬ?
РОДСТВЕННИКИ И КОЛЛЕГИ
Плюсы: Готовы помочь бесплатно
Минусы: Чаще всего не ЦА, им сложно быть объективными
АГЕНТСТВА И ПАНЕЛИ
Плюсы: нет головной боли с поиском
Минусы: дорого, встречаются «профессиональные ходоки»
ФОРУМ И ИГРОВЫЕ ПАБЛИКИ
Плюсы: Лояльная аудитория, готовая помочь
Минусы: Только хардкорная аудитория, завышенные требования к
игре. Воспринимают тест, как возможность еще раз попросить то, о
чем и так просят на форуме.
ДРУГИЕ ВАРИАНТЫ
• Околоигровые паблики и ресурсы
• Компьютерные клубы
• Аудитория других игр
• YouDo, WorkZilla
Any other options?
3.3 ОРГАНИЗАЦИЯ
ГДЕ?
Место Достоинства Недостатки
Ваш офис • Легко организовать
• Удобно разработчикам
• Легче вовлечь коллег
• Игрокам сложнее высказывать
критику
Фокус-комната • Нейтральная территория
• Все оборудовано для тестов
• Дорого
Дома у игрока • Комфортно игроку
• Реальный контекст игры
• Долго ко всем ездить
• Не всегда возможно показать
тестовую версию игры
Компьютерный клуб
или кафе
• Возможность рекрутинга «на
лету»
• Только для коротких тестов
• Много отвлечений
ОДИНОЧНОЕ ИЛИ
КОЛЛЕКТИВНОЕ?
С кем будет играть респондент?
Боты, игроки онлайн, ваши коллеги
или другие тестеры?
При групповом тесте модерируйте
разговоры игроков в процессе,
чтобы мнение одного не повлияло
на соседа.
vs
ЕСТЕСТВЕННЫЙ
КОНТЕКСТ
Постарайтесь создать похожие на
жизненные условия для игры.
Если это мобильная игра, подумайте
о том, как будут держать
устройство, будут ли отвлечения и
стабильный wi-fi.
МИНИМАЛЬНОЕ
ОБОРУДОВАНИЕ ДЛЯ ТЕСТА
• Отдельная комната или переговорка
• Устройство с игрой (для мобильных лучше устанавливать на
девайсы респондентов)
• Веб-камера для записи респондента
• Софт для записи видео с экрана/вторая камера
• (Если возможно) трансляция коллегам
3.4 ПРОВЕДЕНИЕ
СЦЕНАРИЙ
У вас должен быть план! Список
вопросов, набор заданий, список
тестируемых уровней или
модулей.
Продумайте, можно ли где-то
«проскочить» долгую прокачку и
показать что-то дальше.
НАЧАЛЬНОЕ ОБУЧЕНИЕ
Аккуратно давайте вводную об игре. Если
в игре есть обучение, лучше ничего не
рассказывать и не отвечать на вопросы.
Если ответить на вопрос «А как здесь
работает таргет?», есть риск что вы не
проверите эффективность обучения.
ФОРМУЛИРОВКА
ЗАДАНИЙ
Избегайте случайных подсказок и
ложных вводных, когда даете задания.
Если на старте квеста сказать «Ваша
цель – убить Зевса», есть риск, что игрок
сразу начнет его искать и не будет
играть во все остальное.
ПРЕДВЗЯТОСТЬ
Оставайтесь максимально
нейтральными, не задавайте
наводящих вопросов.
Неверный вопрос или подсказка
может очень сильно повлиять на
результаты исследования.
СОЦИАЛЬНАЯ
ЖЕЛАТЕЛЬНОСТЬ
Игроки будут стараться не расстраивать
вас, поэтому многим будет сложно
критиковать игру. Объясните им, что вам
важны и негативные отзывы, что они
помогут сделать игру лучше.
ПОДСКАЗКИ
Любое ваше утверждение об игре или
ответ на вопрос респондента дает ему
информацию, которую он сам бы не
получил.
Старайтесь не отвечать на вопросы до
конца теста, а еще лучше оставьте
респондента одного и наблюдайте из
другой комнаты.
ОТКРЫТЫЕ ВОПРОСЫ
Не задавайте закрытых вопросов «Вам
понравилось играть?», «Управление
удобное?» и т.д. С вами будут
соглашаться.
Вместо них используйте открытые
вопросы «Что вам понравилось, а что
нет?», «С какими сложностями вы
столкнулись?» и т.д.
ВОПРОСЫ ПРО БУДУЩЕЕ
Никто не способен адекватно ответить на
вопрос «Будет ли круто, если мы сделаем вот
это?» или «Что сделать, чтобы стало лучше?»
Игроки могут ответить только про прошлый
опыт. Поэтому лучше спросите, что игроку
нравится в играх, где подобная фича
реализована, пользуется ли он этим и т.д
3.5 АНАЛИЗ РЕЗУЛЬТАТОВ
СМОТРИТЕ ЗА
ПОВЕДЕНИЕМ
В первую очередь анализируйте
поведение игроков во время теста.
Ведь на отзывы игроков об игре, их
пожелания и оценки влияет
социальная желательность.
РЕАКЦИЯ НА
ПОЖЕЛАНИЯ
Игроки не дизайнеры!
Если они просят «добавьте вот
это», главное понять, почему. А
решение может быть совсем
другим.
СТАТИСТИКА
Ищите инсайты, а не делайте
статистические выводы, если у вас
маленькая выборка
Даже единичное поведение может быть
ценным, но не вводите никого в
заблуждение.
ОНИ ВСЕ ИДИОТЫ!
Исследование — это часто стресс для
дизайнера. Не спорьте с игроками, даже
если они зря ругают вашу игру. Узнайте
причины их недовольства и сделайте
выводы.
Если вы не уверены, что найденная
проблема может проявиться снова,
проведите еще несколько тестов.
3.6КАК ИЗМЕРИТЬ ФАН?
А БЫЛ ЛИ ФАН?
По наблюдению за игроками и даже
их словам в итоговом интервью
сложно оценить, насколько
захватывает игра. Тут помогут
опросники.
MICROSOFT
DESIRABILITY
TOOLKIT
Опросник, состоящий из
положительных и отрицательных
прилагательных. Быстрая оценка
ассоциаций и характеристик игры.
Полное описание
MICROSOFT
DESIRABILITY
TOOLKIT
Опросник, состоящий из
положительных и отрицательных
прилагательных. Быстрая оценка
ассоциаций и характеристик игры.
Полное описание
GAME EXPERIENCE QUESTIONNAIRE
Универсальный игровой опросник, созданный Jeanne H. Brockmyer из
University of Toledo помогает оценить игру по базовым параметрам
(игровой мир, погружение в игру, напряжение, мотивация к
действиям и т.д.).
Полное описание
GAME EXPERIENCE QUESTIONNAIRE
С опросником вы можете сравнивать между собой разные игры,
разные части игры или фазы теста.
GAME EXPERIENCE QUESTIONNAIRE
Или сравнить разные группы игроков.
ПСИХОФИЗИОЛОГИЯ
Анализ психофизиологических
показателей позволяет увидеть
эмоциональные реакции во время
теста. Но методологии еще «сырые»
и требуют проработки.
3.7А ВДРУГ НЕ СРАБОТАЕТ?
ЭТО НЕ ТАБЛЕТКА 
Само по себе проведение
исследования не дает гарантии,
что вы получите хороший
продукт. Так как же сделать,
чтобы они были полезны?
ВСЕ ПРОСТО!
ПОЗОВЕМ ПРОФЕССИОНАЛОВ
И ДРУГИЕ …
МНОГОСТРАНИЧНЫЙ
ОТЧЕТ
• Почему мы должны этому верить?
• Эти рекомендации не работают!
• Что с этим вообще делать?
ИССЛЕДОВАНИЯ — ЭТО
КОМАНДНАЯ ИГРА
ОДИН В ПОЛЕ НЕ ВОИН
Если вам не верят, то даже ссылка на
хороший отчет об исследовании вам
не поможет
НАБЛЮДЕНИЕ И
УЧАСТИЕ
В идеале вся команда должна посмотреть
хотя бы на пару сессий исследования
ОБСУЖДЕНИЕ И ИДЕИ
Важно сразу же обсуждать новые идеи, при
необходимости меняя дальнейшие сессии
исследования
1.
ВЕРА КОМАНДЫ
2.
ПОДДЕРЖКА
РУКОВОДСТВА
Лица, принимающие
решения, должны
участвовать или хотя бы
наблюдать за процессом
3.
УСКОРЕНИЕ
ПРИНЯТИЯ РЕШЕНИЙ
Уменьшается «time to
knowledge». Проще и быстрее
принимаются решения
4.
ИДЕИ И ИНСАЙТЫ
Часто при наблюдении за
исследованиями появляется
новый взгляд на проблемы и
рождаются идеи
СПАСИБО!
Спрогис Наталия
n.sprogis@gmail.com

Мастер класс по UX исследованиям в играх

  • 1.
  • 2.
    Плейтесты, фокус-тесты, фокус-группы… Нужныли они только крупным компаниям? Стоит ли тратить на них ресурсы?
  • 3.
    Я РАССКАЖУ… Зачем разработчикамигр UX исследования? На какие вопросы они помогут ответить? В какой момент их стоит применять? Как организовать исследование?
  • 4.
  • 5.
  • 6.
    НО ВЕДЬ УНАС ЕСТЬ ЭКСПЕРТЫ! Эксперты нужны и дают замечательные идеи. Только эти идеи нужно проверять на реальных людях.
  • 7.
    У НАС ОТЛИЧНЫЙQA. КАКИЕ ИССЛЕДОВАНИЯ? Тестировщики в первую очередь ищут баги. Они проверяют, работает ли игра так, как ее задумали разработчики. Но вот хороша ли эта задумка?
  • 8.
    ЗАЧЕМ, КОГДА ЕСТЬ ЗБТИ ОБТ? ЗБТ и ОБТ дают вам багрепорты и фидбек от самых активных. Но вы не видите, почему от вас ушел обычный игрок.
  • 9.
    ПОНЯТЬ ПОЧЕМУ Игроки уходятпосле часа игры? У нового квеста очень низкий процент прохождений? Казуалам наша игра не нравится?
  • 10.
    ПРОБЛЕМЫ И ИНСАЙТЫ Понимают лиигроки, как надо играть? Сработали ли ваши задумки? Что им нравится больше всего? Как они осваивают игру? Какие стратегии выбирают?
  • 11.
    ЗНАНИЕ АУДИТОРИИ Где, вкаких ситуациях играют в вашу игру? Какие социальные модели рождаются? Как лучше строить маркетинговые кампании?
  • 12.
  • 13.
  • 14.
    • На какойвозраст игроков нам лучше ориентироваться? • Что игрокам нравится в конкурентах? А каких ошибок не нужно повторять? • Есть ли у нас шансы зацепить казуальных игроков? • Какие фичи стоит разработать в первую очередь, а что может подождать? ВОЗМОЖНЫЕ ВОПРОСЫ
  • 15.
    КЕЙС 1: СЕГМЕНТАЦИЯ Разработчикунужно сегментировать аудиторию популярного игрового жанра, чтобы понять, на кого ориентироваться при разработке игры, какие у сегментов ожидания и потребности от жанра ЗАДАЧА
  • 16.
    6 фокус-групп сигроками разного возраста и предпочтений. Быстрый способ понять общую ситуацию по жанру, сформировать гипотезы о сегментации, определить отношение к конкурентам, общие предпочтения по механикам, отношение к монетизации. ФОКУС-ГРУППЫ КЕЙС 1: СЕГМЕНТАЦИЯ
  • 17.
    ЭТНОГРАФИЯ Интервью у игроковдома, в «естественной среде». Цели: • выявить контекст и окружающую атмосферу при взаимодействии с игрой • исследовать игровое поведение на основании полученных на первом этапе гипотез КЕЙС 1: СЕГМЕНТАЦИЯ
  • 18.
    РАЗНОЕ ПОВЕДЕНИЕ ВИГРЕ Хардкорные симуляторщики Играющие в живой компании Любители аркадного сюжета КЕЙС 1: СЕГМЕНТАЦИЯ
  • 19.
    КЕЙС 2: ПРИОРЕТИЗАЦИЯФИЧ Разработчик хочет сделать мобильную версию игры популярного десктопного жанра. Как понять, от чего можно отказаться, а от чего нет в условиях ограничений устройства. ЗАДАЧА
  • 20.
    Фокус-группы с игрокамиразного возраста и географии. Сегментация игроков и предпочитаемых ими фич. КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ ОНЛАЙН ФОКУС- ГРУППЫ
  • 21.
    Поиск сильных ислабых сторон конкурентов КЕЙС 2: ПРИОРЕТИЗАЦИЯ ФИЧ ТЕСТИРОВАНИЕ КОНКУРЕНТОВ
  • 22.
  • 23.
    • Понимают лиигроки, как играть? • Есть ли критичные проблемы геймплея? • В каких местах критично сделать обучение, а где сами могут разобраться? ВОЗМОЖНЫЕ ВОПРОСЫ
  • 24.
    Первый тест основногогеймплея мобильной ККИ, чтобы выявить основные проблемы и сложности геймплея. КЕЙС 3: ТЕСТ CORE GAMEPLAY ЗАДАЧА
  • 25.
    Нашли много проблем,в первую очередь связанных с механизмами прокачки карт. Поняли, в каких местах критично обучение. КЕЙС 3: ТЕСТ CORE GAMEPLAY КЛАССИЧЕСКИЙ UX ТЕСТ
  • 26.
    Проверили понимание геймплеяи восприятие игры разными группами игроков. КЕЙС 3: ТЕСТ CORE GAMEPLAY ПОНИМАНИЕ И ВПЕЧАТЛЕНИЯ
  • 27.
  • 28.
    • Находят лиигроки самостоятельно оптимальную стратегию прохождения инстанса? • Понятны ли игрокам способности монстров? • Уровень с ледяными фигурами не слишком сложный? • Хорошо ли видео объясняет предысторию игры? ВОЗМОЖНЫЕ ВОПРОСЫ
  • 29.
    Проверить, понимают лиигроки эффекты и абилки различных мобов и какую стратегию боя они используют против них. КЕЙС 4: ТЕСТ АРМИЙ МОБОВ ЗАДАЧА
  • 30.
    КЕЙС 4: ТЕСТАРМИЙ МОБОВ СТАТИСТИКА
  • 31.
    На специальной аренеигроки дерутся с несколькими паками мобов. После просматривают свою игру и рассказывают, как поняли действия мобов в каждом паке и почему выбирали ту или иную стратегию. КЕЙС 4: ТЕСТ АРМИЙ МОБОВ ПЛЕЙТЕСТ С РЕТРОСПЕКТИВОЙ
  • 32.
    Как понять, хорошоли сделан инстанс (приключение в определенной локации) в ММОРПГ игре? КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА ЗАДАЧА
  • 33.
    ПЛЕЙТЕСТ С ПСИХОФИЗИОЛОГИЕЙ Нам недостаточнобыло найти UX- проблемы геймплея. Помимо опроса респондентов, мы с помощью психофизиологических показателей пытались понять, сохраняется ли вовлеченность. КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА
  • 34.
    РЕАКЦИИ НА РАЗНЫЕЭТАПЫ -0,3 -0,1 0,1 0,3 0,5 0,7 0,9 02:34 03:34 04:34 05:34 06:34 07:34 Первый этаж, респондент 2 Пак1 Пак2 Пак3 Пак4 Пак5 пак 6 КЕЙС 5: ТЕСТ ИГРОВОГО ИНСТАНСА
  • 35.
  • 36.
    • Возникают липроблемы во время первого часа игры? • Эффективно ли обучение? • Какие части игры самые интересные? • Не становится ли игрокам скучно? ВОЗМОЖНЫЕ ВОПРОСЫ
  • 37.
    Первый час игры— критичен для нового игрока. Как уменьшить процент ухода игроков на этом этапе? КЕЙС 6: СНИЗИТЬ ПОРОГ ВХОДА ЗАДАЧА
  • 38.
    КЕЙС 6: СНИЗИТЬПОРОГ ВХОДА На первых уровнях игнорируют важные элементы игры. Фиксируем, в какой момент начинают разбираться
  • 39.
    КЕЙС 6: СНИЗИТЬПОРОГ ВХОДА игнорируют подсказки не видят, о чем подсказка
  • 40.
  • 41.
    • Почему игрокиотваливаются после пятого уровня? • Понимают ли игроки, как покупать в игровом магазине? • Эффективен ли новый интерфейс крафтов? ВОЗМОЖНЫЕ ВОПРОСЫ
  • 42.
    Сравнить нашу игрус конкурентами, чтобы выявить сильные и слабые стороны и понять, куда двигаться дальше. КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ ЗАДАЧА VS
  • 43.
    ЮЗАБИЛИТИ-ТЕСТ • 20 минутигры в каждом из покеров • Сбор впечатлений • Сравнение по различным характеристикам 8% 15% 10% 6% 38% 38% 10% 22% 23% 23% 30% 50% 31% 8% 40% 22% 15% 10% 0% 20% 40% 60% 80% 100% Poker Arena Zynga Boyaa Pokerist Какой покер вам больше понравился? Ерунда полная Не очень Средне Очень неплохо Отличная игра КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ
  • 44.
    СРАВНЕНИЕ • Выявили достоинстваи недостатки каждой игры • Сравнили эффективность различных интерфейсных решений КЕЙС 7: СРАВНЕНИЕ С КОНКУРЕНТАМИ
  • 45.
    Протестировать новую возможность сменыкласса в игре. Выявить проблемы нового интерфейса. КЕЙС 8: СМЕНА КЛАССА В ММОРПГ ЗАДАЧА
  • 46.
    Классический UX тест.Нашли проблемы интерфейса. Например, отсутствие предупреждений, сложный выбор новых шмоток и т.д. КЕЙС 8: СМЕНА КЛАССА В ММОРПГ ЮЗАБИЛИТИ- ТЕСТИРОВАНИЕ
  • 47.
    Протестировать процесс первого входав игру: от лендинга до загрузки клиента. Найти проблемы сайта игры. КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА ЗАДАЧА
  • 48.
    Мы проверили, находятли игроки установку клиента, что они хотят видеть на сайте, есть ли проблемы с регистрацией. КЕЙС 9: СОПУТСТВУЮЩИЕ МЕДИА ЮЗАБИЛИТИ- ТЕСТИРОВАНИЕ
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
    TO TEST ORNOT TO TEST? • Всегда четко формулируйте цели исследования • Иногда эти вопросы можно решить другими методами
  • 54.
  • 55.
    МЕТОД ИССЛЕДОВАНИЯ • Подходит лиметод для данной задачи? • Нужно ли здесь вообще исследование или достаточно статистики?
  • 56.
    ПОЛЕ МЕТОДОВ • По размерувыборки • По типу информации: «что говорят» vs «что делают» ©C. Rohrer, When to Use Which User-Experience Research Methods
  • 57.
    ЭТНОГРАФИЯ Что это: Игрокиу себя дома показывают вам, как они играют и отвечают на ваши вопросы Зачем: Глубоко изучить аудиторию, понять контекст и особенности игрового поведения, найти инсайты
  • 58.
    ФОКУС- ГРУППЫ Что это: 6-8человек обсуждают предлагаемые модератором вопросы Зачем: быстро собрать мнения, понять контекст, мнения о конкурентах и жанре.
  • 59.
    ПЛЕЙТЕСТ Что это: Вынаблюдаете за тем как человек/люди играют в вашу игру, а потом даете им опросники или разговариваете с ними Зачем: Найти проблемы, проверить гипотезы, собрать впечатления.
  • 60.
    АЙТРЕКИНГ !Не отдельный метод,а технология в рамках плейтеста! Что это: Фиксация движения взгляда респондентов во время игры. Зачем: Найти проблемы заметности и фокуса внимания респондентов. Повысить наглядность результатов исследования.
  • 61.
    ПСИХО- ФИЗИОЛОГИЯ !Не отдельный метод,а технология в рамках плейтеста! Что это: Фиксация энцефалограммы, КГР, ЭКГ и прочей биометрии Зачем: Эмоциональный фон и ментальная нагрузка во время игры
  • 62.
    ДНЕВНИКОВЫЕ ИССЛЕДОВАНИЯ Что это: Игрокииграют у себя дома в течение недели-двух, регулярно заполняя опросники Зачем: Проверить то, что невозможно за час-два в лаборатории. Понять, как меняется интерес к игре через день/два/неделю и что на это влияет. Понять, как игроки осваивают игру, какие стратегии выбирают.
  • 63.
  • 64.
    КОГО ЗВАТЬ? ЦА вашеготеста: • Играют в вашу игру или новички? • В какие игры еще играют? Как много? • На каких устройствах играют? • Пол? Возраст?
  • 65.
    CASUAL, MIDCORE, HARDCORE Не всегдапросто определить: • Как часто играет? • Как долго? • В какие еще игры? • Стиль игры? • Лексика? И т.д.
  • 66.
  • 67.
    РОДСТВЕННИКИ И КОЛЛЕГИ Плюсы:Готовы помочь бесплатно Минусы: Чаще всего не ЦА, им сложно быть объективными
  • 68.
    АГЕНТСТВА И ПАНЕЛИ Плюсы:нет головной боли с поиском Минусы: дорого, встречаются «профессиональные ходоки»
  • 69.
    ФОРУМ И ИГРОВЫЕПАБЛИКИ Плюсы: Лояльная аудитория, готовая помочь Минусы: Только хардкорная аудитория, завышенные требования к игре. Воспринимают тест, как возможность еще раз попросить то, о чем и так просят на форуме.
  • 70.
    ДРУГИЕ ВАРИАНТЫ • Околоигровыепаблики и ресурсы • Компьютерные клубы • Аудитория других игр • YouDo, WorkZilla Any other options?
  • 71.
  • 72.
    ГДЕ? Место Достоинства Недостатки Вашофис • Легко организовать • Удобно разработчикам • Легче вовлечь коллег • Игрокам сложнее высказывать критику Фокус-комната • Нейтральная территория • Все оборудовано для тестов • Дорого Дома у игрока • Комфортно игроку • Реальный контекст игры • Долго ко всем ездить • Не всегда возможно показать тестовую версию игры Компьютерный клуб или кафе • Возможность рекрутинга «на лету» • Только для коротких тестов • Много отвлечений
  • 73.
    ОДИНОЧНОЕ ИЛИ КОЛЛЕКТИВНОЕ? С кембудет играть респондент? Боты, игроки онлайн, ваши коллеги или другие тестеры? При групповом тесте модерируйте разговоры игроков в процессе, чтобы мнение одного не повлияло на соседа. vs
  • 74.
    ЕСТЕСТВЕННЫЙ КОНТЕКСТ Постарайтесь создать похожиена жизненные условия для игры. Если это мобильная игра, подумайте о том, как будут держать устройство, будут ли отвлечения и стабильный wi-fi.
  • 75.
    МИНИМАЛЬНОЕ ОБОРУДОВАНИЕ ДЛЯ ТЕСТА •Отдельная комната или переговорка • Устройство с игрой (для мобильных лучше устанавливать на девайсы респондентов) • Веб-камера для записи респондента • Софт для записи видео с экрана/вторая камера • (Если возможно) трансляция коллегам
  • 76.
  • 77.
    СЦЕНАРИЙ У вас долженбыть план! Список вопросов, набор заданий, список тестируемых уровней или модулей. Продумайте, можно ли где-то «проскочить» долгую прокачку и показать что-то дальше.
  • 78.
    НАЧАЛЬНОЕ ОБУЧЕНИЕ Аккуратно давайтевводную об игре. Если в игре есть обучение, лучше ничего не рассказывать и не отвечать на вопросы. Если ответить на вопрос «А как здесь работает таргет?», есть риск что вы не проверите эффективность обучения.
  • 79.
    ФОРМУЛИРОВКА ЗАДАНИЙ Избегайте случайных подсказоки ложных вводных, когда даете задания. Если на старте квеста сказать «Ваша цель – убить Зевса», есть риск, что игрок сразу начнет его искать и не будет играть во все остальное.
  • 80.
    ПРЕДВЗЯТОСТЬ Оставайтесь максимально нейтральными, незадавайте наводящих вопросов. Неверный вопрос или подсказка может очень сильно повлиять на результаты исследования.
  • 81.
    СОЦИАЛЬНАЯ ЖЕЛАТЕЛЬНОСТЬ Игроки будут старатьсяне расстраивать вас, поэтому многим будет сложно критиковать игру. Объясните им, что вам важны и негативные отзывы, что они помогут сделать игру лучше.
  • 82.
    ПОДСКАЗКИ Любое ваше утверждениеоб игре или ответ на вопрос респондента дает ему информацию, которую он сам бы не получил. Старайтесь не отвечать на вопросы до конца теста, а еще лучше оставьте респондента одного и наблюдайте из другой комнаты.
  • 83.
    ОТКРЫТЫЕ ВОПРОСЫ Не задавайтезакрытых вопросов «Вам понравилось играть?», «Управление удобное?» и т.д. С вами будут соглашаться. Вместо них используйте открытые вопросы «Что вам понравилось, а что нет?», «С какими сложностями вы столкнулись?» и т.д.
  • 84.
    ВОПРОСЫ ПРО БУДУЩЕЕ Никтоне способен адекватно ответить на вопрос «Будет ли круто, если мы сделаем вот это?» или «Что сделать, чтобы стало лучше?» Игроки могут ответить только про прошлый опыт. Поэтому лучше спросите, что игроку нравится в играх, где подобная фича реализована, пользуется ли он этим и т.д
  • 85.
  • 86.
    СМОТРИТЕ ЗА ПОВЕДЕНИЕМ В первуюочередь анализируйте поведение игроков во время теста. Ведь на отзывы игроков об игре, их пожелания и оценки влияет социальная желательность.
  • 87.
    РЕАКЦИЯ НА ПОЖЕЛАНИЯ Игроки недизайнеры! Если они просят «добавьте вот это», главное понять, почему. А решение может быть совсем другим.
  • 88.
    СТАТИСТИКА Ищите инсайты, ане делайте статистические выводы, если у вас маленькая выборка Даже единичное поведение может быть ценным, но не вводите никого в заблуждение.
  • 89.
    ОНИ ВСЕ ИДИОТЫ! Исследование— это часто стресс для дизайнера. Не спорьте с игроками, даже если они зря ругают вашу игру. Узнайте причины их недовольства и сделайте выводы. Если вы не уверены, что найденная проблема может проявиться снова, проведите еще несколько тестов.
  • 90.
  • 91.
    А БЫЛ ЛИФАН? По наблюдению за игроками и даже их словам в итоговом интервью сложно оценить, насколько захватывает игра. Тут помогут опросники.
  • 92.
    MICROSOFT DESIRABILITY TOOLKIT Опросник, состоящий из положительныхи отрицательных прилагательных. Быстрая оценка ассоциаций и характеристик игры. Полное описание
  • 93.
    MICROSOFT DESIRABILITY TOOLKIT Опросник, состоящий из положительныхи отрицательных прилагательных. Быстрая оценка ассоциаций и характеристик игры. Полное описание
  • 94.
    GAME EXPERIENCE QUESTIONNAIRE Универсальныйигровой опросник, созданный Jeanne H. Brockmyer из University of Toledo помогает оценить игру по базовым параметрам (игровой мир, погружение в игру, напряжение, мотивация к действиям и т.д.). Полное описание
  • 95.
    GAME EXPERIENCE QUESTIONNAIRE Сопросником вы можете сравнивать между собой разные игры, разные части игры или фазы теста.
  • 96.
    GAME EXPERIENCE QUESTIONNAIRE Илисравнить разные группы игроков.
  • 97.
    ПСИХОФИЗИОЛОГИЯ Анализ психофизиологических показателей позволяетувидеть эмоциональные реакции во время теста. Но методологии еще «сырые» и требуют проработки.
  • 98.
    3.7А ВДРУГ НЕСРАБОТАЕТ?
  • 99.
    ЭТО НЕ ТАБЛЕТКА Само по себе проведение исследования не дает гарантии, что вы получите хороший продукт. Так как же сделать, чтобы они были полезны?
  • 100.
  • 101.
    МНОГОСТРАНИЧНЫЙ ОТЧЕТ • Почему мыдолжны этому верить? • Эти рекомендации не работают! • Что с этим вообще делать?
  • 102.
  • 103.
    ОДИН В ПОЛЕНЕ ВОИН Если вам не верят, то даже ссылка на хороший отчет об исследовании вам не поможет
  • 104.
    НАБЛЮДЕНИЕ И УЧАСТИЕ В идеалевся команда должна посмотреть хотя бы на пару сессий исследования
  • 105.
    ОБСУЖДЕНИЕ И ИДЕИ Важносразу же обсуждать новые идеи, при необходимости меняя дальнейшие сессии исследования
  • 106.
  • 107.
  • 108.
    3. УСКОРЕНИЕ ПРИНЯТИЯ РЕШЕНИЙ Уменьшается «timeto knowledge». Проще и быстрее принимаются решения
  • 109.
    4. ИДЕИ И ИНСАЙТЫ Частопри наблюдении за исследованиями появляется новый взгляд на проблемы и рождаются идеи
  • 110.