Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Тестирование миграции пользователей:
case study
t WITH PASSION TO QUALITY
Екатерина Шепелева
QA CONFERENCE #1 IN UKRAINE, ...
• Test Lead в EPAM
• Докладчик
QA Fest
Selenium Camp
BAQ Conference
Sigma Open Tech Week
...
• Со-автор первой в Украине н...
• Входные данные
• Подход
• Трудности
• Результат
t WITH PASSION TO QUALITY
KYIV 2018
План
Подготовительные работы,
занявшие полтора релиза
t WITH PASSION TO QUALITY
KYIV 2018
О чем я НЕ буду говорить
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
t WITH PASSION TO QUALITY
KYIV 2018
Причины
• Единый логин
• Безопасность
Подход
t WITH PASSION TO QUALITY
KYIV 2018
Подготовка
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 1
Спасительные эксельки
• шаги миграции
• сценарии тестирования
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 2
SQL скрипты для сравнения состояний до и после миграции
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 3
Максимальное логирование во время миграции*
*убедитесь, что хватает м...
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 4
Без создания новых данных для покрытия всех сценариев
• Скриншоты состояний до/после миграции
• Думать не о скоупе сторей, а обо всех
реальных кейсах
• Подтвердить план тестиро...
Сценарии
тестирования
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Техники тест дизайна:
• Equivalence partitioning
• Error guessing
• Decision tables
• Pairwise testing / All-Pairs
• …
= к...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Юзер 2
Юзер 3
Юзер 4
Юзер 5
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
Юзер 2
...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1 1 2 3 4
Юзер 2 5 6 7 8
Юзе...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1 1 2 3 4
Юзер 2 5 6 7 8
Юзе...
Тестирование
t WITH PASSION TO QUALITY
KYIV 2018
• QA/DEV энвы
• Репетиция миграции на Проде:
Staging с юзерами с Прода - 2 недели
• Client Тesting, Staging, Prod
t WITH P...
Тестирование миграции
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 1
• Роли + лицензии + пермишены
• Личные данные + пароли
• Н...
Смоук основной функциональности
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 2
Ваш
К.О.
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 3: Интеграция
Все точки соприкосновения
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 3: Интеграция
• Login/Logout
• Веб сервисы, Веб API
• OD...
• Свои пароли на тест энвах
• Без паролей на юзер энвах
t WITH PASSION TO QUALITY
KYIV 2018
Что делать с паролями?
Трудности
t WITH PASSION TO QUALITY
KYIV 2018
Подготовка
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 1
Не тривиальная миграция базы
= тул для сравнения баз не подойдет
(Redgate SQL Compare, Visual Studio SQL и пр.)
t WITH PAS...
Время на проработку сценариев
тестирования и подбор тестовых данных
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 2
Нет доступа к данным напрямую, работа с
экспортированными данными в csv/xls файлах
workaround - импортировать файлы в базу...
Миграция
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Разные схемы базы
= лишняя колонка на тестовых энвах
t WITH PASSION TO QUALITY
KYIV 2018
Факап 1
Разные конфигурации серверов
= два сервера → юзеры создались дважды
t WITH PASSION TO QUALITY
KYIV 2018
Факап 2
Невалидные данные
• дубликаты
• запрещенные символы
• неподходящие пароли
t WITH PASSION TO QUALITY
KYIV 2018
Факап 3
Required field в одной базе - null value в другой
• First/Last Name
• Email
• Password
t WITH PASSION TO QUALITY
KYIV 2018...
Юзерам отправились письма раньше времени
t WITH PASSION TO QUALITY
KYIV 2018
Факап 5
Требования
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Что-то не было продумано ранней архитектурой
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 1
"Не прод кейс"
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 2
Потеря данных
• Fax
• Phone number extension
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 3
Не все было в требованиях → включать
critical thinking
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 4
t WITH PASSION TO QUALITY
KYIV 2018
t WITH PASSION TO QUALITY
KYIV 2018
Сравнить схемы баз данных
required vs optional
string vs int
etc.
Пробелы перед/после email
t WITH PASSION TO QUALITY
KYIV...
Результат
t WITH PASSION TO QUALITY
KYIV 2018
• Успешная миграция
• 4 месяца в продакшене
• 0 багов от кастомеров
• 1 некритичный баг, найденный нами*
*непосредственно ...
t WITH PASSION TO QUALITY
KYIV 2018
Вопросы? Контакты
Контакты:
eshepelieva@gmail.com
eshepelieva
search for Kateryna Shep...
• Участвуйте в розыгрыше – подходите за анкетами
• Подходите играть на диван эксперта сегодня в 16:15
• Розыгрыш в 17:00 н...
Тема доклада
Тема доклада
Тема доклада
KYIV 2018
WITH PASSION TO QUALITY
QA CONFERENCE #1 IN UKRAINE
Upcoming SlideShare
Loading in …5
×

QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользователей

154 views

Published on

Хочу рассказать про наш опыт миграции пользователей в базы данных внешней системы, как мы выбирали подходы и сценарии для тестирования, с какими сложностями столкнулись, какие полезные выводы сделали. Никакой теории, исключительно разбор живого случая с конкретными примерами.

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользователей

  1. 1. Тестирование миграции пользователей: case study t WITH PASSION TO QUALITY Екатерина Шепелева QA CONFERENCE #1 IN UKRAINE, KYIV 2018
  2. 2. • Test Lead в EPAM • Докладчик QA Fest Selenium Camp BAQ Conference Sigma Open Tech Week ... • Со-автор первой в Украине настольной игры для тестировщиков t WITH PASSION TO QUALITY KYIV 2018 Обо мне
  3. 3. • Входные данные • Подход • Трудности • Результат t WITH PASSION TO QUALITY KYIV 2018 План
  4. 4. Подготовительные работы, занявшие полтора релиза t WITH PASSION TO QUALITY KYIV 2018 О чем я НЕ буду говорить
  5. 5. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные
  6. 6. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик
  7. 7. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  8. 8. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  9. 9. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  10. 10. t WITH PASSION TO QUALITY KYIV 2018 Причины • Единый логин • Безопасность
  11. 11. Подход t WITH PASSION TO QUALITY KYIV 2018
  12. 12. Подготовка t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  13. 13. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 1 Спасительные эксельки • шаги миграции • сценарии тестирования
  14. 14. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 2 SQL скрипты для сравнения состояний до и после миграции
  15. 15. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 3 Максимальное логирование во время миграции* *убедитесь, что хватает места для лога
  16. 16. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 4 Без создания новых данных для покрытия всех сценариев
  17. 17. • Скриншоты состояний до/после миграции • Думать не о скоупе сторей, а обо всех реальных кейсах • Подтвердить план тестирования t WITH PASSION TO QUALITY KYIV 2018 Что также было полезно
  18. 18. Сценарии тестирования t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  19. 19. Техники тест дизайна: • Equivalence partitioning • Error guessing • Decision tables • Pairwise testing / All-Pairs • … = каждая комбинация протестирована хотя бы один раз t WITH PASSION TO QUALITY KYIV 2018 Стряхнем пыль с ISTQB…
  20. 20. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1
  21. 21. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2
  22. 22. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2
  23. 23. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии
  24. 24. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Юзер 2 Юзер 3 Юзер 4 Юзер 5
  25. 25. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 Юзер 2 Юзер 3 Юзер 4 Юзер 5
  26. 26. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  27. 27. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  28. 28. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  29. 29. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  30. 30. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  31. 31. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  32. 32. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 10 Юзер 5 11
  33. 33. Тестирование t WITH PASSION TO QUALITY KYIV 2018
  34. 34. • QA/DEV энвы • Репетиция миграции на Проде: Staging с юзерами с Прода - 2 недели • Client Тesting, Staging, Prod t WITH PASSION TO QUALITY KYIV 2018 Шаг 0: Энвы
  35. 35. Тестирование миграции t WITH PASSION TO QUALITY KYIV 2018 Шаг 1 • Роли + лицензии + пермишены • Личные данные + пароли • Новые и существующие юзеры • Специальные флаги / сценарии / пользователи
  36. 36. Смоук основной функциональности t WITH PASSION TO QUALITY KYIV 2018 Шаг 2 Ваш К.О.
  37. 37. t WITH PASSION TO QUALITY KYIV 2018 Шаг 3: Интеграция
  38. 38. Все точки соприкосновения t WITH PASSION TO QUALITY KYIV 2018 Шаг 3: Интеграция • Login/Logout • Веб сервисы, Веб API • OData • Ссылки на UI новой системы (например, Manage profile) • Регистрация – существующий email и т.д.
  39. 39. • Свои пароли на тест энвах • Без паролей на юзер энвах t WITH PASSION TO QUALITY KYIV 2018 Что делать с паролями?
  40. 40. Трудности t WITH PASSION TO QUALITY KYIV 2018
  41. 41. Подготовка t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  42. 42. t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  43. 43. Не тривиальная миграция базы = тул для сравнения баз не подойдет (Redgate SQL Compare, Visual Studio SQL и пр.) t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  44. 44. Время на проработку сценариев тестирования и подбор тестовых данных t WITH PASSION TO QUALITY KYIV 2018 Проблема 2
  45. 45. Нет доступа к данным напрямую, работа с экспортированными данными в csv/xls файлах workaround - импортировать файлы в базу локально, использовать джоины t WITH PASSION TO QUALITY KYIV 2018 Проблема 3
  46. 46. Миграция t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  47. 47. t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  48. 48. Разные схемы базы = лишняя колонка на тестовых энвах t WITH PASSION TO QUALITY KYIV 2018 Факап 1
  49. 49. Разные конфигурации серверов = два сервера → юзеры создались дважды t WITH PASSION TO QUALITY KYIV 2018 Факап 2
  50. 50. Невалидные данные • дубликаты • запрещенные символы • неподходящие пароли t WITH PASSION TO QUALITY KYIV 2018 Факап 3
  51. 51. Required field в одной базе - null value в другой • First/Last Name • Email • Password t WITH PASSION TO QUALITY KYIV 2018 Факап 4
  52. 52. Юзерам отправились письма раньше времени t WITH PASSION TO QUALITY KYIV 2018 Факап 5
  53. 53. Требования t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  54. 54. Что-то не было продумано ранней архитектурой t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  55. 55. "Не прод кейс" t WITH PASSION TO QUALITY KYIV 2018 Проблема 2
  56. 56. Потеря данных • Fax • Phone number extension t WITH PASSION TO QUALITY KYIV 2018 Проблема 3
  57. 57. Не все было в требованиях → включать critical thinking t WITH PASSION TO QUALITY KYIV 2018 Проблема 4
  58. 58. t WITH PASSION TO QUALITY KYIV 2018
  59. 59. t WITH PASSION TO QUALITY KYIV 2018
  60. 60. Сравнить схемы баз данных required vs optional string vs int etc. Пробелы перед/после email t WITH PASSION TO QUALITY KYIV 2018 Что также было БЫ полезно
  61. 61. Результат t WITH PASSION TO QUALITY KYIV 2018
  62. 62. • Успешная миграция • 4 месяца в продакшене • 0 багов от кастомеров • 1 некритичный баг, найденный нами* *непосредственно по миграции t WITH PASSION TO QUALITY KYIV 2018 Результат
  63. 63. t WITH PASSION TO QUALITY KYIV 2018 Вопросы? Контакты Контакты: eshepelieva@gmail.com eshepelieva search for Kateryna Shepelieva search for eshepelieva search for testogame Спасибо за внимание!
  64. 64. • Участвуйте в розыгрыше – подходите за анкетами • Подходите играть на диван эксперта сегодня в 16:15 • Розыгрыш в 17:00 на диване эксперта t WITH PASSION TO QUALITY KYIV 2018 Настольная игра для тестировщиков TESTO
  65. 65. Тема доклада Тема доклада Тема доклада KYIV 2018 WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE

×