Аккуратно переезжаем
тестирование в проектах миграции
или
О чем я хочу поговорить:
• Миграция, что это?
• Что же это за проекты такие?
• Проблемы есть?
• Что с этим делать?
• Приме...
Есть ли среди вас те, кто участвовал
в проектах миграции?
Есть ли среди вас разработчики?
Есть ли среди вас Чак Норрис?
Сколько отжиманий может сделать
Чак Норрис?
Будьте бдительны:
Миграция, что это?
Миграция, что это?
лат. migratio, от migro —
перехожу, переселяюсь.
Может выглядеть так:
или так:
или даже так:
Узнаете?
Что же это за проекты такие?
Воссоздание и перенос данных:
Что характерно:
• Потеря функционала
• Потеря функционала
• Потеря данных
Что характерно:
• Потеря функционала
• Потеря данных
• Изменение характеристик системы
Что характерно:
Возьмите и перенесите:
• Потеря доступности
Что характерно:
• Потеря доступности
• Изменение окружения
Что характерно:
• Потеря доступности
• Изменение окружения
• Изменение характеристик системы
Что характерно:
Смена айпишника:
Виртуализация:
Проблемы?
Проблемы! Они есть всегда!
Время:
Не забыли ещё?
Изменчивость среды:
Непревывность бизнеса:
Стоимость:
Кадровый голод:
Выглядит страшно?
2 реальных примера
Маркетинг:
• Часто обновляется
• Локализации иногда радикально отличаются
• Занудные владельцы
• Приличные объемы
• Куча ф...
Так разницы почти не видно:
Так разницы почти не видно:
А вот так уже очень видно...
Основной упор – контент:
• Сравнивали с эталоном
Основной упор – контент:
• Сравнивали с эталоном
Основной упор – контент:
• Сравнивали с эталоном
• Валидировали самостоятельно
Основной упор – контент:
• Сравнивали с эталоном
• Валидировали самостоятельно
Основной упор – контент:
• Сравнивали с эталоном
• Валидировали самостоятельно
• Верифицировали самостоятельно
Основной упор – контент:
• Сравнивали с эталоном
• Валидировали самостоятельно
• Верифицировали самостоятельно
• Валидацию раздали заинтересованным...
Саппорт:
• Плановая выкатка контента пачками
• Межязыковое единообразие
• Более сговорчивые владельцы
• 7,5К статей на осн...
Основной упор – пользователи:
• Бета-версия
Proof-pic
• Бета-версия
• Сбор фидбэков
Основной упор – пользователи:
• Бета-версия
• Сбор фидбэков
• Привлечение сотрудников саппорта
Основной упор – пользователи:
Эталонное тестирование:
• Сравниваем со старой системой
Эталонное тестирование:
• Сравниваем со старой системой
• Сравниваем локализации друг с другом
Очень agile:
Инструменты
Бета – тестеры:
Старательно писали логи:
Играли старые логи:
«Простите нас, пожалуйста» 
Растяжки, датчики, сирены:
Доступность и производительность:
Доступность и производительность:
Доступность и производительность:
Пользовательские сценарии:
• Для разработчиков
Пользовательские сценарии:
• Для разработчиков
• Для миграторов
Пользовательские сценарии:
• Для разработчиков
• Для миграторов
• Для UAT
Пользовательские сценарии:
• Для разработчиков
• Для миграторов
• Для UAT
• И...
Пользовательские сценарии:
• Для разработчиков
• Для миграторов
• Для UAT
• И...
• Их сделали сами пользователи
В результате:
• Штатных тестировщиков – 0
• Штатных тестировщиков – 0
• Внештатных – гораздо больше
В результате:
• Штатных тестировщиков – 0
• Внештатных – гораздо больше
• 25К страниц
В результате:
• Штатных тестировщиков – 0
• Внештатных – гораздо больше
• 25К страниц
• С Фряхи на Винду
В результате:
• Штатных тестировщиков – 0
• Внештатных – гораздо больше
• 25К страниц
• С Фряхи на Винду
• С Perl’а на C#
В результате:
• Штатных тестировщиков – 0
• Внештатных – гораздо больше
• 25К страниц
• С Фряхи на Винду
• С Perl’а на C#
• И мы ещё не ...
Каждому свое:
«Слова вы услышали, поиск пути за вами»
Уильямс Деминг
Спасибо за внимание!
• Я: Роман Ивлиев
• Е-почта: roman.ivliev@mail.ru
• @dumtest
• dumtest.livejournal.com
Про тестирование миграций
Upcoming SlideShare
Loading in …5
×

Про тестирование миграций

318 views
237 views

Published on

С Кодефеста

Published in: Engineering
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
318
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Про тестирование миграций

  1. 1. Аккуратно переезжаем тестирование в проектах миграции или
  2. 2. О чем я хочу поговорить: • Миграция, что это? • Что же это за проекты такие? • Проблемы есть? • Что с этим делать? • Примеры есть?
  3. 3. Есть ли среди вас те, кто участвовал в проектах миграции?
  4. 4. Есть ли среди вас разработчики?
  5. 5. Есть ли среди вас Чак Норрис?
  6. 6. Сколько отжиманий может сделать Чак Норрис?
  7. 7. Будьте бдительны:
  8. 8. Миграция, что это?
  9. 9. Миграция, что это? лат. migratio, от migro — перехожу, переселяюсь.
  10. 10. Может выглядеть так:
  11. 11. или так:
  12. 12. или даже так:
  13. 13. Узнаете?
  14. 14. Что же это за проекты такие?
  15. 15. Воссоздание и перенос данных:
  16. 16. Что характерно: • Потеря функционала
  17. 17. • Потеря функционала • Потеря данных Что характерно:
  18. 18. • Потеря функционала • Потеря данных • Изменение характеристик системы Что характерно:
  19. 19. Возьмите и перенесите:
  20. 20. • Потеря доступности Что характерно:
  21. 21. • Потеря доступности • Изменение окружения Что характерно:
  22. 22. • Потеря доступности • Изменение окружения • Изменение характеристик системы Что характерно:
  23. 23. Смена айпишника:
  24. 24. Виртуализация:
  25. 25. Проблемы?
  26. 26. Проблемы! Они есть всегда!
  27. 27. Время:
  28. 28. Не забыли ещё?
  29. 29. Изменчивость среды:
  30. 30. Непревывность бизнеса:
  31. 31. Стоимость:
  32. 32. Кадровый голод:
  33. 33. Выглядит страшно?
  34. 34. 2 реальных примера
  35. 35. Маркетинг: • Часто обновляется • Локализации иногда радикально отличаются • Занудные владельцы • Приличные объемы • Куча функциональных костылей
  36. 36. Так разницы почти не видно:
  37. 37. Так разницы почти не видно:
  38. 38. А вот так уже очень видно...
  39. 39. Основной упор – контент:
  40. 40. • Сравнивали с эталоном Основной упор – контент:
  41. 41. • Сравнивали с эталоном Основной упор – контент:
  42. 42. • Сравнивали с эталоном • Валидировали самостоятельно Основной упор – контент:
  43. 43. • Сравнивали с эталоном • Валидировали самостоятельно Основной упор – контент:
  44. 44. • Сравнивали с эталоном • Валидировали самостоятельно • Верифицировали самостоятельно Основной упор – контент:
  45. 45. • Сравнивали с эталоном • Валидировали самостоятельно • Верифицировали самостоятельно • Валидацию раздали заинтересованным лицам Основной упор – контент:
  46. 46. Саппорт: • Плановая выкатка контента пачками • Межязыковое единообразие • Более сговорчивые владельцы • 7,5К статей на основные локализации
  47. 47. Основной упор – пользователи: • Бета-версия
  48. 48. Proof-pic
  49. 49. • Бета-версия • Сбор фидбэков Основной упор – пользователи:
  50. 50. • Бета-версия • Сбор фидбэков • Привлечение сотрудников саппорта Основной упор – пользователи:
  51. 51. Эталонное тестирование: • Сравниваем со старой системой
  52. 52. Эталонное тестирование: • Сравниваем со старой системой • Сравниваем локализации друг с другом
  53. 53. Очень agile:
  54. 54. Инструменты
  55. 55. Бета – тестеры:
  56. 56. Старательно писали логи:
  57. 57. Играли старые логи:
  58. 58. «Простите нас, пожалуйста» 
  59. 59. Растяжки, датчики, сирены:
  60. 60. Доступность и производительность:
  61. 61. Доступность и производительность:
  62. 62. Доступность и производительность:
  63. 63. Пользовательские сценарии: • Для разработчиков
  64. 64. Пользовательские сценарии: • Для разработчиков • Для миграторов
  65. 65. Пользовательские сценарии: • Для разработчиков • Для миграторов • Для UAT
  66. 66. Пользовательские сценарии: • Для разработчиков • Для миграторов • Для UAT • И...
  67. 67. Пользовательские сценарии: • Для разработчиков • Для миграторов • Для UAT • И... • Их сделали сами пользователи
  68. 68. В результате: • Штатных тестировщиков – 0
  69. 69. • Штатных тестировщиков – 0 • Внештатных – гораздо больше В результате:
  70. 70. • Штатных тестировщиков – 0 • Внештатных – гораздо больше • 25К страниц В результате:
  71. 71. • Штатных тестировщиков – 0 • Внештатных – гораздо больше • 25К страниц • С Фряхи на Винду В результате:
  72. 72. • Штатных тестировщиков – 0 • Внештатных – гораздо больше • 25К страниц • С Фряхи на Винду • С Perl’а на C# В результате:
  73. 73. • Штатных тестировщиков – 0 • Внештатных – гораздо больше • 25К страниц • С Фряхи на Винду • С Perl’а на C# • И мы ещё не закончили В результате:
  74. 74. Каждому свое: «Слова вы услышали, поиск пути за вами» Уильямс Деминг
  75. 75. Спасибо за внимание! • Я: Роман Ивлиев • Е-почта: roman.ivliev@mail.ru • @dumtest • dumtest.livejournal.com

×