SlideShare a Scribd company logo
1 of 45
Hire the top 3% of freelance talent www.toptal.com
Кто должен писать
автоматические
тесты?
Игорь Хрол, Минск
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Кто перед вами?
● Игорь Хрол
● Team Lead / QA Engineer в отделе
аналитики Toptal
● >10 лет в отрасли
● Инженер, тимлид, менеджер,
архитектор, тренер, консультант
● Python, Scala, Ruby, Java, SQL и другое
● www.khroliz.com
2
Hire the top 3% of freelance talent www.toptal.com3
Hire the top 3% of freelance talent www.toptal.com
О чём говорим?
● Подходы по организации автотестов
● Постараюсь описать как плюсы, так и минусы
4
Hire the top 3% of freelance talent www.toptal.com
Классическая картина
мира
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Автотесты
Автоматизаторы
Тест кейсы
Разработка автотестов
Ручные
тестировщики
6
Hire the top 3% of freelance talent www.toptal.com
Использование
Билд на
тестирование
Тест кейсы
Ручные
тестировщики
Автотесты
Автоматизаторы
Ручные
тестировщики
7
Hire the top 3% of freelance talent www.toptal.com
Доработка
автотестов
Автоматизаторы
Поддержка
Красный
автотест
Дефект
Разработчики
Ручные
тестировщики
8
Hire the top 3% of freelance talent www.toptal.com
http://www.yatester.ru/2017/08/blog-post.html
9
Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
10
● Красивые и сложные процессы
○ Менеджеры повышают ЧСВ
Hire the top 3% of freelance talent www.toptal.com
● Красивые и сложные процессы
○ Менеджеры повышают ЧСВ
Что хорошего?
11
● Узкая специализация
○ Можно сделать работу менее квалифицированными людьми
Hire the top 3% of freelance talent www.toptal.com
Что плохого?
● Высокая формализация при передаче информации
12
● Неочевидное использование автотестов
● Разработка мало вовлечена
Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
Для outsourcing’a
отдельных кусков
разработки
13
В классическом
enterprise
Hire the top 3% of freelance talent www.toptal.com
От каждого по
возможностям, каждому -
по фреймворку
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Фрейворк
Разработка автотестов
“Ручные”
тестировщики
Автоматизаторы
Автотесты
15
Hire the top 3% of freelance talent www.toptal.com
Использование
Автотесты
16
Билд на
тестирование
“Ручные”
тестировщики
Ручные тесты
Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
● Можно сразу писать автотесты
17
● Меньше документации
● Нужно меньше автоматизаторов
Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Требуется более высокая квалификация тестировщиков
18
Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
“Продвинутый” enterprise
19
Для outsourcing’a
тестирования целиком
Hire the top 3% of freelance talent www.toptal.com
Универсальный солдат
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Ручные тесты
QA инженер
21
Автотесты
Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
Проще в управлении
Меньше потерь на передачу
информации
Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Результат часто неудовлетворительный,
когда “ручному тестировщику” добавляют
разработку автотестов
Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
В небольших командах, где нет
смысла разводить большое
количество ролей
Если у вас есть правильный
“тестировщик”
Hire the top 3% of freelance talent www.toptal.com
Нигилизм
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Кто пишет автоматические тесты?
Никто
Hire the top 3% of freelance talent www.toptal.com
Схема разработки I
Ручные тест
кейсы
Ручные тест
кейсы
Ручные тест
кейсы
Билд на
тестирование
Ручные
тестировщики
Hire the top 3% of freelance talent www.toptal.com
Схема разработки II
28
Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
Быстро и дешево
29
Hire the top 3% of freelance talent www.toptal.com
Что плохого?
Быстро и дёшево только в начале
30
Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
● Разработка прототипов
● Короткие проекты
● Заказчик, которого вы видите в
первый и последний раз
31
Hire the top 3% of freelance talent www.toptal.com
Модульные тесты
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Кто пишет и поддерживает?
● Если пишутся, то разработчиками
● Плотно связаны с кодом
● QA обычно туда не допускается
● Часто дублируют проверки более высокоуровневых тестов
Hire the top 3% of freelance talent www.toptal.com
Вспомним про
“пирамиду”
https://www.youtube.com/watch?v=JYY_52DTJqs Heisenbug’2016
https://www.youtube.com/watch?v=ZC_GH4AANqc QA Fest’2015
Hire the top 3% of freelance talent www.toptal.com
Тесты пишут разработчики
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Кто пишет и поддерживает?
● Разрабатывается вместе с кодом
○ можно до кода (TDD, BDD, ATDD)
○ можно после
○ можно параллельно
Hire the top 3% of freelance talent www.toptal.com
Что хорошего?
● Можно делать выбор между разными типами автотестов
(приёмочные, API, модульные) для поддержания баланса
“пирамиды”
● Кардинально меняется эффективность от автотестов
● Тестируемость приложения закладывается в процессе
37
Hire the top 3% of freelance talent www.toptal.com
Что плохого?
● Требуются ответственные разработчики
● Разработчики должны уметь тестировать
● Непонятная роль QA на проекте
38
Hire the top 3% of freelance talent www.toptal.com
Где можно применять?
● Амбициозные стартапы
● Передовые компании
39
Hire the top 3% of freelance talent www.toptal.com
Подводя итоги...
www.toptal.comHire the top 3% of freelance talent
Hire the top 3% of freelance talent www.toptal.com
Для успешных автотестов требуются
1. Продуманные тестовые сценарии
2. Качественный фреймворк и инструментарий
3. Подготовленное приложение
4. Максимальное использование низкоуровневых проверок
Hire the top 3% of freelance talent www.toptal.com
От исполнителя требуется
1. Знать то, как тестировать, чтобы не автоматизировать ненужное
(быть “тестировщиком”)
2. Владеть фреймворками и инструментами (быть “автоматизатором”)
3. Понимать архитектуру приложения, чтобы тестировать в нужных
местах
4. Знать код приложения, чтобы писать модульные тесты (быть
“разработчиком”)
Hire the top 3% of freelance talent www.toptal.com
Можно раскладывать разные
функции по конвейеру
Hire the top 3% of freelance talent www.toptal.com
Или повышать квалификацию и
развиваться в разные стороны
Hire the top 3% of freelance talent www.toptal.com
Спасибо!
Вопросы?
www.toptal.comHire the top 3% of freelance talent
Игорь Хрол
igor.khrol@toptal.com
khroliz@gmail.com
skype: igor.khrol

More Related Content

What's hot

QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
 
Оценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBTОценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBTSQALab
 
Эффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитикаЭффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитикаSQALab
 
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...QAFest
 
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Andrey Ladutko
 
Agile Testing: вопросы и ответы
Agile Testing: вопросы и ответыAgile Testing: вопросы и ответы
Agile Testing: вопросы и ответыAndrey Rebrov
 
Тестирование - это не просто тестирование, или Business Driven Testing
Тестирование - это не просто тестирование, или Business Driven TestingТестирование - это не просто тестирование, или Business Driven Testing
Тестирование - это не просто тестирование, или Business Driven TestingJulia Nechaeva
 
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияSQALab
 
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...SQALab
 
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в AgileAskhat Urazbaev
 
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QAFest
 
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...QAFest
 
Test design techniques basics
Test design techniques basicsTest design techniques basics
Test design techniques basicsArtem Bykovets
 
Викторина для тестировщиков
Викторина для тестировщиковВикторина для тестировщиков
Викторина для тестировщиковUladzimir Kryvenka
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииSQALab
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance managementSQALab
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщикаSQALab
 
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...SQALab
 
Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1LuxoftTraining
 
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Подготовка стратегии тестирования под высокорискованный, высокодоходный проектПодготовка стратегии тестирования под высокорискованный, высокодоходный проект
Подготовка стратегии тестирования под высокорискованный, высокодоходный проектSQALab
 

What's hot (20)

QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
 
Оценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBTОценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBT
 
Эффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитикаЭффективное взаимодействие тестировщика и аналитика
Эффективное взаимодействие тестировщика и аналитика
 
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования...
 
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелк...
 
Agile Testing: вопросы и ответы
Agile Testing: вопросы и ответыAgile Testing: вопросы и ответы
Agile Testing: вопросы и ответы
 
Тестирование - это не просто тестирование, или Business Driven Testing
Тестирование - это не просто тестирование, или Business Driven TestingТестирование - это не просто тестирование, или Business Driven Testing
Тестирование - это не просто тестирование, или Business Driven Testing
 
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
 
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
 
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в Agile
 
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
 
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...
QA Fest 2016. Инна Блажко. ISTQB – What is it? Who needs it? How to prepare a...
 
Test design techniques basics
Test design techniques basicsTest design techniques basics
Test design techniques basics
 
Викторина для тестировщиков
Викторина для тестировщиковВикторина для тестировщиков
Викторина для тестировщиков
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance management
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
 
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
Crystal Agile, или как мы приспособили процесс разработки для обеспечения мак...
 
Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1
 
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
Подготовка стратегии тестирования под высокорискованный, высокодоходный проектПодготовка стратегии тестирования под высокорискованный, высокодоходный проект
Подготовка стратегии тестирования под высокорискованный, высокодоходный проект
 

Similar to QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?

Igor Khrol “Тестирование в мире данных”
Igor Khrol “Тестирование в мире данных” Igor Khrol “Тестирование в мире данных”
Igor Khrol “Тестирование в мире данных” Dakiry
 
Отдел автоматизации своими руками
Отдел автоматизации своими рукамиОтдел автоматизации своими руками
Отдел автоматизации своими рукамиSQALab
 
Sqa days. Отдел автоматизации DIY
Sqa days. Отдел автоматизации DIYSqa days. Отдел автоматизации DIY
Sqa days. Отдел автоматизации DIYMaxim Boguslavsky
 
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем сутьАвтоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем сутьSQALab
 
Разработка мобильного приложения. Мобильный маркетинг.
Разработка мобильного приложения. Мобильный маркетинг. Разработка мобильного приложения. Мобильный маркетинг.
Разработка мобильного приложения. Мобильный маркетинг. Егор Карпов
 
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Mail.ru Group
 
Mail.ru: Как вырастить в себе автоматизатора и разработчика
Mail.ru:  Как вырастить в себе автоматизатора и разработчикаMail.ru:  Как вырастить в себе автоматизатора и разработчика
Mail.ru: Как вырастить в себе автоматизатора и разработчикаMaxim Boguslavsky
 
Багфиксинг процесса разработки в iOS: взгляд с двух сторон
Багфиксинг процесса разработки в iOS: взгляд с двух сторонБагфиксинг процесса разработки в iOS: взгляд с двух сторон
Багфиксинг процесса разработки в iOS: взгляд с двух сторонBadoo Development
 
Python, Django и корпоративные информационные системы
Python, Django и корпоративные информационные системыPython, Django и корпоративные информационные системы
Python, Django и корпоративные информационные системыPyNSK
 
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...Игорь Мызгин
 
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...Ontico
 
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)SEO.UA
 
Как перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизироватьКак перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизироватьSQALab
 
Автоматизация для не-автоматизаторов: хотелки и реальность
Автоматизация для не-автоматизаторов: хотелки и реальность Автоматизация для не-автоматизаторов: хотелки и реальность
Автоматизация для не-автоматизаторов: хотелки и реальность COMAQA.BY
 
Как автоматизировать тестирование метрик на сайте
Как автоматизировать тестирование метрик на сайтеКак автоматизировать тестирование метрик на сайте
Как автоматизировать тестирование метрик на сайтеМаркетинг-аналитика с OWOX BI
 
Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Igor Khrol
 
Роль тестировщика в Lean. Светлана Федянина
Роль тестировщика в Lean. Светлана ФедянинаРоль тестировщика в Lean. Светлана Федянина
Роль тестировщика в Lean. Светлана Федянинаqasib
 
Worldwide биллинг Badoo глазами QA
Worldwide биллинг Badoo глазами QAWorldwide биллинг Badoo глазами QA
Worldwide биллинг Badoo глазами QASQALab
 

Similar to QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты? (20)

Igor Khrol “Тестирование в мире данных”
Igor Khrol “Тестирование в мире данных” Igor Khrol “Тестирование в мире данных”
Igor Khrol “Тестирование в мире данных”
 
Отдел автоматизации своими руками
Отдел автоматизации своими рукамиОтдел автоматизации своими руками
Отдел автоматизации своими руками
 
Sqa days. Отдел автоматизации DIY
Sqa days. Отдел автоматизации DIYSqa days. Отдел автоматизации DIY
Sqa days. Отдел автоматизации DIY
 
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем сутьАвтоматизация тестирования: отбрасываем лишнее и проверяем суть
Автоматизация тестирования: отбрасываем лишнее и проверяем суть
 
Разработка мобильного приложения. Мобильный маркетинг.
Разработка мобильного приложения. Мобильный маркетинг. Разработка мобильного приложения. Мобильный маркетинг.
Разработка мобильного приложения. Мобильный маркетинг.
 
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
 
Mail.ru: Как вырастить в себе автоматизатора и разработчика
Mail.ru:  Как вырастить в себе автоматизатора и разработчикаMail.ru:  Как вырастить в себе автоматизатора и разработчика
Mail.ru: Как вырастить в себе автоматизатора и разработчика
 
Багфиксинг процесса разработки в iOS: взгляд с двух сторон
Багфиксинг процесса разработки в iOS: взгляд с двух сторонБагфиксинг процесса разработки в iOS: взгляд с двух сторон
Багфиксинг процесса разработки в iOS: взгляд с двух сторон
 
Python, Django и корпоративные информационные системы
Python, Django и корпоративные информационные системыPython, Django и корпоративные информационные системы
Python, Django и корпоративные информационные системы
 
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...
на пути к 100% аптайму - доклад с HighLoad 2015 совместно с Станиславом Осип...
 
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...
Опыт совместной работы хостера (Webzilla) и клиента (CityADS) над достижением...
 
Garin Denisov
Garin DenisovGarin Denisov
Garin Denisov
 
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)
Проектный менеджмент в Seo или как вести лучше и больше seo проектов (1)
 
Как перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизироватьКак перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизировать
 
Автоматизация для не-автоматизаторов: хотелки и реальность
Автоматизация для не-автоматизаторов: хотелки и реальность Автоматизация для не-автоматизаторов: хотелки и реальность
Автоматизация для не-автоматизаторов: хотелки и реальность
 
Как автоматизировать тестирование метрик на сайте
Как автоматизировать тестирование метрик на сайтеКак автоматизировать тестирование метрик на сайте
Как автоматизировать тестирование метрик на сайте
 
Кейс
КейсКейс
Кейс
 
Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...
 
Роль тестировщика в Lean. Светлана Федянина
Роль тестировщика в Lean. Светлана ФедянинаРоль тестировщика в Lean. Светлана Федянина
Роль тестировщика в Lean. Светлана Федянина
 
Worldwide биллинг Badoo глазами QA
Worldwide биллинг Badoo глазами QAWorldwide биллинг Badoo глазами QA
Worldwide биллинг Badoo глазами QA
 

More from QAFest

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
 
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
 
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
 
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
 
QA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
 
QA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
 
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
 
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
 
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
 
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
 
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
 
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
 
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQAFest
 
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QAFest
 
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QAFest
 
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQAFest
 
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQAFest
 
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QAFest
 
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QAFest
 
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QAFest
 

More from QAFest (20)

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
 
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
 
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
 
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
 
QA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать больше
 
QA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiled
 
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
 
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
 
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
 
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
 
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
 
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
 
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
 
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
 
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
 
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
 
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
 
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
 
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
 
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
 

QA Fest 2017. Игорь Хрол. Кто должен писать автоматические тесты?

  • 1. Hire the top 3% of freelance talent www.toptal.com Кто должен писать автоматические тесты? Игорь Хрол, Минск www.toptal.comHire the top 3% of freelance talent
  • 2. Hire the top 3% of freelance talent www.toptal.com Кто перед вами? ● Игорь Хрол ● Team Lead / QA Engineer в отделе аналитики Toptal ● >10 лет в отрасли ● Инженер, тимлид, менеджер, архитектор, тренер, консультант ● Python, Scala, Ruby, Java, SQL и другое ● www.khroliz.com 2
  • 3. Hire the top 3% of freelance talent www.toptal.com3
  • 4. Hire the top 3% of freelance talent www.toptal.com О чём говорим? ● Подходы по организации автотестов ● Постараюсь описать как плюсы, так и минусы 4
  • 5. Hire the top 3% of freelance talent www.toptal.com Классическая картина мира www.toptal.comHire the top 3% of freelance talent
  • 6. Hire the top 3% of freelance talent www.toptal.com Автотесты Автоматизаторы Тест кейсы Разработка автотестов Ручные тестировщики 6
  • 7. Hire the top 3% of freelance talent www.toptal.com Использование Билд на тестирование Тест кейсы Ручные тестировщики Автотесты Автоматизаторы Ручные тестировщики 7
  • 8. Hire the top 3% of freelance talent www.toptal.com Доработка автотестов Автоматизаторы Поддержка Красный автотест Дефект Разработчики Ручные тестировщики 8
  • 9. Hire the top 3% of freelance talent www.toptal.com http://www.yatester.ru/2017/08/blog-post.html 9
  • 10. Hire the top 3% of freelance talent www.toptal.com Что хорошего? 10 ● Красивые и сложные процессы ○ Менеджеры повышают ЧСВ
  • 11. Hire the top 3% of freelance talent www.toptal.com ● Красивые и сложные процессы ○ Менеджеры повышают ЧСВ Что хорошего? 11 ● Узкая специализация ○ Можно сделать работу менее квалифицированными людьми
  • 12. Hire the top 3% of freelance talent www.toptal.com Что плохого? ● Высокая формализация при передаче информации 12 ● Неочевидное использование автотестов ● Разработка мало вовлечена
  • 13. Hire the top 3% of freelance talent www.toptal.com Где можно применять? Для outsourcing’a отдельных кусков разработки 13 В классическом enterprise
  • 14. Hire the top 3% of freelance talent www.toptal.com От каждого по возможностям, каждому - по фреймворку www.toptal.comHire the top 3% of freelance talent
  • 15. Hire the top 3% of freelance talent www.toptal.com Фрейворк Разработка автотестов “Ручные” тестировщики Автоматизаторы Автотесты 15
  • 16. Hire the top 3% of freelance talent www.toptal.com Использование Автотесты 16 Билд на тестирование “Ручные” тестировщики Ручные тесты
  • 17. Hire the top 3% of freelance talent www.toptal.com Что хорошего? ● Можно сразу писать автотесты 17 ● Меньше документации ● Нужно меньше автоматизаторов
  • 18. Hire the top 3% of freelance talent www.toptal.com Что плохого? Требуется более высокая квалификация тестировщиков 18
  • 19. Hire the top 3% of freelance talent www.toptal.com Где можно применять? “Продвинутый” enterprise 19 Для outsourcing’a тестирования целиком
  • 20. Hire the top 3% of freelance talent www.toptal.com Универсальный солдат www.toptal.comHire the top 3% of freelance talent
  • 21. Hire the top 3% of freelance talent www.toptal.com Ручные тесты QA инженер 21 Автотесты
  • 22. Hire the top 3% of freelance talent www.toptal.com Что хорошего? Проще в управлении Меньше потерь на передачу информации
  • 23. Hire the top 3% of freelance talent www.toptal.com Что плохого? Результат часто неудовлетворительный, когда “ручному тестировщику” добавляют разработку автотестов
  • 24. Hire the top 3% of freelance talent www.toptal.com Где можно применять? В небольших командах, где нет смысла разводить большое количество ролей Если у вас есть правильный “тестировщик”
  • 25. Hire the top 3% of freelance talent www.toptal.com Нигилизм www.toptal.comHire the top 3% of freelance talent
  • 26. Hire the top 3% of freelance talent www.toptal.com Кто пишет автоматические тесты? Никто
  • 27. Hire the top 3% of freelance talent www.toptal.com Схема разработки I Ручные тест кейсы Ручные тест кейсы Ручные тест кейсы Билд на тестирование Ручные тестировщики
  • 28. Hire the top 3% of freelance talent www.toptal.com Схема разработки II 28
  • 29. Hire the top 3% of freelance talent www.toptal.com Что хорошего? Быстро и дешево 29
  • 30. Hire the top 3% of freelance talent www.toptal.com Что плохого? Быстро и дёшево только в начале 30
  • 31. Hire the top 3% of freelance talent www.toptal.com Где можно применять? ● Разработка прототипов ● Короткие проекты ● Заказчик, которого вы видите в первый и последний раз 31
  • 32. Hire the top 3% of freelance talent www.toptal.com Модульные тесты www.toptal.comHire the top 3% of freelance talent
  • 33. Hire the top 3% of freelance talent www.toptal.com Кто пишет и поддерживает? ● Если пишутся, то разработчиками ● Плотно связаны с кодом ● QA обычно туда не допускается ● Часто дублируют проверки более высокоуровневых тестов
  • 34. Hire the top 3% of freelance talent www.toptal.com Вспомним про “пирамиду” https://www.youtube.com/watch?v=JYY_52DTJqs Heisenbug’2016 https://www.youtube.com/watch?v=ZC_GH4AANqc QA Fest’2015
  • 35. Hire the top 3% of freelance talent www.toptal.com Тесты пишут разработчики www.toptal.comHire the top 3% of freelance talent
  • 36. Hire the top 3% of freelance talent www.toptal.com Кто пишет и поддерживает? ● Разрабатывается вместе с кодом ○ можно до кода (TDD, BDD, ATDD) ○ можно после ○ можно параллельно
  • 37. Hire the top 3% of freelance talent www.toptal.com Что хорошего? ● Можно делать выбор между разными типами автотестов (приёмочные, API, модульные) для поддержания баланса “пирамиды” ● Кардинально меняется эффективность от автотестов ● Тестируемость приложения закладывается в процессе 37
  • 38. Hire the top 3% of freelance talent www.toptal.com Что плохого? ● Требуются ответственные разработчики ● Разработчики должны уметь тестировать ● Непонятная роль QA на проекте 38
  • 39. Hire the top 3% of freelance talent www.toptal.com Где можно применять? ● Амбициозные стартапы ● Передовые компании 39
  • 40. Hire the top 3% of freelance talent www.toptal.com Подводя итоги... www.toptal.comHire the top 3% of freelance talent
  • 41. Hire the top 3% of freelance talent www.toptal.com Для успешных автотестов требуются 1. Продуманные тестовые сценарии 2. Качественный фреймворк и инструментарий 3. Подготовленное приложение 4. Максимальное использование низкоуровневых проверок
  • 42. Hire the top 3% of freelance talent www.toptal.com От исполнителя требуется 1. Знать то, как тестировать, чтобы не автоматизировать ненужное (быть “тестировщиком”) 2. Владеть фреймворками и инструментами (быть “автоматизатором”) 3. Понимать архитектуру приложения, чтобы тестировать в нужных местах 4. Знать код приложения, чтобы писать модульные тесты (быть “разработчиком”)
  • 43. Hire the top 3% of freelance talent www.toptal.com Можно раскладывать разные функции по конвейеру
  • 44. Hire the top 3% of freelance talent www.toptal.com Или повышать квалификацию и развиваться в разные стороны
  • 45. Hire the top 3% of freelance talent www.toptal.com Спасибо! Вопросы? www.toptal.comHire the top 3% of freelance talent Игорь Хрол igor.khrol@toptal.com khroliz@gmail.com skype: igor.khrol