Работа с данными выделилась в отдельную область разработки. Гига-, тера-, петабайты информации поражают воображение и озадачивают, когда дело доходит до тестирования. Hadoop, Spark, ETL - непонятные слова, к которым непонятно, как подступиться. На основе своего опыта разработки wordpress.com Игорь поделится опытом обеспечения качества в области больших данных. В рамках его доклада вы узнаете, как традиционные подходы к тестированию и автоматизации тестирования соотносятся с Big Data-решениями, а также, какие специфические проблемы требуется решать, когда дело доходит до QA. Презентация подготовлена по материалам выступления Игоря Хрола на витебской конференции “Developer's Software Conference” (30.11.2019).

1. Тестирование больших
данных
Data Engineer at Automattic
Igor Khrol
30 НОЯБРЯ

2. Тестирование
больших данных
Игорь Хрол

3. Игорь Хрол
Data Engineer в Automattic
Scala, Python
13 лет на службе в IT
https://khroliz.com
https://data.blog

4. Что тестируем?

5. Data Source

6. Data Source
1. Базы данных (Postres, MySQL, Oracle…)
2. Внешние REST (и не только) API
3. Всякие очереди сообщений (Kafka, RabbitMQ…)
4. Просто файлы (csv, txt…)
5. Всё что угодно

7. Transformation

8. ETL: Transformation
● Data conversion
● Aggregation
● Deduplication
● Filtering
● Data cleaning
● Formatting
● Merging/joining
● Calculating new fields
● Sorting
● Pivoting
● Lookup operations
● Data validation

9. Warehouse

13. Warehouse (Cloud)

14. Warehouse (HDFS)

15. Как же это тестируют?

16. Маленькие тесты
(модульные)

17. Тестирование трансформаций

19. Чем хорош Gherkin в данном случае?
- Поддержка таблиц
- Играет роль документации
- Низкий порог входа
- Не возникает проблемы словаря
Не путать с BDD!

20. Интеграционные тесты
- Поиск циклов в графе трансформаций
- Проверка конфликтов версий
- Инфраструктурные проблемы
Окружение для запуска:
- Пустые/случайные данные
- Запуск на репрезентативной выборке
- Прогон на всех данных

21. Ручное тестирование

22. Ручное тестирование
Где взять
expected result?

23. Ручное тестирование
Где взять
expected
result?

24. тесты
трансформаций
интеграционные

26. Мониторинг
- Работоспособность железа
- Доступность API, UI, данных
- Загрузка кластера:
- диск
- память
- CPU
- network

27. Мониторинг данных
- Консистентность данных:
- Внешние ключи
- Уникальные ключи
- not null
- Проверка бизнес-правил
- Использование ML-моделей

28. Напоследок…
Специфические вещи

30. Скорость

31. Стоимость

32. Количество файлов в HDFS
The default size of a block in HDFS is 128 MB (Hadoop 2.x)
and 64 MB (Hadoop 1.x) which is much larger as compared
to the Linux system where the block size is 4KB.

33. https://khroliz.com