Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Большим данным — быстрые тесты

2,227 views

Published on

Доклад Станислава Буткеева на SQA Days-15. 18-19 апреля, 2014, Москва.
www.sqadays.com

Published in: Education
  • Be the first to comment

Большим данным — быстрые тесты

  1. 1. Большим данным – быстрые тесты Станислав Буткеев
  2. 2. О себе – Ведущий тестировщик в 2ГИС – За плечами 4 года – Внутренние продукты WWW.2GIS.RU
  3. 3. Мы знаем, что вы делали прошлым летом – куда кликали, – что искали, – что смотрели
  4. 4. 2gis.ru
  5. 5. Big Data СтатистикаOnline Mobile Desktop
  6. 6. «Big Data – большой объём информации, её разнообразие и необходимость очень быстрой обработки данных»
  7. 7. Состав хранилища данных Статистика Справочники WWW.2GIS.RU
  8. 8. 20Гбежедневно + 4Тб
  9. 9. Скачивания баз оболочек 10 000
  10. 10. Москва Скачивания баз оболочек 1000
  11. 11. Москва Март 2014 Скачивания баз оболочек 600
  12. 12. Москва Март 2014 Один запуск Скачивания баз оболочек 200
  13. 13. Как тестировать?
  14. 14. Хранилище данных Внутр. продукты Базы сырой стат-ки Внешние продукты Отчёты OLAP кубы WWW.2GIS.RU парсеры SSIS
  15. 15. 14.02 Дата Кол-во WWW.2GIS.RU Посещение рубрик ?
  16. 16. 14.02 Дата Кол-во WWW.2GIS.RU Посещение рубрик Цветы
  17. 17. Какие есть проблемы?
  18. 18. Проблемы – Данных очень много, 4Тб – Сложные взаимосвязи между справочниками и статистикой пользователей – Длительное время для сборки кубов
  19. 19. Долгое тестирование Целых 2 дня
  20. 20. Автоматизация –Исключить человеческий фактор –Проверка связей между справочниками и фактами –Корректность данных в кубах
  21. 21. 1. Автотесты
  22. 22. Автотесты на кубы
  23. 23. 2 дня 1 день Результат №1 WWW.2GIS.RU
  24. 24. 2 дня Прогон тестов - 4ч Результат №1 WWW.2GIS.RU Подготовка базы – 20ч
  25. 25. 2. Нужно уметь создавать срез хранилища
  26. 26. Подготовка тестовой среды 1. Резвёртывание тестовых БД (MSSQL, OLAP) 2. Копирование таблиц 3. Обработка кубов 10WWW.2GIS.RU
  27. 27. ToolStick WWW.2GIS.RU
  28. 28. WWW.2GIS.RU Один конфиг на сборку куба
  29. 29. WWW.2GIS.RU Несколько конфигов на каждый куб
  30. 30. WWW.2GIS.RU Общий конфиг для всех кубов
  31. 31. Результат №2 WWW.2GIS.RU 1 день 1 час
  32. 32. БОНУС Автоматизация пакетов интеграции
  33. 33. Другие возможности 1. Запуск SQL, PostgreSQL-скриптов 2. Создание связанных серверов 3. Запуск cmd-файлов 4. Работа с rabbit-очередями WWW.2GIS.RU
  34. 34. WWW.2GIS.RU Несколько конфигов на каждый пакет
  35. 35. WWW.2GIS.RU Общий конфиг для всех пакетов
  36. 36. WWW.2GIS.RU Автотесты на пакеты
  37. 37. ИТОГО WWW.2GIS.RU + ToolStick Автотесты
  38. 38. 3. Сontinuous Integration
  39. 39. ToolStick + MSTest = TeamCity
  40. 40. Результаты выполнения теста WWW.2GIS.RU
  41. 41. Результат №3 WWW.2GIS.RU 1 час 0 мин
  42. 42. WWW.2GIS.RU Покрытие 42%
  43. 43. Заключение Big Data тоже можно тестировать быстро: – Использование фреймворков (ToolStick) – Автотесты – CI WWW.2GIS.RU
  44. 44. WWW.2GIS.RU https://github.com/2gis/ToolStick
  45. 45. Вопросы? Станислав Буткеев s.butkeev@2gis.ru

×