Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ORACLE
PRODUCT
LOGO

Application Quality Management
Обзор средств Тестирования
Борис Пищик – Консультант, Oracle CIS
1

Co...
Подход Oracle к Тестированию

Middleware
RDBMS
O/S, Hardware

Application Replay
Infrastructure
Infrastructure
Testing too...
Application Testing Suite
3

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Application Testing Suite
Интегрированное решение для «синтетического» тестирования

Oracle Functional Testing

Ora...
Oracle Test Manager
Структурированное, открытое и наглядное управление тестированием.
Основные преимущества
• Интегрирован...
Oracle Functional Testing
Простое в освоении средство функционального тестирования
Преимущества:
• Простота создания тесто...
Oracle OpenScript – создание скриптов

7

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Load Testing

Автоматизация нагрузочного тестирования

Преимущества
• Эмуляция нагрузки с помощью
«виртуальных поль...
Качественные скрипты за короткое время
Акселераторы

Сокращают время создания скриптов

9

Copyright © 2011, Oracle and/or...
Готовые наборы скриптов для тестирования

10

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Application Testing Suite 12.3 - NEW

• Обеспечивает
•
•
•
•

•

Functional/Regression testing
Load/Performance tes...
Oracle Flow Builder (для EBS)
• Возможность ручного создания скриптов из готовых компонентов
– Библиотека из 3000 компонен...
Oracle EBS QA
•

Команда Oracle EBS QA одна из крупнейших в индустрии разработки ПО

•

Использует Application Testing Sui...
Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware

Application Replay
Infrastructure
Infrastructure
...
Средства тестирования под реальной нагрузкой
Application Replay
Изменения логики приложения

Client

Изменения инфраструкт...
Real Application Testing
16

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Real Application Testing (RAT)
Решение для высококачественного тестирования на уровне БД

• Состав продукта:
• Database Re...
Database Replay – процесс тестирования
1

Захват

2

Воспроизведение

3
• Захват Нагрузки в Рабочей системе
Анализ и Настр...
19

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
20

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
RAT Consolidated Replay - NEW
Одновременное воспроизведение нагрузок, записанных на разных БД

ERP

Container Database

CR...
RAT Workload Scale Up - NEW
SALES

HR

ERP

CRM

• Искусственное масштабирование нагрузки для планирования консолидации
• ...
SQL Performance Analyzer (SPA)
Детальный анализ влияния изменений на SQL–запросы
•
•
•
•

•

Детальный анализ по каждому S...
SPA: Типичные области применения
• Обновление ПО СУБД, установка patch-set
– 9.2/10.1 10.2 , 11g, 12c
– 11.2.0.3 11.2.0....
SPA Отчеты

3
2
5
1
4

26

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware

Application Replay
Infrastructure
Infrastructure
...
Application Replay
28

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Application Replay
Захват реальной нагрузки на уровне приложения
• Захват нагрузки приложения (http запросы)
на рабочей си...
Application Replay - Анализ и Отчёты 1
• Итоговый отчёт
– Расхождения при воспроизведении
– Средняя скорость загрузки стра...
Application Replay - Анализ и отчёты 2
• Анализ страниц
– Метрики

31

Copyright © 2011, Oracle and/or its affiliates. All...
Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware

Application Replay
Infrastructure
Infrastructure
...
Test Data Management
33

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

Insert Information Protecti...
Управление тестовыми данными
Решения

Выявление
секретных
данных

Маскирование
данных

Урезание
Данных

Модель данных

Под...
Data Subsetting – «урезание» данных
Создание подмножества данных в тестовых БД
Export =
Production

Import

Запись подмнож...
Data Masking Pack
Безопасное развёртывание тестовых БД
Production БД

Тестовая БД

SSN

SALARY

LAST_NAME

SSN

AGUILAR

2...
Маскирование данных на стороне источника
Максимальное соответствие PCI DSS

Database 12c

Database 11g
Рабочая

Тестовая

...
Платформа Oracle Testing-as-a-Service - NEW
Тестирование, как сервис в облаке

• Scripts
• Environments

Test Library
Test...
Oracle Application Quality Management
Управление качеством приложений

Oracle
Oracle Test
Application Functional
Testing
M...
Полезные ссылки
• http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html
• http://www.oracle.com/technetwork/oe...
41

Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

Insert Information Protection Policy Classificat...
Upcoming SlideShare
Loading in …5
×

«Oracle Application Quality Management: Средства тестирования и управления тестовыми данными» — Datamasking/RATOracle testing tools_overview

808 views

Published on

Published in: Technology
  • Be the first to comment

«Oracle Application Quality Management: Средства тестирования и управления тестовыми данными» — Datamasking/RATOracle testing tools_overview

  1. 1. ORACLE PRODUCT LOGO Application Quality Management Обзор средств Тестирования Борис Пищик – Консультант, Oracle CIS 1 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Email: boris.pischik@oracle.com Insert Information Protection Policy Classification from Slide 8
  2. 2. Подход Oracle к Тестированию Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка Application Changes – «синтетическая» нагрузка • Тестирование приложений под реальной и синтетической нагрузкой • Охват всех уровней технологического стека при тестировании 2 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  3. 3. Application Testing Suite 3 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  4. 4. Oracle Application Testing Suite Интегрированное решение для «синтетического» тестирования Oracle Functional Testing Oracle Test Manager 4 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Oracle Load Testing
  5. 5. Oracle Test Manager Структурированное, открытое и наглядное управление тестированием. Основные преимущества • Интегрированная среда для полного контроля над процессом тестирования • Web-интерфейс • Планы/Требования/Тесты/Проблемы • Запуск тестов • Контроль доступа – разные роли • Визуализация статуса тестирования • Графические отчеты 5 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  6. 6. Oracle Functional Testing Простое в освоении средство функционального тестирования Преимущества: • Простота создания тестовых сценариев • Возможность «кастомизации» скриптов тестирования • Различный уровень детализации: – Визуальный (GUI) – Опытный пользователь (JAVA code UI) • Полный контроль над тестовым сценарием (возможность добавления проверок и т.д.) • Удобная среда пользователя • Параметризация и корреляция 6 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  7. 7. Oracle OpenScript – создание скриптов 7 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  8. 8. Oracle Load Testing Автоматизация нагрузочного тестирования Преимущества • Эмуляция нагрузки с помощью «виртуальных пользователей» • Отчеты, помогающие определить предел нагрузки на приложение • Интегрирован с Enterprise Manager • Планирование аппаратных ресурсов • Автоматический запуск и останов теста • Статистика производительности инфраструктурных компонентов 8 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  9. 9. Качественные скрипты за короткое время Акселераторы Сокращают время создания скриптов 9 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  10. 10. Готовые наборы скриптов для тестирования 10 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  11. 11. Oracle Application Testing Suite 12.3 - NEW • Обеспечивает • • • • • Functional/Regression testing Load/Performance testing Test Management Web, Siebel, EBS/Forms, ADF, JD Edwards E1, Adobe ® Flex, Database & WebServices, Hyperion, PeopleSoft, JD Edwards Functional - НОВЫЕ Сокращает время на создание тестовых скриптов на ~50% 11 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. • Мультиплатформенность Windows/Linux • Серверные компоненты Test Manager и Load Testing могут работать под Linux • Hardware estimation • Автоматическая оценка мощности аппаратной платформы для сценариев нагрузочного/стресс тестирования • Улучшенные библиотеки корреляции. Поддержка Chrome
  12. 12. Oracle Flow Builder (для EBS) • Возможность ручного создания скриптов из готовых компонентов – Библиотека из 3000 компонентов и 200 «потоков» – Будут поставляться ”Advanced packs” с дополнительными потоками и компонентами (ожидается в 2014 г.) 12 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  13. 13. Oracle EBS QA • Команда Oracle EBS QA одна из крупнейших в индустрии разработки ПО • Использует Application Testing Suite как стандартную платформу для тестирования • Библиотека из более 41200 тестовых скриптов • 6280 часов (261 дней) автоматизированного тестирования 13 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  14. 14. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 14 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка
  15. 15. Средства тестирования под реальной нагрузкой Application Replay Изменения логики приложения Client Изменения инфраструктуры Middle Tier Client … Client Middle Tier Real Application Testing Обновление БД, Патчи Схема, Параметры RAC узлы, Миграция Обновления OS и Hardware CPU, RAM, Storage и т.д. 15 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Storage Запись запросов от внешних клиентов
  16. 16. Real Application Testing 16 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  17. 17. Real Application Testing (RAT) Решение для высококачественного тестирования на уровне БД • Состав продукта: • Database Replay захват/воспроизведение нагрузки на БД Deploy Test • SQL Performance Analyzer (SPA) анализ производительности SQLзапросов 17 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Change Remediate
  18. 18. Database Replay – процесс тестирования 1 Захват 2 Воспроизведение 3 • Захват Нагрузки в Рабочей системе Анализ и Настройка – Полный захват реальной нагрузки с сохранением всех характеристик: временные интервалы, порядок транзакций и т.д., запись в файлы – Перенос файлов нагрузки в тестовую среду и обработка • Воспроизведение Нагрузки в Тестовой среде – Применение планируемых изменений в тестовой среде – Полноценное воспроизведение нагрузки • Анализ & Отчетность – Сравнительные отчеты: Захват vs. Воспроизведение – Диагностические отчеты AWR, ASH,ADDM 18 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Analysis & Reporting
  19. 19. 19 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  20. 20. 20 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  21. 21. RAT Consolidated Replay - NEW Одновременное воспроизведение нагрузок, записанных на разных БД ERP Container Database CRM ERP DW 21 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. CRM DW
  22. 22. RAT Workload Scale Up - NEW SALES HR ERP CRM • Искусственное масштабирование нагрузки для планирования консолидации • Time Shifting - Совмещение «пиковых» периодов из разных нагрузок • Workload Folding - Вырезание и совмещение временных интервалов из одной нагрузки • Schema Remapping - Одновременное воспроизведение одной нагрузки в разных схемах 22 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  23. 23. SQL Performance Analyzer (SPA) Детальный анализ влияния изменений на SQL–запросы • • • • • Детальный анализ по каждому SQLзапросу Интеграция с STS, SQL Plan Baselines, SQL Tuning Advisor Детальный отчет о расхождениях – выполнение «До» и «После» Сравнение результатов производительности конкретных SQLзапросов Минимальное влияние на производительность рабочей системы при захвате SQL в SQL Tuning Set (STS) 24 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. SQL Workload STS SQL plans + stats Pre-change Trial Compare SQL Performance Analysis Report SQL plans + stats Post-change Trial
  24. 24. SPA: Типичные области применения • Обновление ПО СУБД, установка patch-set – 9.2/10.1 10.2 , 11g, 12c – 11.2.0.3 11.2.0.4 • Обновление статистики оптимизатора запросов • Изменение параметров экземпляра БД • Изменения схемы БД (добавление/удаление индексов) • Применение рекомендаций по настройке • Изменения на уровне I/O (напр. Переход на ASM, Exadata) SPA может быть использован для:  Любых изменений, влияющих на планы выполнения и производительность SQL  Тестирования как на рабочей так и тестовой БД 25 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. MOS Note: 560977.1
  25. 25. SPA Отчеты 3 2 5 1 4 26 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  26. 26. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 27 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка
  27. 27. Application Replay 28 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
  28. 28. Application Replay Захват реальной нагрузки на уровне приложения • Захват нагрузки приложения (http запросы) на рабочей системе • Использует RUEI для захвата операций пользователей и данных об их производительности Рабочая система Пользователи Тестовая система Агенты воспроизведения • Нулевая дополнительная нагрузка на рабочую систему • Воспроизведение полной нагрузки на тестовой системе • С характеристиками нагрузки рабочей системы • Анализ и Отчёты • Расхождения при воспроизведении: доступ, содержимое, … • Время загрузки страниц, количество просмотров страниц, время размышления 29 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. СХД Захват Insert Information Protection Policy Classification from Slide 8 СХД Проигрывание Анализ & Отчёты
  29. 29. Application Replay - Анализ и Отчёты 1 • Итоговый отчёт – Расхождения при воспроизведении – Средняя скорость загрузки страниц – Страницы, создающие наибольшую нагрузку 30 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  30. 30. Application Replay - Анализ и отчёты 2 • Анализ страниц – Метрики 31 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  31. 31. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 32 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка Insert Information Protection Policy Classification from Slide 8
  32. 32. Test Data Management 33 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  33. 33. Управление тестовыми данными Решения Выявление секретных данных Маскирование данных Урезание Данных Модель данных Подготовка тестовой системы 34 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  34. 34. Data Subsetting – «урезание» данных Создание подмножества данных в тестовых БД Export = Production Import Запись подмножества данных через DataPump Test Datapump Export file Удаление данных «на месте» Клонирование Production Test Database size Subset size Time* Data Pump method 200G (20%) 1 hour 8 minutes Clone and delete 35 1 Terabyte 1 Terabyte 200G (20%) 5 hours 49 minutes Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
  35. 35. Data Masking Pack Безопасное развёртывание тестовых БД Production БД Тестовая БД SSN SALARY LAST_NAME SSN AGUILAR 203-33-3234 40,000 HODGES 111—23-1111 60,000 BENSON 323-22-2943 60,000 JOHNSON 222-34-1345 40,000 LAST_NAME • Безопасное развёртывание тестовой системы с помощью маскирования конфиденциальной информации • Расширяемая библиотека шаблонов маскирования 36 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8 SALARY
  36. 36. Маскирование данных на стороне источника Максимальное соответствие PCI DSS Database 12c Database 11g Рабочая Тестовая Рабочая Тестовая Замаскированный Data Pump файл 0100101100101010010010010010010010010010010010001 0010101001001001001110010010010010010010000100100 1011100100101010010010101010011010100101010010 Клонирование и Маскирование Рабочие данные копируются на тестовую систему и затем маскируются. Конфиденциальные данные уязвимы, пока не будут не замаскированы. 37 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. 010010110010101001001001001001001001001001001000 100101010010010010011100100100100100100100001001 001011100100101010010010101010011010100101010010 Маскирование на стороне источника Конфиденциальные данные маскируются на стороне источника прежде, чем они покинут рабочую базу данных. Insert Information Protection Policy Classification from Slide 8
  37. 37. Платформа Oracle Testing-as-a-Service - NEW Тестирование, как сервис в облаке • Scripts • Environments Test Library Test Engineers http(s) Test Lab Provisioning • Load Test • Functional Test • Test Drivers • Test Assets • Test Application Test Execution Самообслуживание Управление ресурсами в облаке Test Admin, Test Designer & Managers 38 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Облачная инфраструктура Monitoring & Chargeback •Monitoring •Resource Metering •Rule-based Chargeback
  38. 38. Oracle Application Quality Management Управление качеством приложений Oracle Oracle Test Application Functional Testing Manager Тестирование Приложений Oracle Load Testing Testing Suite Тестирование Инфраструктуры SQL Performance Analyzer Database Replay Application Replay Управление тестовыми данными и средами Data Masking Data Discovery and Modeling Data Sub setting Облачная платформа для тестирования Синтетическая нагрузка 39 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Testing-as-a-Service Реальная нагрузка Тестовые данные
  39. 39. Полезные ссылки • http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html • http://www.oracle.com/technetwork/oem/app-test/index.html • http://www.oracle.com/technetwork/oem/pdf/511889.pdf • http://www.oracle.com/technetwork/oem/pdf/511891.pdf • http://www.oracle.com/technetwork/oem/pdf/511875.pdf 40 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. 40
  40. 40. 41 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8

×