SlideShare a Scribd company logo
1 of 11
Oracle based testing
Тестирование основанное
на знаниях Оракула
Сергей Талалаев
Exigen Services
Аннотация


•   Терминология и проблематика
•   Постановка задачи (собственный опыт)
•   Вариант решения
•   Признаки подходящих проектов
Общая терминология и проблематика
Общая терминология и проблематика
Общая терминология и проблематика


 Корректный вопрос                   Правильный ответ

  Насколько внесенные                Улучшились на 5.2% по
  изменения улучшили                  сравнению с базовой
     аэродинамику?                         моделью

  Насколько уменьшится
                                      Увеличится на 9.3% по
 время замены двигателя
                                    сравнению с Boeing 787-A
    для Boeing 787-B?

Насколько индивидуальная
 Каков будет максимально
                                    Кофейная гуща, гадальные
быстрый кругшасси для на
   настройка у Феттеля
                                             На 1.2%
 Монако сократит среднее              кости, свечи и т.д. 
    гран при Монако?
       время круга?
Собственный опыт: система страхования

Бизнес-анализ
Постановка задачи (собственный опыт)

• Система страхования: разработка
Постановка задачи (собственный опыт)

• Система страхование: тестирование
Инструментарий




•    Именованные диапазоны (names)
•    Проверка данных (data validation)
•    Выборка по ключу (vlookup)
•    Условное форматирование (conditional formatting)
Счастливый итог
Признаки проектов готовых к
“Оракулизму”




• Сложные расчеты/логика погруженные в недра
  приложения
• Миграция с одной системы на другую
• Избыточные калькулируемые данные (БД)

More Related Content

Similar to Oracle-based тестирование. теория и практика

доклад на SQADays 2011 в Казани
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казаниmargo-qa
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестированияIT61
 
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Alexandra Varfolomeeva
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахSQALab
 
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...yaevents
 
Developing Resilient Cloud Architecture
Developing Resilient Cloud ArchitectureDeveloping Resilient Cloud Architecture
Developing Resilient Cloud ArchitectureAnton Vidishchev
 
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...GTestClub
 
Tq Metric Compared Sep2009
Tq Metric Compared Sep2009Tq Metric Compared Sep2009
Tq Metric Compared Sep2009Denis Khamin
 
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)Evgeny Kaziak
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance managementSQALab
 
Слайдкаст. Stratoplan Kharkov. Методологический паззл.
Слайдкаст. Stratoplan Kharkov. Методологический паззл.Слайдкаст. Stratoplan Kharkov. Методологический паззл.
Слайдкаст. Stratoplan Kharkov. Методологический паззл.Sergiy Povolyashko
 
20111002 information retrieval raskovalov_lecture3
20111002 information retrieval raskovalov_lecture320111002 information retrieval raskovalov_lecture3
20111002 information retrieval raskovalov_lecture3Computer Science Club
 
Adding Agility in Testing - Katya Kameneva
Adding Agility in Testing - Katya KamenevaAdding Agility in Testing - Katya Kameneva
Adding Agility in Testing - Katya KamenevaArtem Serdyuk
 
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...Nikita Nalyutin
 
Послание аналитиков тестировщикам
Послание аналитиков тестировщикамПослание аналитиков тестировщикам
Послание аналитиков тестировщикамSQALab
 
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной командыМаргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной командыSQALab
 
Денис Бесков -- Послание аналитиков тестировщикам
Денис Бесков -- Послание аналитиков тестировщикамДенис Бесков -- Послание аналитиков тестировщикам
Денис Бесков -- Послание аналитиков тестировщикамsqadays8
 
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0AlexeyParhomenko
 
Взаимодействие аналитиков и тестировщиков
Взаимодействие аналитиков и тестировщиковВзаимодействие аналитиков и тестировщиков
Взаимодействие аналитиков и тестировщиковDenis Beskov
 

Similar to Oracle-based тестирование. теория и практика (20)

доклад на SQADays 2011 в Казани
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казани
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
 
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
 
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
 
Developing Resilient Cloud Architecture
Developing Resilient Cloud ArchitectureDeveloping Resilient Cloud Architecture
Developing Resilient Cloud Architecture
 
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
 
Tq Metric Compared Sep2009
Tq Metric Compared Sep2009Tq Metric Compared Sep2009
Tq Metric Compared Sep2009
 
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
 
Введение в performance management
Введение в performance managementВведение в performance management
Введение в performance management
 
Слайдкаст. Stratoplan Kharkov. Методологический паззл.
Слайдкаст. Stratoplan Kharkov. Методологический паззл.Слайдкаст. Stratoplan Kharkov. Методологический паззл.
Слайдкаст. Stratoplan Kharkov. Методологический паззл.
 
20111002 information retrieval raskovalov_lecture3
20111002 information retrieval raskovalov_lecture320111002 information retrieval raskovalov_lecture3
20111002 information retrieval raskovalov_lecture3
 
Adding Agility in Testing - Katya Kameneva
Adding Agility in Testing - Katya KamenevaAdding Agility in Testing - Katya Kameneva
Adding Agility in Testing - Katya Kameneva
 
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
 
Послание аналитиков тестировщикам
Послание аналитиков тестировщикамПослание аналитиков тестировщикам
Послание аналитиков тестировщикам
 
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной командыМаргарита Сафарова - Аудит процессов тестирования при смене проектной команды
Маргарита Сафарова - Аудит процессов тестирования при смене проектной команды
 
Денис Бесков -- Послание аналитиков тестировщикам
Денис Бесков -- Послание аналитиков тестировщикамДенис Бесков -- Послание аналитиков тестировщикам
Денис Бесков -- Послание аналитиков тестировщикам
 
10_tips_for_become_qa
10_tips_for_become_qa10_tips_for_become_qa
10_tips_for_become_qa
 
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
 
Взаимодействие аналитиков и тестировщиков
Взаимодействие аналитиков и тестировщиковВзаимодействие аналитиков и тестировщиков
Взаимодействие аналитиков и тестировщиков
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Oracle-based тестирование. теория и практика

  • 1. Oracle based testing Тестирование основанное на знаниях Оракула Сергей Талалаев Exigen Services
  • 2. Аннотация • Терминология и проблематика • Постановка задачи (собственный опыт) • Вариант решения • Признаки подходящих проектов
  • 3. Общая терминология и проблематика
  • 4. Общая терминология и проблематика
  • 5. Общая терминология и проблематика Корректный вопрос Правильный ответ Насколько внесенные Улучшились на 5.2% по изменения улучшили сравнению с базовой аэродинамику? моделью Насколько уменьшится Увеличится на 9.3% по время замены двигателя сравнению с Boeing 787-A для Boeing 787-B? Насколько индивидуальная Каков будет максимально Кофейная гуща, гадальные быстрый кругшасси для на настройка у Феттеля На 1.2% Монако сократит среднее кости, свечи и т.д.  гран при Монако? время круга?
  • 6. Собственный опыт: система страхования Бизнес-анализ
  • 7. Постановка задачи (собственный опыт) • Система страхования: разработка
  • 8. Постановка задачи (собственный опыт) • Система страхование: тестирование
  • 9. Инструментарий • Именованные диапазоны (names) • Проверка данных (data validation) • Выборка по ключу (vlookup) • Условное форматирование (conditional formatting)
  • 11. Признаки проектов готовых к “Оракулизму” • Сложные расчеты/логика погруженные в недра приложения • Миграция с одной системы на другую • Избыточные калькулируемые данные (БД)

Editor's Notes

  1. Мифическое определение ОракулаОра́кул (лат. oraculum, от лат. oro — «говорю, прошу») — наиболее распространённая вантичности форма прорицания, состоявшая в том, что предсказание от имени божества по запросу верующих оглашал специальный жрец, который и именовался оракулом. В современном языке под оракулом понимается человек, все суждения которого признаются непреложной истиной.Итак перефразируя в более прагматичном ключе:Оракул – это механизм, или система позволяющая ответить на вопрос затрачивая при том минимум ресурсов.
  2. Кто лишний на этом слайде?Итак перефразируя в более прагматичном ключе:Оракул – это механизм, или система позволяющая ответить на вопрос затрачивая при том минимум ресурсов.Формула1Изначально “королевский вид спорта” имел такой высокий порог вхождения, что позволить себе участие в чемпионате могли очень немногие команды.Кардинальные изменения начали происходить после изменения тех регламента с одной стороны (как следствие унификация и снижение издержек)изменений в процессах проектирования гоночных болидов (в частности тесты аэродинамики и поведения шасси)БоингВ условиях жесткой конкуренции авиастроительные компании вынуждены постоянно искать методы снижения издержек на этапе проектирования новых самолетов. В том числе на этом этапе закладываются не только сугубо технические требования (вместимость, экономичность, дальность полета ) но и такие казалось бы напрямую не связанные с производством вещи как эффективность последующей эксплуатации.Тесты на доступность узлов сточки зрения ремонта.
  3. В отличие от мифического Оракула мы оперируем в рамках моделей.И как следствие есть некоторые допущения, ограничения для модели.Более прагматическое определение ОракулаЭто система позволяющая получить ответ, затрачивая при этом существенно меньше ресурсов.
  4. Исходная документация – 50 листов для автостраховки одного из штатов (в каждом штате есть отличия)Финальная документация в виде пригодном для скрптования правил – 18 листов Excel и 43 таблицы в них
  5. Проблема – огромное количество вариантов для регрессии, которые хотелось бы иметь не в статическом (предварительно просчитанном виде), а гибко менять в рамках заданного диапазона.Пример: Необходимо проверить правильно ли система вычисляет стоимость страховки по определённому виду страхового полиса (Авто полис). В отличие от простейшей системы страхования автогражданки принятой на постсоветском пространстве (тип транспортного ср-ва, опыт вождения предыдущие страховки) в США например для расчета аналогичного полиса используется порядка 40 входных параметров.Вариант 1:Мы предварительно готовим расчетные данные по критичным типовым вариантам (условия => цифра)В ходе тестирования необходимо только ввести данные согласно таблицы и сверить полученный результат“+”: быстро, легко проверяется, легко программируется“-”: мы покрываем малую часть функционала и предполагаем что все наборы из заданных диапазонов работают такжеВариант 2:Для каждого прогона теста мы согласно правилам рассчитываем стоимость страховки В ходе тестирования вводим данные использованные для расчета и сверяем полученный результат с расчетной стоимостью из первого шага“+”: гибко“-”: мы все-таки работаем в рамках модели и долдны понимать что неизбежны погрешности
  6. Скрепки, катушка ниток и пластилин ... Можно ли имея в наличиии только это построить космический корабль? У нас в руках гораздо больше:Excel с подготовленными данными Пытливый ум вооруженный необходимыми знаниями И программисткая лень не позволяющая скатиться до банального пересчета согласно документации и последующей сверки с данными в приложении
  7. Использование чистого калькулятора без UIДанные полученные из старой системы должны до точки совпадать с данными в новой Есть возможность самотестирования целостности данных