Oracle Based Testing

Return on Intelligence
Return on IntelligenceReturn on Intelligence
Oracle based testing
Тестирование основанное
на знаниях Оракула
Сергей Талалаев
Exigen Services
Аннотация


•   Терминология и проблематика
•   Постановка задачи (собственный опыт)
•   Вариант решения. Теория
•   Вариант решения. Практика
•   Признаки подходящих проектов
Общая терминология и проблематика
Общая терминология и проблематика
Общая терминология и проблематика


 Корректный вопрос                   Правильный ответ

  Насколько внесенные                Улучшились на 5.2% по
  изменения улучшили                  сравнению с базовой
     аэродинамику?                         моделью

  Насколько уменьшится
                                      Увеличится на 9.3% по
 время замены двигателя
                                    сравнению с Boeing 787-A
    для Boeing 787-B?

Насколько индивидуальная
 Каков будет максимально
                                    Кофейная гуща, гадальные
быстрый кругшасси для на
   настройка у Феттеля
                                             На 1.2%
 Монако сократит среднее              кости, свечи и т.д. 
    гран при Монако?
       время круга?
Собственный опыт: система страхования

Бизнес-анализ
Постановка задачи (собственный опыт)

• Система страхования: разработка
Постановка задачи (собственный опыт)

• Система страхование: тестирование
Инструментарий




•    Именованные диапазоны (names)
•    Проверка данных (data validation)
•    Выборка по ключу (vlookup)
•    Условное форматирование (conditional formatting)
Признаки проектов готовых к
“Оракулизму”




•   Сложная расчетная логика погруженная в недра UI
•   Реализация какой-либо физической модели
•   Миграция с одной системы на другую
•   Избыточные калькулируемые данные (БД)
1 of 10

Recommended

Oracle-based тестирование. теория и практика by
Oracle-based тестирование. теория и практикаOracle-based тестирование. теория и практика
Oracle-based тестирование. теория и практикаSQALab
779 views11 slides
Внедрение автоматизации тестирования на Сервисной Шине by
Внедрение автоматизации тестирования на Сервисной ШинеВнедрение автоматизации тестирования на Сервисной Шине
Внедрение автоматизации тестирования на Сервисной ШинеSQALab
548 views35 slides
Тестирование Нейронных сетей by
Тестирование Нейронных сетейТестирование Нейронных сетей
Тестирование Нейронных сетейSQALab
2.9K views56 slides
Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса by
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаАндрей Похилько — Нагрузочное тестирование типичного интернет сервиса
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаYandex
3.5K views49 slides
Нагрузочное тестирование web-приложений с помощью Load Runner by
Нагрузочное тестирование web-приложений с помощью Load RunnerНагрузочное тестирование web-приложений с помощью Load Runner
Нагрузочное тестирование web-приложений с помощью Load RunnerSQALab
2.2K views24 slides
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения by
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения Iosif Itkin
484 views29 slides

More Related Content

What's hot

Автоматизация построения правил для Approof by
Автоматизация построения правил для ApproofАвтоматизация построения правил для Approof
Автоматизация построения правил для ApproofPositive Development User Group
1.8K views24 slides
Формальная верификация кода на языке Си by
Формальная верификация кода на языке СиФормальная верификация кода на языке Си
Формальная верификация кода на языке СиPositive Hack Days
1.1K views90 slides
Выявление неполадок в Java приложениях by
Выявление неполадок в Java приложенияхВыявление неполадок в Java приложениях
Выявление неполадок в Java приложенияхPavel Grushetzky
621 views35 slides
20121028 seminar msr_scheduling_michail_rybalkin by
20121028 seminar msr_scheduling_michail_rybalkin20121028 seminar msr_scheduling_michail_rybalkin
20121028 seminar msr_scheduling_michail_rybalkinComputer Science Club
382 views18 slides
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр... by
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...ScrumTrek
392 views34 slides
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ... by
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...Fwdays
6.2K views56 slides

What's hot(6)

Формальная верификация кода на языке Си by Positive Hack Days
Формальная верификация кода на языке СиФормальная верификация кода на языке Си
Формальная верификация кода на языке Си
Positive Hack Days1.1K views
Выявление неполадок в Java приложениях by Pavel Grushetzky
Выявление неполадок в Java приложенияхВыявление неполадок в Java приложениях
Выявление неполадок в Java приложениях
Pavel Grushetzky621 views
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр... by ScrumTrek
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...
Кирилл Черятов. Эволюция системы логирования интеграционного ПО. Сокращаем вр...
ScrumTrek392 views
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ... by Fwdays
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...
Олег Миколайченко "Как перестать хранить секреты в git и начать использовать ...
Fwdays6.2K views

Viewers also liked

Dentina en temporales 4 by
Dentina en temporales 4Dentina en temporales 4
Dentina en temporales 4pat apa
171 views4 slides
JIRA ServiceDesk und seine Stolpersteine bei der Einführung by
JIRA ServiceDesk und seine Stolpersteine bei der EinführungJIRA ServiceDesk und seine Stolpersteine bei der Einführung
JIRA ServiceDesk und seine Stolpersteine bei der EinführungOliver Sträßer
930 views29 slides
MENGELOLA SISWA by
MENGELOLA SISWAMENGELOLA SISWA
MENGELOLA SISWADaud Muhamad
134 views9 slides
INTEGRAL HEALTH CENTER - SOLVING THE EQUATION OF CANCER (A1) (2) by
INTEGRAL HEALTH CENTER - SOLVING THE EQUATION OF CANCER (A1) (2)INTEGRAL HEALTH CENTER - SOLVING THE EQUATION OF CANCER (A1) (2)
INTEGRAL HEALTH CENTER - SOLVING THE EQUATION OF CANCER (A1) (2)Michael Clarjen-Arconada
56 views3 slides
BO2K Byline by
BO2K BylineBO2K Byline
BO2K BylineCondition Zebra (CONZebra)
188 views3 slides
C 14-dce-102-engg maths-1 by
C 14-dce-102-engg maths-1C 14-dce-102-engg maths-1
C 14-dce-102-engg maths-1Srinivasa Rao
292 views4 slides

Similar to Oracle Based Testing

Модели в профессиональной инженерии и тестировании программ. Александр Петрен... by
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...yaevents
1.9K views38 slides
Developing Resilient Cloud Architecture by
Developing Resilient Cloud ArchitectureDeveloping Resilient Cloud Architecture
Developing Resilient Cloud ArchitectureAnton Vidishchev
563 views43 slides
Организация процесса ручного тестирования by
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестированияIT61
1.4K views19 slides
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34 by
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Alexandra Varfolomeeva
1.5K views20 slides
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон... by
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...GTestClub
725 views33 slides
доклад на SQADays 2011 в Казани by
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казаниmargo-qa
720 views28 slides

Similar to Oracle Based Testing(20)

Модели в профессиональной инженерии и тестировании программ. Александр Петрен... by yaevents
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
yaevents1.9K views
Developing Resilient Cloud Architecture by Anton Vidishchev
Developing Resilient Cloud ArchitectureDeveloping Resilient Cloud Architecture
Developing Resilient Cloud Architecture
Anton Vidishchev563 views
Организация процесса ручного тестирования by IT61
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
IT611.4K views
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34 by Alexandra Varfolomeeva
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Создание стратегии тестирования на основе анализа ТЗ по ГОСТ 19/34
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон... by GTestClub
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
GTestClub725 views
доклад на SQADays 2011 в Казани by margo-qa
доклад на SQADays  2011 в Казанидоклад на SQADays  2011 в Казани
доклад на SQADays 2011 в Казани
margo-qa720 views
Введение в performance management by SQALab
Введение в performance managementВведение в performance management
Введение в performance management
SQALab2K views
Adding Agility in Testing - Katya Kameneva by Artem Serdyuk
Adding Agility in Testing - Katya KamenevaAdding Agility in Testing - Katya Kameneva
Adding Agility in Testing - Katya Kameneva
Artem Serdyuk411 views
Метрики автоматизированного тестирования на пальцах by SQALab
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
SQALab8.7K views
Послание аналитиков тестировщикам by SQALab
Послание аналитиков тестировщикамПослание аналитиков тестировщикам
Послание аналитиков тестировщикам
SQALab671 views
[JAM 1.1] Testing not for Fun (Evgeny Kaziak) by Evgeny Kaziak
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
[JAM 1.1] Testing not for Fun (Evgeny Kaziak)
Evgeny Kaziak397 views
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0 by AlexeyParhomenko
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
Рефакторинг и второе рождение проекта на примере Zend Framework 2.0
AlexeyParhomenko2K views
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн... by Nikita Nalyutin
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Test Labs 2009. Налютин Никита. Тестирование, как средство противодействия вн...
Nikita Nalyutin703 views
Взаимодействие аналитиков и тестировщиков by Denis Beskov
Взаимодействие аналитиков и тестировщиковВзаимодействие аналитиков и тестировщиков
Взаимодействие аналитиков и тестировщиков
Denis Beskov9.9K views
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction by Alexei Lupan
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionSqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Alexei Lupan495 views
А вы знаете что тестируют ваши тесты? by SQALab
А вы знаете что тестируют ваши тесты?А вы знаете что тестируют ваши тесты?
А вы знаете что тестируют ваши тесты?
SQALab502 views

More from Return on Intelligence

Profsoux2014 presentation by Pavelchuk by
Profsoux2014 presentation by PavelchukProfsoux2014 presentation by Pavelchuk
Profsoux2014 presentation by PavelchukReturn on Intelligence
780 views21 slides
Agile Project Grows by
Agile Project GrowsAgile Project Grows
Agile Project GrowsReturn on Intelligence
884 views27 slides
Types of testing and their classification by
Types of testing and their classificationTypes of testing and their classification
Types of testing and their classificationReturn on Intelligence
12.8K views42 slides
Time Management by
Time ManagementTime Management
Time ManagementReturn on Intelligence
954 views37 slides
Service design principles and patterns by
Service design principles and patternsService design principles and patterns
Service design principles and patternsReturn on Intelligence
4.2K views56 slides
Differences between Testing in Waterfall and Agile by
Differences between Testing in Waterfall and AgileDifferences between Testing in Waterfall and Agile
Differences between Testing in Waterfall and AgileReturn on Intelligence
30.4K views21 slides

More from Return on Intelligence(20)

Организация внутренней системы обучения by Return on Intelligence
Организация внутренней системы обученияОрганизация внутренней системы обучения
Организация внутренней системы обучения
Оценка задач выполняемых по итеративной разработке by Return on Intelligence
Оценка задач выполняемых по итеративной разработкеОценка задач выполняемых по итеративной разработке
Оценка задач выполняемых по итеративной разработке

Oracle Based Testing

  • 1. Oracle based testing Тестирование основанное на знаниях Оракула Сергей Талалаев Exigen Services
  • 2. Аннотация • Терминология и проблематика • Постановка задачи (собственный опыт) • Вариант решения. Теория • Вариант решения. Практика • Признаки подходящих проектов
  • 3. Общая терминология и проблематика
  • 4. Общая терминология и проблематика
  • 5. Общая терминология и проблематика Корректный вопрос Правильный ответ Насколько внесенные Улучшились на 5.2% по изменения улучшили сравнению с базовой аэродинамику? моделью Насколько уменьшится Увеличится на 9.3% по время замены двигателя сравнению с Boeing 787-A для Boeing 787-B? Насколько индивидуальная Каков будет максимально Кофейная гуща, гадальные быстрый кругшасси для на настройка у Феттеля На 1.2% Монако сократит среднее кости, свечи и т.д.  гран при Монако? время круга?
  • 6. Собственный опыт: система страхования Бизнес-анализ
  • 7. Постановка задачи (собственный опыт) • Система страхования: разработка
  • 8. Постановка задачи (собственный опыт) • Система страхование: тестирование
  • 9. Инструментарий • Именованные диапазоны (names) • Проверка данных (data validation) • Выборка по ключу (vlookup) • Условное форматирование (conditional formatting)
  • 10. Признаки проектов готовых к “Оракулизму” • Сложная расчетная логика погруженная в недра UI • Реализация какой-либо физической модели • Миграция с одной системы на другую • Избыточные калькулируемые данные (БД)

Editor's Notes

  1. Мифическое определение ОракулаОра́кул (лат. oraculum, от лат. oro — «говорю, прошу») — наиболее распространённая вантичности форма прорицания, состоявшая в том, что предсказание от имени божества по запросу верующих оглашал специальный жрец, который и именовался оракулом. В современном языке под оракулом понимается человек, все суждения которого признаются непреложной истиной.
  2. Кто лишний на этом слайде?Формула1Изначально “королевский вид спорта” имел такой высокий порог вхождения, что позволить себе участие в чемпионате могли очень немногие команды.Кардинальные изменения начали происходить после изменения тех регламента с одной стороны (как следствие унификация и снижение издержек)изменений в процессах проектирования гоночных болидов (в частности тесты аэродинамики и поведения шасси)БоингВ условиях жесткой конкуренции авиастроительные компании вынуждены постоянно искать методы снижения издержек на этапе проектирования новых самолетов. В том числе на этом этапе закладываются не только сугубо технические требования (вместимость, экономичность, дальность полета ) но и такие казалось бы напрямую не связанные с производством вещи как эффективность последующей эксплуатации.Тесты на доступность узлов сточки зрения ремонта.
  3. В отличие от мифического Оракула мы оперируем в рамках моделей.И как следствие есть некоторые допущения, ограничения для модели.Более прагматическое определение ОракулаЭто система позволяющая получить ответ, затрачивая при этом существенно меньше ресурсов.
  4. Исходная документация – 50 листов для автостраховки одного из штатов (в каждом штате есть отличия)Финальная документация в виде пригодном для скрптования правил – 18 листов Excel и 43 таблицы в них
  5. Проблема – огромное количество вариантов для регрессии, которые хотелось бы иметь не в статическом (предварительно просчитанном виде), а гибко менять в рамках заданного диапазона.Пример: Необходимо проверить правильно ли система вычисляет стоимость страховки по определённому виду страхового полиса (Авто полис). В отличие от простейшей системы страхования автогражданки принятой на постсоветском пространстве (тип транспортного ср-ва, опыт вождения предыдущие страховки) в США например для расчета аналогичного полиса используется порядка 40 входных параметров.Вариант 1:Мы предварительно готовим расчетные данные по критичным типовым вариантам (условия => цифра)В ходе тестирования необходимо только ввести данные согласно таблицы и сверить полученный результат“+”: быстро, легко проверяется, легко программируется“-”: мы покрываем малую часть функционала и предполагаем что все наборы из заданных диапазонов работают такжеВариант 2:Для каждого прогона теста мы согласно правилам рассчитываем стоимость страховки В ходе тестирования вводим данные использованные для расчета и сверяем полученный результат с расчетной стоимостью из первого шага“+”: гибко“-”: мы все-таки работаем в рамках модели и долдны понимать что неизбежны погрешности
  6. Скрепки, катушка ниток и пластилин ... Можно ли имея в наличиии только это построить космический корабль? У нас в руках гораздо больше:Excel с подготовленными данными Пытливый ум вооруженный необходимыми знаниями И программисткая лень не позволяющая скатиться до банального пересчета согласно документации и последующей сверки с данными в приложении
  7. - Использование чистого калькулятора без UI Использование накопленных статистических данных, периодичекие сверки с полноценными экспериментами (“Как я провел этим летом”) Данные полученные из старой системы должны до точки совпадать с данными в новой Есть возможность самотестирования целостности данных