Практика тестирования web
сервисов


Таисия Сибгатуллина
Департамента программных решений
HP
По России и Центральной Европе
Taisiya.sibgatullina@hp.com
1
Карта решений HP Software Apps 2012


                 Управление Жизненным Циклом Приложений


                                                             Управление
    Управление        Управление           Управление
                                                            тестирование       DevOps
     релизами        требованиями          разработкой            м



                                            Эффективность              Тестирование
                                             тестирования          мобильных приложений



                                                Автоматизация             Проверка
                  Web service management
                                                 тестирования        производительности



                                                                            Нагрузочное
                                                                           тестирование


2
Продуктовая линейка 11.5

                 ALM Essentials
                 Управление Жизненным Циклом Приложений
                                 ALM 11.5
                                   ALM


                                                              Управление
    Управление       Управление             Управление                           PC
                 ALMтребованиями              ALI 2.5
                                                ALI          тестирование
                                                                 QC           DevOps
     релизами                               разработкой            м          Lab Mgmt


                                            BPT, Turnkey,
                                            Эффективность             ZAP, Perfecto,
                                                                        Тестирование
                                             тестирования
                                               Sprinter             мобильныхRunner
                                                                       Load приложений

                          Systinet                      UFT
                                                 Автоматизация              Проверка
                  Web service management
                            UFT                       Service           Load Runner
                                                                           LR 11.5
                                                  тестирования        производительности
                   Service Virtualization          Virtualization

                                                                        Performance
                                                                          Нагрузочное
                                                                            Center
                                                                         тестирование
                                                                           Shunra
3
HP Application Lifecycle Manager
    Решение для управления тестированием и дефектами.
    Позволяет унифицировать процессы тестирования
    изменений в программных продуктах. Поддерживает связь
    со средой разработки, позволяя оперативно и полно
    передать информацию об обнаруженных дефектах ПО.




    HP UFT
    Решение для автоматизированного и регрессивного
    тестирования ПО. Позволит повысить покрытие
    тестированием критических функций приложений, и
    убедиться, что изменения в продукте не привели к потере
    существующего функционала.




    HP LoadRunner
    Решение для автоматизированного нагрузочного
    тестирования – позволяет проверить соответствие
    проектной масштабируемости и мощности развернутых
    приложений.


4
Новые версии
    QC/ALM 11.5                  LR 11.5                         CDA
• Управление тестовыми     • Новый VUGen                 • Непрерывное развѐртывание
  стендами                 • Протоколы для тестирования ПО
• Бизнес ориентированная     мобильных приложений
  система отчѐтности       • Ajax TruClient для Internet
• Интеграция PC-RUM          Explorer (IE 9)
                           • Доработки:
                                 • TruClient for Firefox
                                 • Web Services
                                 • Flex
                           • Добавлена поддержка:
                                 • Web Protocol
                                   Asynchronous
                                 • .NET4 Support
                                 • 64bit Applications
                                 • IPv6




5
HP Sprinter

 Основные плюсы
– Помогает и ускоряет ручные тесты

– Повышает точность тестов

– Повышенная точность описания
  дефектов при передаче в разработку

– Простой в использовании интерфейс

– Поддержка метода свободного поиска


 Основные
 возможности
– Инструментарий для описания и
  создания аннотаций, определения
  позиций объектов

– Запись действий при свободном поиске

– Автоматическая вставка данных

– Зеркальное тестирование

– Заведение дефектов с деталями
 6
   непосредственно в HP QC/ALM
Упростите ручное тестирование

HP Sprinter 11.5:
•   Удобный текстовый редактов
•   Создание тестов из Sprinter
•   Редактирование тестов
•   Создание компонент для BPT




7
Разрешите Sprinter искать
дефекты за вас
–Sprinter Scanners
    − Битые линки
    − Локализация
    − Настраиваемые правила




8
Что мы тестируем?


                   GUI                   Не забываем что скрыто
                                               под водой !

      XML         JSON            BPMS
               Web services
    SOAP
                    WCF           JMS

        Java
                 .Net
                          AquaLogic
       Tibco
                    Fix / Swift
        Trading
                         Logistics
    Rules Engines
                    Reservations
9
Зачем тестировать только сервис?
        Начинаем       • Баг найденные раньше дешевле
                         исправить
     тестировать как   • Короче последняя итеррация
      можно раньше       тестирования



     Возможность для • Сокращается время на тестирование
      автоматизации


      Независимое
      тестирование     • Проще идентифицировать ошибки
       сервисов и
        компонент

       Невозможно
     протестировать    • …нагрузка, безопасность, интеграции
     всѐ через GUI…
10
Что такое web-сервисы
Сообщение SOAP является
обычным XML-документом. Этот
документ состоит из следующих
XML-элементов:


SOAP envelope ("конверт"),
который определяет содержание
послания;
SOAP header ("заголовок", не
обязательный элемент), в нем
содержится заголовочная
информация;
SOAP body ("тело"), в нем
содержится информация вызовов и
ответов на вызовы.



11
Стандартные средства отладки
сервисов
                     Стандартные средства
                     отладки сервисов
                     Для отладки можно
                     использовать программу
                     SoapUI




12
HP Service Test


       Автоматизированное
         функциональное
     тестирование для не-GUI
            компонент

• Визуальный дизайн тестов
• Modular approach to supporting
  service technologies
• Интеграция с QTP для возможности
  создания многоуровневых тестов
• Интеграция с HP Quality Center
  централзация хранения тестов,
  результатов тестов, трасебилити с
  требованиями




13
HP Service Test 11.0




         Делаем       Интеграция с        Поддержка
      тестирование    HP Software         технологий
     сервисов проще
                                     • HTML, WSDL, REST, JMS,
                                       Java, WS-Security, and
                                       more OOBox
                                     • Возможность добавлять
                                       обработку на .NET, C#
                                       and auto-completion




14
HP Service Test visual test designer




15
Cвойства объекта

     Набор готовых методов        Визуальное
                                создание тестов




                   Управление тестовыми
                    данными: Excel, база
                       данных, файл




16
Configuring security




Простая
конфигурация
безопасности для
наиболее
распространенных
стандартов, включая
WS-Security и WCF
сценарии
 17
Приложенные файлы




Можно добавить
файл или
проверить что в
ответе пришѐл
файл
 18
Создание пользовательских событий




                            Выбираем из
                            листа событий
                            и создаѐм
                            сообственную
                            обработку
                            события
19
Обработка пользовательских событий




                           Автоподстановка


20
Data driving тестирование   Параметризация
                            соообщений и
                            сравнение
                            результатов с
                            готовыми
                            таблицами




21
Интеграция с QuickTest Professional:
HP Unified Functional Testing




22
http://www.morpher.ru/WebServices/Morpher.asmx?WSDL




23
24
user
     user




25
26
27
28
29
30
31
32
33
34
35
ROI




36
Простые вещи


     Делай только то что надо сейчас
      Делай то, что действительно
                 важно
     Разбивай задачи на атомарные

       Делай работу над ошибками
37
Дополнительная информация
                       Скачайте



                       Инфозона HP ALM

                       Статьи о продуктах
                       Видеоролики
                       Аналитика




                 http://www.osp.ru/resources/izones/alm




38

Практика тестирования web сервисов

  • 1.
    Практика тестирования web сервисов ТаисияСибгатуллина Департамента программных решений HP По России и Центральной Европе Taisiya.sibgatullina@hp.com 1
  • 2.
    Карта решений HPSoftware Apps 2012 Управление Жизненным Циклом Приложений Управление Управление Управление Управление тестирование DevOps релизами требованиями разработкой м Эффективность Тестирование тестирования мобильных приложений Автоматизация Проверка Web service management тестирования производительности Нагрузочное тестирование 2
  • 3.
    Продуктовая линейка 11.5 ALM Essentials Управление Жизненным Циклом Приложений ALM 11.5 ALM Управление Управление Управление Управление PC ALMтребованиями ALI 2.5 ALI тестирование QC DevOps релизами разработкой м Lab Mgmt BPT, Turnkey, Эффективность ZAP, Perfecto, Тестирование тестирования Sprinter мобильныхRunner Load приложений Systinet UFT Автоматизация Проверка Web service management UFT Service Load Runner LR 11.5 тестирования производительности Service Virtualization Virtualization Performance Нагрузочное Center тестирование Shunra 3
  • 4.
    HP Application LifecycleManager Решение для управления тестированием и дефектами. Позволяет унифицировать процессы тестирования изменений в программных продуктах. Поддерживает связь со средой разработки, позволяя оперативно и полно передать информацию об обнаруженных дефектах ПО. HP UFT Решение для автоматизированного и регрессивного тестирования ПО. Позволит повысить покрытие тестированием критических функций приложений, и убедиться, что изменения в продукте не привели к потере существующего функционала. HP LoadRunner Решение для автоматизированного нагрузочного тестирования – позволяет проверить соответствие проектной масштабируемости и мощности развернутых приложений. 4
  • 5.
    Новые версии QC/ALM 11.5 LR 11.5 CDA • Управление тестовыми • Новый VUGen • Непрерывное развѐртывание стендами • Протоколы для тестирования ПО • Бизнес ориентированная мобильных приложений система отчѐтности • Ajax TruClient для Internet • Интеграция PC-RUM Explorer (IE 9) • Доработки: • TruClient for Firefox • Web Services • Flex • Добавлена поддержка: • Web Protocol Asynchronous • .NET4 Support • 64bit Applications • IPv6 5
  • 6.
    HP Sprinter Основныеплюсы – Помогает и ускоряет ручные тесты – Повышает точность тестов – Повышенная точность описания дефектов при передаче в разработку – Простой в использовании интерфейс – Поддержка метода свободного поиска Основные возможности – Инструментарий для описания и создания аннотаций, определения позиций объектов – Запись действий при свободном поиске – Автоматическая вставка данных – Зеркальное тестирование – Заведение дефектов с деталями 6 непосредственно в HP QC/ALM
  • 7.
    Упростите ручное тестирование HPSprinter 11.5: • Удобный текстовый редактов • Создание тестов из Sprinter • Редактирование тестов • Создание компонент для BPT 7
  • 8.
    Разрешите Sprinter искать дефектыза вас –Sprinter Scanners − Битые линки − Локализация − Настраиваемые правила 8
  • 9.
    Что мы тестируем? GUI Не забываем что скрыто под водой ! XML JSON BPMS Web services SOAP WCF JMS Java .Net AquaLogic Tibco Fix / Swift Trading Logistics Rules Engines Reservations 9
  • 10.
    Зачем тестировать толькосервис? Начинаем • Баг найденные раньше дешевле исправить тестировать как • Короче последняя итеррация можно раньше тестирования Возможность для • Сокращается время на тестирование автоматизации Независимое тестирование • Проще идентифицировать ошибки сервисов и компонент Невозможно протестировать • …нагрузка, безопасность, интеграции всѐ через GUI… 10
  • 11.
    Что такое web-сервисы СообщениеSOAP является обычным XML-документом. Этот документ состоит из следующих XML-элементов: SOAP envelope ("конверт"), который определяет содержание послания; SOAP header ("заголовок", не обязательный элемент), в нем содержится заголовочная информация; SOAP body ("тело"), в нем содержится информация вызовов и ответов на вызовы. 11
  • 12.
    Стандартные средства отладки сервисов Стандартные средства отладки сервисов Для отладки можно использовать программу SoapUI 12
  • 13.
    HP Service Test Автоматизированное функциональное тестирование для не-GUI компонент • Визуальный дизайн тестов • Modular approach to supporting service technologies • Интеграция с QTP для возможности создания многоуровневых тестов • Интеграция с HP Quality Center централзация хранения тестов, результатов тестов, трасебилити с требованиями 13
  • 14.
    HP Service Test11.0 Делаем Интеграция с Поддержка тестирование HP Software технологий сервисов проще • HTML, WSDL, REST, JMS, Java, WS-Security, and more OOBox • Возможность добавлять обработку на .NET, C# and auto-completion 14
  • 15.
    HP Service Testvisual test designer 15
  • 16.
    Cвойства объекта Набор готовых методов Визуальное создание тестов Управление тестовыми данными: Excel, база данных, файл 16
  • 17.
  • 18.
    Приложенные файлы Можно добавить файлили проверить что в ответе пришѐл файл 18
  • 19.
    Создание пользовательских событий Выбираем из листа событий и создаѐм сообственную обработку события 19
  • 20.
  • 21.
    Data driving тестирование Параметризация соообщений и сравнение результатов с готовыми таблицами 21
  • 22.
    Интеграция с QuickTestProfessional: HP Unified Functional Testing 22
  • 23.
  • 24.
  • 25.
    user user 25
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
    Простые вещи Делай только то что надо сейчас Делай то, что действительно важно Разбивай задачи на атомарные Делай работу над ошибками 37
  • 38.
    Дополнительная информация Скачайте Инфозона HP ALM Статьи о продуктах Видеоролики Аналитика http://www.osp.ru/resources/izones/alm 38

Editor's Notes

  • #2 Reduction in manual testing timeImproved testing accuracyBetter communication of defects to development (accelerated defect remediation)Unobtrusive, easy to use user interfaceTest steps and results ‘tab’Toolkit – Screen capture and annotations, measure objects position etc.Recording of user actionsRecording of user actionsData injectionLogging defects with associated information directly into Quality Center/ALMSmart DefectsMirror testing
  • #3 Scanners: spell check , l10n, W3 Compliance, section 508L10N includes: Non translated strings, Cut strings, Words not in dictionary, “Locale” issuesAuto-author: record steps – and documents the steps can turn that into a test (can be used and reused in generate an automation script UFT )Manual to automation: produces simple script – still requires some work to be automated Sprinter 11.5 works with 11.0 – tested and works***Exploratory testing – I don’t have a plan and I turn on record and play around. You can retrace steps….
  • #9 Sprinter Scanners automatically verify different aspects of application behavior and find potential defects. Using Scanners you can check whether strings in your application are spelled correctly, whether the application complies with Web Standards (for Web applications), if there are broken links or whether the user interface is translated correctly.You can select which scanners to use either before or during the run session. After each scan is completed, you can perform several actions on the results, such as create a defect or defect reminder.You can also extend Sprinter’s capabilities by defining custom scanners that can detect defects specific to your application.W3 compliance – web standard…accessability
  • #12 Just remember that Service Test is used to test applications, services or components without a GUI. (this is also called non-GUI testing, or “headless” testing.) This is particularly useful in Agile or other iterative development methodologies because it allows the testing team to start automating tests earlier in the lifecycle before the GUI is ready – which is typically ready at the end after most of the application is built. Why wait until the end when the test team can start uncovering bugs early when they’ re cheaper and easier to fix?
  • #17 Drag & drop canvas is a modern, intuitive way to design tests. Drag activities from the Toolbox to become part of the test flow.(Almost) codeless testing! Extensive Toolbox provides ready-to-use activities for test composition; implementation details are hidden. What do we mean by “almost”? More advanced users/developers can create custom event handlers using C#.Powerful Data Handling! In addition to supporting text-based data tables, user can work with Excel files which can be created to match the format of the input and expected output of each step. XML data sources also supported.Properties… Highlight the activity on the canvas and edit its properties in the Property Sheet.
  • #38 Сколько всяких названий, методов практик, CMMI, ITIL, SCRUMА ведь смысл у всех методологий один и тот же