Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Dobre praktyki automatyzacji testów

0 views

Published on

by Piotr Ślęzak, ForProgress

Published in: Government & Nonprofit
  • Be the first to comment

  • Be the first to like this

Dobre praktyki automatyzacji testów

  1. 1. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Good practices in test automation Piotrek Ślęzak CEO ForProgress Gdańsk 11th April 2017
  2. 2. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Działamy na styku Biznesu i IT Doradztwo Projekty Szkolenia Analiza biznesowa Kontrola jakości
  3. 3. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Expectations about automation ▪time to perform task reduction ▪cost reduction ▪staff reduction ▪Trending ▪ Other companies have automation - we need automation!
  4. 4. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Benefits ▪Repeatable tasks executed by robot ▪Monotonous work peformed by robot ▪Improve quality ▪Improve efficiency ▪Increase scope of work
  5. 5. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Risks ▪Performance analysis only for part of organizations •weakness and bottlenecks for business processes •Bad business processes for automation ▪Business process not documented ▪Business process not repeatable ▪Unstable systems environment with many CR and new functionality ▪Business process that work on many different applications (many technologies) ▪Bad strategy for automation •Bad tools for automation •Imprecise cost estimation •Cost of maintenance
  6. 6. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Automation strategy
  7. 7. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Automation strategy Insurance company ▪Own team for automation – 10 people ▪Different tools for automation ▪No rules and strategy for automation SOLUTION: ▪Automation strategy document: •How to get manual processes for automation •Automation estimation •Connection between manual and automated processes
  8. 8. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Automation strategy ▪Robot preparation ▪Tools ▪How to build robot ▪Named convention ▪Configuration management ▪Robot structure ▪Synchronization with applications ▪Verification points ▪How to run robots ▪Problem and error reporting ▪How to maintain robots ▪How to work with new version of application ▪Suggestions for application’s developers
  9. 9. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Business process description
  10. 10. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Key problems with documentation ▪No documentation for business process ▪Very old documentation with no actual information ▪Description in high level business language ▪Technical description in dedicated tools or notation ▪Documentation with simple descriptions „happy path” •alternative flows •exceptions •Special conditions
  11. 11. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Techniques for process determination ▪Determination techniques •Self-recording •Interviews •Field observation •On-site customer •Apprenticing
  12. 12. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Self-recording ▪User documents its activities ▪Developer get documentation and prepare robot ▪Advantages •Low time and effort for the robot’s 
 developer ▪Disadvantages •Automatic activities are neglected •Depends upon the motivation and 
 experience of the users
  13. 13. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Interviews Field observation ▪ Questions to one or different users ▪ Answering protocol with information about process ▪ Advantages ▪ The progression can be individually adapted ▪ Disadvantages ▪ Very time-consuming for robot’s developer ▪Observation of working procedures of user ▪Developer asks for explanation of unclear procedures ▪Advantages ▪ Recommended if user has difficulties in expressing their work ▪Disadvantages ▪ Exceptional cases can be badly communicated ▪ Users can feel observed
  14. 14. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl On-site customer ▪The representative of the user is on-site with the developer ▪Rapid clarification of process, questions and misunderstandings ▪Advantages •Short communication paths ▪Disadvantages •High costs for the customer •High adaptation costs
  15. 15. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Apprenticing ▪Apprenticing (to apprentice) ▪Developer gets to know the user’s activity ▪Advantages •Efficient in case of activity difficult to observe •Suitable if the user is not capable of transmitting its knowledge ▪Disadvantages •Not suitable in dangerous environments •Very time-consuming and costly for the developer
  16. 16. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Tools ▪Windows Problem Recorder ▪ Get window screenshots ▪ Get data inserted to application ▪ Get operations performed by user ▪ Produce HTML documentation
  17. 17. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Estimation
  18. 18. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Key factors for cost of automation ▪Time for tools selection ▪Cost of tools (license or development custom tools) ▪Time for learn new tool ▪Time for robot preparation ▪Time for robots maintenance
  19. 19. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Simple method ▪Cost for prepairing a good robot is MINIMUM 6 times greater than the same operation to do manually. •Robot development •Find defects in robot (ex. Synchronization with application) •Run and test robots
  20. 20. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Method based on use case ▪Get information about scenarios, steps, screens described in use cases or business process ▪Step is single operation performed by user on application ▪Number of steps in scenario (Steps) ▪Number of screens in use case (Screens) Time = sw * (Steps + Screens) [hours] sw – steps weight Ex. If total number of steps <= 10 sw = 1 If total number of steps > 10 <= 20 sw = 2 If total number of steps > 20 sw = 3
  21. 21. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Advanced method ▪Each user interface control’s type has time for automation Ex: ▪label – 1h ▪Edit field – 1h ▪listbox – 2h ▪Combobox - 2h ▪Report’s column – 3h ▪Radio button – 2h ▪Button – 1h etc. ▪Get information about all controls from application and business process and multiple total time for automation
  22. 22. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Example of automation
 
 Why correct business process for automation is a key problem
  23. 23. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Telecommunication company ▪Customer key problem: time for business process realization is to long. ▪15 business processes for automation ▪ Correct business case for automation ROI (12 months) ▪ 5 different technologies ▪ SAP ▪ WEB ▪ JAVA ▪ Delphi ▪ Microsoft Visual C++ ▪No documentation for business processes
  24. 24. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl ForProgress project’s scope ▪Description for business processes ▪Automation strategy for 15 processes and for future enhancements ▪Proposition for robots architecture ▪Proposition for reporting results and errors ▪15 robots ▪Time schedule: 3 months
  25. 25. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Post project review ▪Project schedule: 6 months ▪Many problems with applications environment and application’s stability ▪A lot of new patches installed on environment ▪A lot of CR for applications and business processes ▪Administrators have many different tasks in the same time ▪Administrators doing their task manually ▪Applications and infrastructure (servers environment) is VERY complex ▪Our conclusion: COMPANY NEEDS AUTOMATION BUT FOR ADMINISTRATOR’s TASKS NOT FOR BUSINESS PROCESSES
  26. 26. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Summary ▪Automation has many benefits but: •Good automation has clear objective •Good automation has clear strategy •Good robot need cooperation with business and users •Business process selection needs performance analysis for almost all of the organization
  27. 27. ForProgress spółka z ograniczoną odpowiedzialnością sp.k. kontakt@forprogress.com.pl www.forprogress.com.pl Questions ▪Piotr.Slezak@ForProgress.com.pl ▪+48 694 517 158 ▪www.forprogress.com.pl

×