“Es mejor que empieces el testing desde el comienzo”. Esta frase se ha repetido tantas veces últimamente gracias al auge y relevancia de las metodologías ágiles, que (por suerte) remarcan la importancia que tienen las pruebas en el proceso de desarrollo. ¿Cuál es la mejor forma de enfocar el esfuerzo en testing cuando hablamos de pruebas de performance? ¿Deberíamos comenzar desde el comienzo del desarrollo, acompañándolo, de acuerdo a lo planteado por las metodologías ágiles, o deberíamos seguir con un enfoque del tipo waterfall? ¿Después de liberar el sistema a producción ahí ya dejamos de preocuparnos por las pruebas, ya perdimos nuestra última chance? Si alguien de la audiencia está pensando sobre pruebas de performance y tiene que decidir cómo enfocar sus esfuerzos, en esta presentación compartiremos las estrategias conocidas como shift left testing y shift right testing aplicadas a las pruebas de performance, cómo son ambos enfoques basándonos en proyectos reales, pudiendo así entender mejor cada uno.

1. Shift left
&
shift right
performance testing
Federico Toledo
@fltoledo
federico-toledo.com

2. About me
www.abstracta.us/blog
www.federico-toledo.com

3. Shift Left Shift Right

4. ContinuousShift RightShift LeftIntro
Agenda

5. Performance
Performance testing
Response times & throughput
Resource consumption
Simulation
Monitoring (bottlenecks, breaking points)
Optimization

6. Simulation

7. Types of performance tests

8. Performance involves three
main factors: you have the
servers, you have the network,
and last but not least, the
client side.
SOFIA PALAMARCHUK, CEO AT APPTIM

9. Browser
● Piio - piio.co
● Page Speed
Mobile
● Apptim - apptim.com
Where to focus?
● Traffic capacity
● Load balancers
● CDNs
Load simulation
● JMeter, Gatling, Taurus
● Blazemeter
Monitoring
● APMs, Profiling
● OS metrics
Client side
Network Server side

10. Shift Left Shift Right
Q1
1 2 3
Q2
4 5 6
Q3
7 8 9
Q4
10 11 12
Design
Development
Testing
Release
Requirements

11. ContinuousShift RightIntro
Agenda
Shift Left

12. Shift left performance testing
Start early
Test frequently
Early feedback

13. Shift left
Cheaper (easier)
Early results
More Frequent
No idea about the user
User metrics
User-focused design
More costly (scripting, infra)

14. Shift left

15. If you test the components then the
entire system will work properly.
A common fallacy

16. ContinuousIntro
Agenda
Shift Left Shift Right

17. No one said you have to stop
testing just because you
deployed the software. It’s just
risks you’re learning about
after you’ve deployed it.
ROBERT SABOURIN

18. Real world
Share with users
Assumptions
Independent environment
Left vs Right
If you don’t test in production,
your users will anyway

19. Testing
Monitoring
Observability
Shift right performance testing

20. Testing and observability
are different means for
similar goals.
LISA CRISPIN

21. Real world examples
Low-hanging fruit:
Monitoring and alerts in prod, real users
APMs with RUM
Performance testing in prod
More advanced alternatives:
CI/CD without performance tests
A/B testing, feature flag
Canary release
Production debuggers
API monitoring and testing

22. Intro
Agenda
Shift Left Shift Right Continuous

23. Shift left testing and shift right
testing, it’s a shift of mind.
REFAEL BOTBOL, DIRECTOR OF PROFESSIONAL SERVICES, BLAZEMETER

24. Conclusion

25. Conclusion: continuous testing

26. Thank you!
Shift left & shift right
performance testing
Federico Toledo
@fltoledo
federico-toledo.com

27. abstracta.us