cómo medir lo inmensurable: real user experience

549 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
549
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
5
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • Dependiendo del tipo de sprint/proyecto tenemos que tener que hacer un tipo de pruebas u otras. En general probamos el comportamiento de la aplicación. Hay otro tipos de pruebas a nivel de infraestructuras, el indexador, cambios en el servidor de aplicaciones, parches en la base de datos; cambios a nivel de arquitectura de la aplicación
  • cómo medir lo inmensurable: real user experience

    1. 1. Cómo medir lo inmensurable: Real User Experience Almudena Vivanco Performance Engineer - InfoJobs#vlctesting
    2. 2. ¿de qué vamos a hablar?Cómo hacemos Performance Testing con SCRUM enInfoJobsMonitorización de la experiencia de usuario: RealUser eXperience ( RUX ) 15 y 16 de noviembre de 2012 Valencia, España
    3. 3. ¿Quiénes somos? Somos el site líder en empleo donde profesionales y empresas convergen para satisfacer sus necesidades de contratación. Desde nuestros inicios en 1998 hemos batido los tiempos de respuesta al mercado 330.925 contratos firmados en 2011 en España a través de InfoJobs 7 de cada 10 ofertas en Internet en España están en InfoJobs Datos de Septiembre de 2012 Usuarios únicos 5,330,00 Visitas: 15,226,000 Páginas vistas: 205,000,000 (*) Source: Nielsen Netratings 2010 15 y 16 de noviembre de 2012 Valencia, España
    4. 4. Nuestra gente y vocación 200 trabajadores con un objetivo común, nuestra misión “Hacer fácil para todo el mundo encontrar el mejor trabajo posible” Equipo InfoJobs 15 y 16 de noviembre de 2012 Valencia, España
    5. 5. Durante estos 30 minutos ...  37 personas serán contratadas usando InfoJobs (1)  5 empresas publicarán 58 ofertas de contratación(2)  1,000,000 peticiones serán procesadas por nuestros sistemas de monitorización RUX (1) Contracts signed during 2011 in Spain through InfoJobs, according to an independent study from Salvetti & Llombart (2) Data from InfoJobs (jan-abr 2012) 15 y 16 de noviembre de 2012 Valencia, España
    6. 6. En el último mes ... 8 de cada 10 grandes compañías Españolas usan InfoJobs(1) 11,000 empresas se han dado de alta en InfoJobs para publicar sus ofertas de trabajo (1) 33,5 millones búsquedas de trabajo son ejecutadas (2) (1) Source: InfoJobs.net (April 2011) (2) Source: InfoJobs .net (February 2011) 15 y 16 de noviembre de 2012 Valencia, España
    7. 7. Performance en Scrum Pruebas de rendimiento
    8. 8. SCRUM ¿Dónde necesitamos pruebas de rendimiento? 15 y 16 de noviembre de 2012 Valencia, España
    9. 9. Pruebas de rendimiento Pruebas de rendimientoPruebas de Rendimiento throughput, confianza, escalabilidad de un sistema bajo carga de trabajo Determinar respuestas de sistema, 15 y 16 de noviembre de 2012 Valencia, España
    10. 10. Estabilidad EstabilidadConocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento esLa estabilidad del entorno productivo es la meta de las pruebas de rendimiento. La aplicación y el sistema tienenLa hipótesis de partida con más éxito.que ser estables y eficientes. 15 y 16 de noviembre de 2012 Valencia, España
    11. 11. Velocidad VelocidadNo nos interesa únicamente el tiempo de respuesta que le damos a los usuarios, también el uso de la infraestructura ylos recursos. Eficiencia: capacidad de disponer de los recursos del sistema para conseguir un objetivo, en este casoTiempo de respuesta y uptime. 15 y 16 de noviembre de 2012 Valencia, España
    12. 12. Escalabilidad EscalabilidadSer capaces de Crecer según los requisitos del mercado, de los usuarios, de la tecnología, tener visión de futuro yconocer los límites 15 y 16 de noviembre de 2012 Valencia, España
    13. 13. Escenarios EscenariosUna prueba de rendimiento es fácil. Es fácil diseñar escenarios pocos realistas. Es fácil recolectar datos irrelevantes.Incluso con un buen escenario y unos buenos datos, es fácil utilizar un método estadístico incorrecto.- Alberto Savoia 15 y 16 de noviembre de 2012 Valencia, España
    14. 14. Otro título Monitorización Escenarios Monitorización EscenariosConocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento esLa hipótesis de partida con más éxito. 15 y 16 de noviembre de 2012 Valencia, España
    15. 15. Equipos Polivalentes Equipos Polivalentes Equipos Polivalentes Desarrolladores, DBAs, QAs, DevOps, product owners ... todo el equipo toma parte en el rendimiento 15 y 16 de noviembre de 2012 Valencia, España
    16. 16. Otro título Herramientas Herramientas Las herramientas adecuadas de pruebas de carga y monitorización que más se adecúen al entorno donde serealizarán pruebas de rendimiento no son tan importantes como la persona que entienda toda la información que generan. 15 y 16 de noviembre de 2012 Valencia, España
    17. 17. Otro títuloMas puntos Usuarios UsuariosCómo son los usuarios, y qué uso hacen de la aplicación es uno de los principios a tener en cuenta en un buen diseño de pruebas de rendimiento 15 y 16 de noviembre de 2012 Valencia, España
    18. 18. Tuning Cultura y Producto Cultura y ProductoHay que tener en cuenta los recursos con los que se cuentan, y ajustarse a ellos. Hay que compartir con los business Developers los retos tecnológicos. Cultura de rendimiento. 15 y 16 de noviembre de 2012 Valencia, España
    19. 19. Cultura y Producto En resumen ... Cultura y Producto En resumen ...Eficiencia, Efectividad y Eficacia 15 y 16 de noviembre de 2012 Valencia, España
    20. 20. Pruebas1. Identificar el ambiente2. Criterios de aceptación3. Planear y diseñar4. Configurar el entorno5. Implementar el diseño6. EjecutarAnalizar, reportar y volver a probar! 15 y 16 de noviembre de 2012 Valencia, España
    21. 21. Real User eXperience Sistema de Monitorización
    22. 22. Experiencia de nuestros usuariosQueremos medircómo se comportaInfoJobs paratodas y cadauna de laspeticiones denuestros usuarios 15 y 16 de noviembre de 2012 Valencia, España
    23. 23. Real User eXperience: RUX • InfoJobs monitoriza toda petición que llega a nuestros sistemas • Capacidad de respuesta immediata ante la falta de disponibilidad • Ejecución de Test A/B 15 y 16 de noviembre de 2012 Valencia, España
    24. 24. RUX: qué medimos En el web site: todas las páginas incluyen en el footer un pixel trasparente llamado timer.jpeg al que se invoca en el evnto onLoad del browser. En el servidor: la petición llega al servidor web y el tiempo es calculado. Gráfico básico sobre qué es lo que medimos y dónde tenemos pérdida de información. Internet Apache JBoss Busy sending rendering Internet User Infojobs Browser Timer.jpeg 15 y 16 de noviembre de 2012 Valencia, España
    25. 25. RUX: Mediana y Cuartiles • No medimos todas las peticiones. Sólo aquellas que cargan el timer.jpeg y aquellas que tienen valores razonables que calculamos a partir de la mediana y el primer y tercer cuartil. 15 y 16 de noviembre de 2012 Valencia, España
    26. 26. RUX: Aplicación Métricas a lo largo de 8 días de todos los servidores y todas las peticiones. Métricas al minuto están disponibles filtradas por página y por servidor front end. Esto nos da una certera métrica de la experiencia del usuario real 15 y 16 de noviembre de 2012 Valencia, España
    27. 27. Almudena VivancoPerformance Engineer Estudié Matemática aplicada y computación en Oviedo de ahí mi gusto por los números y gráficas. Empezó mi aventura en Barcelona siendo programadora de .Net, de ahí a automatizar con Silktest y testpartner (oÔ) y finalmente hace 7 años conocí el mundo del rendimiento con herramientas como Loadrunner y Silkperformer, pasando de proyecto en proyecto desde Círculo de Lectores a BCN.cat. Hace 4 años y medio me uní a la plantilla de InfoJobs.net donde cada día es un nuevo reto.Datos de Contacto https://plus.google.com/u/0/105404978869503224992/ 15 y 16 de noviembre de 2012 Valencia, España
    28. 28. OrganizaPatrocinanColaboran 15 y 16 de noviembre de 2012 Valencia, España

    ×