Usability & Quality

Slide 1: Q Usability & Quality Case Study: Integrating a Usability process as a quality factor in the software development process March 2008 Pedro Custódio

Slide 2: Quality <=> Satisfaction March 2008 Pedro Custódio

Slide 3: Development Process Analysis Development Production Quality Development Quality Report Specification March 2008 Pedro Custódio

Slide 4: Quality Evaluation The whole quality process is sustained in a quality Customer Technical evaluation on four major Support subjects: Design Usability March 2008 Março Pedro Custódio

Slide 5: Evaluation Scale Critical, not production ready With serious problems With problems O.K. with issues O.K. N.A. March 2008 Março Pedro Custódio

Slide 6: Quality Report Produce a quality report that states the overall evaluation of a project according to the evaluation matrix March 2008 Março Pedro Custódio

Slide 7: Convergence Usability Education User Centered Design Raise Credibility Best Practices Adoption Development process Integration March 2008 Pedro Custódio

Slide 8: Q Content Suitable Easy of Use User Centered Design Brand Value Performance Satisfaction March 2008 Pedro Custódio

Slide 9: Q Why make usability studies? March 2008 Pedro Custódio

Slide 10: User is someone which is afected by our products March 2008 Pedro Custódio

Slide 11: Business reasons Reduce Costs development support maintenance Increase user satisfaction user loyalty user numbers March 2008 Pedro Custódio

Slide 12: Q Cost of changes in a project 1x During Design 6x During Development 100x After deployed ‘software engineering, a practitioners approach’ mcgraw-hill March 2008 Pedro Custódio

Slide 13: Premises Iterative process Development process integration Fast prototyping Frequently tested with users March 2008 Pedro Custódio

Slide 14: Q Usability Process Planning Analysis Design / Development Tests and Improvements Deﬁne the process Evaluate current product/site Determine product requirements Learn from the evaluations Follow guidelines Know your users Inventariar conteúdos Learn from usability tests Conduct usability tests Write a work plan Study usage ﬂows Card Sorting Develop a test plan Write work objectivs Results Analysis Assemble a team Development Personas information Architecture Review scenarios Hire an usability expert Write a report Have a KickOff Meeting Identify Usage Scenarios Develop prototypes Recruit testers Implement changes Identify Usage Scenarios Develop product/ service Assemble Usability tests March 2008 Pedro Custódio

Slide 15: Planning March 2008 Pedro Custódio

Slide 16: KickOff Meetings March 2008 Pedro Custódio

Slide 17: Q Meeting Plans QUALIDADE @ SAPO - PLANO DE REUNIÃO KICK-OFF / RE-DESENHO 1. Qual é o propósito para o serviço: a. b. 2. Quais são os objectivos de desenvolvimento deste serviço: a. b. c. d. e. 3. Definir audiência e objectivos: a. b. c. d. e. a. b. c. d. e. f. g. h. a. b. c. a. b. c. d. e. f. g. a. b. c. d. Qual é o propósito para o serviço ? Quais são os objectivos do serviço? Como definem um serviço de sucesso dentro do SAPO Quais serão os factores visíveis de sucesso? Como saber se um serviço tem ou não sucesso? Como descrevem este serviço? Do ponto de vista do SAPO? Do ponto de vista dos utilizadores? Quem são os utilizadores deste serviço? (primários e secundários) Como descrevem os utilizadores? (características como a idade, experiência, educação, etc.) Porque é que estes usam o serviço? (necessidades, interesses e objectivos dos utilizadores) Como é que os utilizadores chegam ao serviço? (contextos) Como é que os utilizadores acedem ao serviço? (equipamentos, tipos de ligação, resoluções, etc.) 4. Análise e prioritização de funcionalidades/tarefas: O que é que os utilizadores podem/puderam fazer no serviço? (conteúdos, funcionalidades, etc. Quais as funcionalidades mais críticas para os utilizadores? (criticidade) Quais as funcionalidades mais importantes para os utilizadores? (importância) Quais as funcionalidades mais usadas pelos utilizadores? (frequência) Quais as funcionalidades mais sujeitas a problemas de usabilidade? (vulnerabilidade) Quais as tarefas criticas para o sucesso e organização deste serviço? Qual a frequência de utilização do serviço pelos utilizadores? O que os trará de volta? 5. Determinar objectivos mesuráveis de Usabilidade: Que tarefas os utilizadores devem conseguir realizar facilmente com pequenos erros? (eficiência) Que tarefas os utilizadores devem conseguir completar de forma rápida e eficiente? (eficácia) Qual o grau de satisfação desejado para os utilizadores após utilizarem o serviço? (satisfação) 6. Discutir expectativas, requisitos e preferências: Qual é a visão pessoal de cada um para este serviço? Descrever a sua visão inicial do projecto? Qual deve ser o objectivo de longo prazo do site? O que suscitou o redesenho? Existem restrições, obrigações ou directrizes para o serviço? Existem serviços semelhantes que possam servir de exemplo? Existe algum estilo pessoal que prefiram? Que características/atributos/atitude deve o serviço transmitir aos seus utilizadores? 7. Determinar grau e necessidades de acessibilidade: Qual é o grau actual de acessibilidade do serviço? Que tipo de testes de acessibilidade foram feitos? Que tipo de ferramentas de acessibilidade são usados? Quem é o responsável pelas questões de acessibilidade deste serviço? March 2008 Pedro Custódio

Slide 18: Q Meeting Plans ! 8. Identificar recursos disponíveis e necessidades de formação: a. b. c. d. e. 9. Discutir e identificar necessidades tecnológicas: a. b. c. d. e. Qual é o nível de recursos para actualização e manutenção do serviço? Existem pessoas com treino para produzir conteúdos específicos para a Web? Existem designers na equipa deste serviço? Quem são os responsáveis pelo desenvolvimento deste serviço? Quem é o responsável pela promoção e marketing do serviço? Quais as necessidades de alojamento/equipamentos? O serviço já possui nome para o domínio ou é necessário um novo? Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual? Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais? Serviço possui algum tipo de motor de pesquisa? Se sim, qual? 10. Plano de projecto March 2008 Pedro Custódio

Slide 20: Analysis March 2008 Pedro Custódio

Slide 21: Personas March 2008 Pedro Custódio

Slide 22: Advantages Design: supporting the design process and the service structure; Design explanations: help sustain and justify decisions from the previous stage; Build consensus: by categorizing users and behaviors it’s easir to build consesus among the team on choices and implementations; Evaluation: allow the evaluation of choices in terms of return, since they can be easily tested against selected user groups Other fields (not development): an important working material for other teams beside the development teams. Teams like marketing and branding or even helping and sustaining company strategic planning. March 2008 Pedro Custódio

Slide 23: Use Scenarios and Workflows March 2008 Pedro Custódio

Slide 25: Design / Development March 2008 Pedro Custódio

Slide 26: Information Architecture March 2008 Pedro Custódio

Slide 27: Prototyping BETA March 2008 Pedro Custódio

Slide 28: Tests and Improvements March 2008 Pedro Custódio

Slide 29: Q Have you ever done a usability test, lost hours writing the usability report and in the end didn’t seen any results applied? March 2008 Pedro Custódio

Slide 30: Q How many times have you read someone else usability report? Lost time? March 2008 Pedro Custódio

Slide 31: Q Jakob Nielsen, 2005 Presenting Usability Results http://www.useit.com/alertbox/20050425.html March 2008 Pedro Custódio

Slide 32: Q Usability Reports normally don’t get to those who need them most! And few are willing to read them! March 2008 Pedro Custódio

Slide 33: Q Number of Users Recruiting Effort Where to make them Who makes them Planning Preparation What? And When to test? Costs next? Traditional Tests 8+ Selected according to the audience Usability Lab Usability Professional Weeks planning Write and Discuss a test protocol Normally everything and close to the end of the project €5000 - €15000+ A ‘n’ page report a week later / Development meeting Fast Usability Tests 3/4 Any person with web experience Any Room Someone with patience Anytime Select the features we want to test Small tests at any time of the development process 0 - €300 (€0 - €100 per user) Meeting Immediately after the tests ‘Don’t Make Me Think’ - Steve Krug Pedro Custódio March 2008

Slide 34: Q Number of Users Recruiting Effort Where to make them Who makes them Planning Preparation What? And When to test? Costs next? Traditional Tests 8+ Selected according to the audience Usability Lab Usability Professional Weeks planning Write and Discuss a test protocol Normally everything and close to the end of the project €5000 - €15000+ A ‘n’ page report a week later / Development meeting Fast Usability Tests 3/4 Any person with web experience Any Room Someone with patience Anytime Select the features we want to test Small tests at any time of the development process 0 - €300 (€0 - €100 per user) Meeting Immediately after the tests ‘Don’t Make Me Think’ - Steve Krug Pedro Custódio March 2008

Slide 35: Problems Recording and analysing all the information Processing all the recorded materials that came out of the tests Gather and process all observer’s notes Evaluate the overall satisfaction for each service/site Discuss observations Implementing conclusions March 2008 Pedro Custódio

Slide 36: Record Information Morae http://www.techsmith.com/morae.asp ScreenFlow + VNC https://www.varasoftware.com/products/screenflow/ March 2008 Pedro Custódio

Slide 37: Q Demonstração March 2008 Pedro Custódio

Slide 38: Q O nosso ‘Setup’ Sala de Testes VN C Observadores March 2008 Pedro Custódio

Slide 39: Gather and process notes 1 Estudo: We assembled a TAREFA 1 Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar Utilizador: Avaliador: Observações: Data: standard 2 (...) observation Terminou com Facilidade 3 Terminou com Dificuldade Não conseguiu terminar (...) report form for all Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar observations to 4 (...) use during the Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar 5 (...) tests: Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar 6 (...) Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar 7 (...) Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar 8 TAREFA 8 Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar March 2008 Pedro Custódio

Slide 40: Recolher e Processar Notas Terminou com facilidade Terminou com problemas Não conseguiu terminar 4 0 Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5 Tarefa 6 Tarefa 7 Tarefa 8 March 2008 Pedro Custódio

Slide 41: Evaluate satisfaction March 2008 Pedro Custódio

Slide 42: Q Escala de Usabilidade de Serviços 1. Gostaria de usar este serviço frequentemente 2. Achei que o serviço era desnecessariamente complexo 3. Achei o serviço simples de usar 4. Penso que iria precisar de apoio técnico para usar o serviço 5. Achei as várias funcionalidades do serviço bem integradas 6. Penso que havia demasiadas inconsistências no serviço 7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço 8. Achei que o serviço não era trivial de usar 9. Senti-me muito conﬁante a usar o serviço 10. Preciso de aprender muito antes de poder usar este serviço ‘SUS - A quick and dirty usability scale’ - John Brooke Discordo Muito 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 Concordo Muito 5 5 5 5 5 5 5 5 5 5 March 2008 Pedro Custódio

Slide 43: Avaliar Satisfação Discordo Muito Concordo Muito Gostaria de usar este serviço frequentemente Achei que o serviço era desnecessariamente complexo Achei o serviço simples de usar Penso que iria precisar de apoio técnico para usar o serviço Achei as várias funcionalidades do serviço bem integradas Penso que havia demasiadas inconsistências no serviço Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço Achei que o serviço não era trivial de usar Senti-me muito confiante a usar o serviço Preciso de aprender muito antes de poder usar este serviço 0 4 March 2008 Pedro Custódio

Slide 44: Avaliar Satisfação Interpretação dos resultados: cada item varia entre 0 - 4 classificar: items 1,3,5,7 e 9 = valor atribuído pelo utilizador - 1 items 2,4,6,8 e 10 = 5 - valor atribuído pelo utilizador Avaliação do grau de satisfação de um serviço: Multiplicar o valor da soma de todos os items por 2.5 Resultado = 0 -100 March 2008 Pedro Custódio

Slide 45: Q Escala de Usabilidade de Serviços 1. Gostaria de usar este serviço frequentemente 2. Achei que o serviço era desnecessariamente complexo 3. Achei o serviço simples de usar 4. Penso que iria precisar de apoio técnico para usar o serviço 5. Achei as várias funcionalidades do serviço bem integradas 6. Penso que havia demasiadas inconsistências no serviço 7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço 8. Achei que o serviço não era trivial de usar 9. Senti-me muito conﬁante a usar o serviço 10. Preciso de aprender muito antes de poder usar este serviço Total = 22 Classificação SUS = 22 *2.5 = 55 Discordo Muito 1 1 1 X 1 1 1 1 1 1 1 2 2 X 2 2 X 2 2 X 2 2 2 X 2 3 3 3 3 3 X 3 3 3 3 3 4 X 4 4 4 4 4 4 X 4 4 4 Concordo Muito X 5 5 5 5 5 5 5 5 X 5 5 4 1 1 4 1 2 1 1 4 3 March 2008 Pedro Custódio

Slide 46: next? March 2008 Pedro Custódio

Slide 47: Q Sessão Típica User Test 1 User Test 2 User Test 3 User Test 4 Debriefing March 2008 Pedro Custódio

Slide 48: Objectivos do Debriefing Analisar resultados dos testes Definir plano de acção e plano de resolução quando for caso disso March 2008 Pedro Custódio

Slide 49: Feedback e Statistics Usage stats Customer support reports Eye tracking studies Usage HeatMaps ... March 2008 Pedro Custódio

Slide 50: Questions? March 2008 Pedro Custódio

Slide 51: Q References ‘Don’t Make me Think’, Steve Krug ‘Designing for Interaction’, Dan Saffer Usability.gov Photos http://flickr.com/photos/jazz_dalek/1845705965/ http://flickr.com/photos/42304632@N00/232004616/ http://flickr.com/photos/unclekris/2359511772/ http://flickr.com/photos/torres21/1155108997/ http://flickr.com/photos/lightcnd/458382355/ http://flickr.com/photos/torres21/1155965622/ http://flickr.com/photos/nedrichards/735578028/ http://www.flickr.com/photos/johnnyvulkan/239434634/ http://www.flickr.com/photos/terry/100917705/ March 2008 Pedro Custódio

Slide 52: Thanks pedro.custodio@gmail.com March 2008 http://blog.centopeia.com Pedro Custódio

Slide 53: Q www.shift.pt March 2008 Pedro Custódio

Slideshare.net (beta)