My presentation in Finnish at Software Quality Strategies seminar by Management Events on Feb 4, 2015 on "Quality challenges in the digitalized world - how will quality assurance change"

1. Digitalisoituvan maailman laatuhaasteet -
Miten laadunvarmistus muuttuu?
Kari Kakkonen, Director, Quality and Competences, Knowit Oy

2. Kari Kakkonen, Knowit
• Roles
• Knowit, Director, Quality and Competences & Lead
Consultant
• Finnish Software Testing Board FiSTB, chairman
• ISTQB international exam and expert working group member
• Finnish Software Measurement Association FiSMA ry board
member 2004-2007
• Chairman of research project STX, Lappeenranta University
of Technology
• Achievements
• Testing promoter since 1996
• Tietoviikko-magazine 100 most influential IT-persons listing
2010
• Presentations in national and international conferences
• Candidate for Tester of the Year 2010 (TestausOSY – FAST)
• TestausOSY/FAST founding member
• Education
• ISTQB Expert TM Full & Advanced Full certified
• SPICE provisionary assessor certified
• M.SC, Helsinki University of Technology / Aalto-university
• Marketing studies, University of Wisconsin-Madison
• Domain background
• Embedded
• Public sector
• Pension insurance
• Training provider
• Telecom
• Finance
• Manufacturing
• Services
• Training ISTQB Advanced and Foundation + Knowit Testing
Professional
• Service management
• Test management
• Test assessments (TPI Next etc.) and test development
• Agile testing services
© Knowit Oy
Twitter: @kkakkonen
LinkedIn: fi.linkedin.com/in/karikakkonen/

3. 100+
mobiili-
sovellusta
20+
extranet-
palvelua
50+
intranet-
palvelua
25+
verkko-
kauppaa
500+
verkko-
palvelua
100+
palvelumuotoilu
-projektia
Knowit -
Töistämme
meidät tunnetaan
Kehitämme ja kasvatamme
asiakkaittemme
liiketoimintaa.
© Copyright Knowit Oy 2014 | Confidential | Version 1.0
#1
laadun-
varmistuksessa

4. Käyttäjäkokemuksen vallankumous

5. Mobiili on uusi todellisuus – tutkimuksetkin kertovat
27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 5
www.shopify.com/blog
“Mobile Now Accounts for 50.3% of All Ecommerce Traffic”

6. Liiketoiminnan muutos
1. Palvelut digitalisoituvat
2. Liiketoimintaprosessit
digitalisoituvat
3. Kaiken internet (Internet of
Things, Internet of
Everything)

7. 7
Keskeiset laatuhaasteet
Tietoturva
Käytettävyys
Suorituskyky
Tuotekehityksen nopeus

8. 8
Tietoturvan testaus
Kaikki kohteena

9. Tietoturvan testaus
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 9
Ennakoiva
tietoturva
• Expertti tiimissä
Sovellustason
tietoturva
• Joka taso
tietoturvallista
Rajapinnat
• Internet
• Laitteiden välinen
Testaus
• Haavoittuvuus-
skannaukset
• Auditoinnit
Ajantasaisuus
• OWASP jne.

10. 10
Käytettävyyden testaus
Ajattele käyttäjäkokemusta

11. 27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 11
Surface
Skeleton
Structure
Scope
Strategy
Sovellettu teoksesta:
The Elements of
User Experience
By Jesse James Garrett
• Visuaalinen suunnittelu
• Mikrointeraktiot
• Palvelun rakenne
• Sivurakenne
• Sisältörakenne
• Sisältörakenne
• Informaatioarkkitehtuuri
• Toiminnallisuudet
• Sisältötarpeet
• Liiketoimintatavoitteet
• Käyttäjätarpeet
Bottom-Up
Abstract
Concrete

12. Käytettävyyden testauksessa voi…
Tehdä
käytettävyysarviointia
Verrata palvelua
käyttökokemuksen
tasoihin
Arvioida
käytettävyysongelman
kriittisyys
Raportoida
käytettävyysongelma
Ehdottaa ratkaisua
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 12

13. Kattavuus käyttäjien päätelaitteisiin – tarkista
käytettävyys testausautomaation avulla
• Eri laitteet, sama toiminnallisuus, sama
käyttäkokemus
• Yksi testikirjasto, monta testauksen
kohdetta
• Vähän ylläpidettävää
• Kasvava määrä
• Aloita varhain
• Toista päivittäin / koonnettain
• Testit eroavat vain vähän
• Raportointi
• Muutkin rajapinnat kuin käyttöliittymät
© Copyright Knowit Oy 2014
| Confidential | Version 1.0
27.1.2015 13
Testattavat appikset (Web)
Testausautomaatio pilvestä tai laitteilla

14. Suorituskyvyn testaus
Testaa ja mittaa, ettet ylläty

16. Suorituskykytestaus
Testaustyökalut
• Kaupalliset
• Avoin lähdekoodi
Jatkuva
monitorointi
• Yhteinen tehtävä
Pullonkaulojen
tunnistus
• Korjaa
• Viritä
Testaa
monipuolisesti
• Päätelaitteet
• Pilvi
Toistuvuus
• Regressiotestit
mukaan
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 16

17. Tuotekehityksen nopeus
Tasapaino nopeuden ja laadun välillä

18. Nopea tuotekehitysprosessi
DevOps
• Kulttuurina
• Teknisesti
Ketteryys
• Organisaatiossa
• Projekteissa
Testausautomaatio
• Selkänojana
• Prosessin nopeuttajana
• Kattavuuden
laajentajana
Tutkiva testaus
• Vianlöytökyky
• Tehokkuus
Osaaminen
• Monipuolisuus:
testausta, kehitystä,
tuotantoa, liiketoimintaa
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 18

19. DevOps perusperiaate
• DevOps on menetelmä, joka painottaa
kommunikaatiota, yhteistyötä ja integraatiota
ohjelmistokehitystiimien ja ylläpito-organisaatioiden
(IT) välillä
• Menetelmä vaatii ketterän ohjelmistokehityksen
prosessin
• Se sitoo ylläpito-organisaation kehitykseen
käyttämällä virtualisoituja ympäristöjä
• Tuotannon ympäristöt ovat osa kehitystä ja yhtä
ketteriä kuin kehitys
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 19
Kehitys
Laadun-
varmistus
Tuotanto / ylläpito
DevOps

20. 27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 20
Raportointi
DevOps
Automatisoidut testit & asennus
AsennusKoonti
Integraatio Testaus Suorituskyky
Ketterä kehitys
Loppu-
käyttäjä
monitorointi
Tuotanto
AsennusAsennus
Virtualisoidut taustapalvelut
Testiaineiston hallinta
Development Services
Version-
hallinta
Jatkuva
koonti
Liiketoiminta
Koodi
TestausKehitys

21. Ketteryys kehittyy, mikä sopii yhteen?
27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 21
Scrum
Kanban
Waterfall, V-Model
Scaled Agile
Framework
Lean
Lean Six Sigma
DevOps
Continuous
Deployment
Hybrid

22. Knowit Tutkimus 2014:
Ketterän testauksen suunnittelu yritystasolla
Strateginen taso
Ei suunnitella
• Lähes neljännes ei suunnittele
testausta lainkaan yritystasolla
• Pääsääntöisesti testausta
suunnitellaan hyvin karkealla tasolla
• 85 % yritystason
testaussuunnitelmista
dokumentoidaan

23. Yritystaso
• Ei vain
• Scrum
• Kanban
• …
• Organisaatio
• UVF
• M3.0
• SAFe
• Lean
• …
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 23

24. SAFe 3.0
24

25. Pilvi (MS, IBM…)
Testausautomaation ja jatkuvan koonnin
esimerkki
27.1.2015 © Copyright Knowit Oy 2014 | Confidential
Robot Framework
Quality Center
Jmeter
Python libraries
Selenium
Jenkins
GIT
Quick Test Pro
SoapUI
Sharepoint
Assure

26. Testauskvadrantit toimivat muistilistana
• Tukee ketterän testauksen strategiaa ja suunnittelua
• Kattaa kaikki tavoitteet
• Mahdollistaa testauksen tavoitteiden tasapainottamisen
Hyväksymistestaus
(automatisoitu tai osin
manuaalinen)
Yksikkötestaus
(automatisoitu)
Liiketoiminta
Teknologia
Tutkiva testaus
(manuaalinen tai osin
automatisoitu)
Ei-toiminnalliset testit (e.g.
suorituskykytestit
työkaluilla)
Tuotteenkoestus
Tiimintuki
Lähde: original idea by Brian Marick & adaptation by Lisa Crispin and Janet Gregory

27. Käytä tutkivaa testausta
• Skriptattu vs. Tutkiva testaus (Exploratory Testing (ET))
• ET on lähestymistapa, ei tekniikka
• Montaa testaustekniikkaa voi käyttää
• ET auttaa löytämään yllätyksiä, yhteistoiminnan vaikutuksia ja väärinymmärryksiä, joista ei ole ollut
mitään määrityksissä tai muissa testeissä
• Tehtävälomakkeet ja testaussessiot
• Sessiot tekevät ET:n mitattavaksi ja seurattavaksi
• Tehtävälomakkeet ja lokit tekevät ET:n dokumentoiduksi testaukseksi
Lähde: Elisabeth Hendrickson, Cem Caner, James Bach, Lisa Crispin
“Tutkiva testaus on testauksen tyyli, jossa opit ohjelmistosta
samaan aikaan kuin suunnittelet ja ajat testejä, käyttäen
palautetta edellisestä testistä seuraavan testin päätöksiin”

28. Opi monipuolisesti liiketoiminnasta,
kehityksestä, testauksesta, tuotannosta
Kurssit, sertit Valmennus, coaching
Parityö Työpajat
Lisää osaamistasi
27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 28

29. Protoile ja testaa

30. Laadunvarmistus
digitalisoituvassa
maailmassa
Rakenna laatua, sitten myös testaa
• Tietoturva
• Käytettävyys
• Suorituskyky
Hae nopeaa palautetta
• Tiimin nopeus
• Testauksen tuki
• Tuotantoon viennin nopeus

31. Questions?
kari.kakkonen@knowit.fi