Come sono svolti i test in Ubuntu

1. La QA su Ubuntu phone
By Carla Sella Todi Appy Days
http://about.me/carla.sella 27/09/2014

2. MI PRESENTO

5. Come avvengono in test in
Ubuntu ?

6. CI = Continuous Integration
Cosa significa ? → significa che testiamo Ubuntu continuamente
senza interruzioni:
Non-stop - Ogni cambiamento che viene apportato, viene testato.
Lo scopo finale: trovare I bug e sistemarli prima che arrivino
all'utente finale.

7. CI Process:
Gli sviluppatori lavorano sul codice, sistemano I bug o aggiungono
nuove funzioni. Quando il codice e' pronto creano un “merge
proposal” (proposta di incorparamento del codice) ed aspettano il
responso da parte di chi e' preposto ad effettuare la revisione del
codice. Se il codice passa la revisone, i test automatici
dell'applicazione stessa e il CI train allora entrera' a far parte di
Ubuntu (la ISO di Ubuntu).

8. CI Train:
Tutta una serie di regole e procedure sul controllo qualita' del codice.
CI Dashboard - (http://ci.ubuntu.com/)
E' il modo
di vedere
i risultati
di questi
test –
funge da
indicatore
di salute
di ubuntu
I test sulle
immagini
e le app
vengono
lanciati
almeno
una volta
al giorno.

9. Generazione dell'immagine (ISO):
Ora e' giunto il momento di generare le immagini (ISO). Per il
desktop, ogni giorno viene fatto uno snapshot di cosa ce' all'interno
dell'archivio di Ubuntu, poi queste ISO vengono sottoposte a tutta
una serie di test automatici di installazione. Se I test passano, l' ISO
viene rilasciata per il testing da parte del gruppo test. Dopo questi
test (Alfa, Beta ecc..., le cosidette milestone) l'ISO diverra' la
“prossima” versione di Ubuntu.

10. Per Ubuntu phone, tutti gli upload sono controllati dal punto di vista della
sicurezza, viene rilasciata un'immagine per i test.
Gli aggiornamenti OTA (Over The Air) vengono rilasciati per i device
quando una immagine ha passato i test e risulta abbatanza stabile per il
rilascio OTA.

11. Come possiamo contribuire
ai test

12. Ruoli:
● Tester: installano e usano le “development release”, fanno il report e il
triage dei bugs, e forniscono risultati sui test.
● Bug triager: rimangono con la versione stabile di Ubuntu aiutano ad effetturare
verifiche SRU e fanno bug triaging.
https://wiki.ubuntu.com/QATeam/PerformingSRUVerification

13. Test writer: creano e mantengono I vari test
usati in Ubuntu (manuali, autopilot e autopkg).
Developer: lavorano con gli strumenti usati dalla
comunita' ubuntu quality:
https://wiki.ubuntu.com/QATeam/Roles/Developer
(esempio: startup disk creator – test drive )

14. COSA SIGNIFICA TESTARE UBUNTU

15. Contribuire in qualsiasi momento:
testare le milestones e i “calls for testing”
contribuirre a ubuntu quality e' un lavoro
giornaliero costante.
Test esplorativi: usare
ed installare la distribuzione
di sviluppo di ubuntu sui
vostri computer e testare le
novita' giorno per giorno
try and break it
!!
Go wild!

16. Affrontare nuovi progetti:
creare e seguire sempre nuovi
progetti per migliorare il modo
di testare ed andare anche oltre
il QA team (migliorare il modo
in cui le persone possono fare il
report di un bug...)
Piu' coinvolgimento
nei bug:
come comunita' essere
piu' coinvolti
(confermare un bug o
verificare che un fix
funzioni)

17. Ottenere una Ubuntu di qualita'

18. http://iso.qa.ubuntu.com

20. http://packages.qa.ubuntu.com

22. https://wiki.ubuntu.com/Testing/QATracker
(pagina wiki sul QA Tracker)

23. Come effettuare i test su Ubuntu touch
(https://wiki.ubuntu.com/QATeam/TouchTesting)

24. Preparativi:
(una tantum)
1 - Iscrivervi alla mailing list e tenere bene a mente i seguenti
canali IRC dove potete chiedere aiuto:
Mailing List: ubuntu phone – fornisce costanti aggiornamenti su
quello che accade alle immagini di ubuntu phone dal punto di vista
dello sviluppo
(https://launchpad.net/~ubuntu-phone).
IRC: connettetevi ai canali IRC Ubuntu QA: #ubuntu-quality e
Ubuntu Touch: #ubuntu-touch su freenode se necessitate di
aiuto in tempo reale.

25. 2 - Installate l'immagine corrente di sviluppo sul vostro device:
$ ubuntu-device-flash --channel=devel-proposed

26. TTeesstt::
((ffaassee ggiioorrnnaalliieerraa))
Fase 1: Aggiornamento:
Lanciate un aggiornamento OTA
Fase 2: Verifica dei cambiamenti:
Questa fase è opzionale.
La lista dei cambiamenti tra immagini si trova qui:
http://people.canonical.com/~lzemczak/landing-team/
La lista contine l'elenco dei pacchetti modificati
Usate questa lista per aiutarvi nella ricerca di nuovi bug.

27. Fase 3: Test
* usate sul dispositivo le applicazioni modificate, fate attenzione ad
individuare eventuali regressioni e verifcate che le nuove
implementazioni funzionino come doverbbero.
* Usate il dispositivo come lo usereste per le vostre attività giornaliere.
* Ricordatevi che questo è testing esplorativo, quindi cercate di trovare i
malfunzionamenti “smanettando” ovunque!

28. Fase 4: segnalazione bug
Segnalare i bug trovati:
https://wiki.ubuntu.com/QATeam/TouchTesting/BugReporting
Fase 5: Revisione dei Bug
Questa fase è opzionale.
* Confermate I bugs trovati da altri tester:
https://wiki.ubuntu.com/QATeam/TouchTesting/BugReporting#Triaging
* Aggiungete un testcase per dei bug già segnalati:
Rivedete la lista dei bug segnalati e taggateli “touch-needs-autopilot”.
Scrivete il test con autopilot per tenere sotto controllo il problema ed
evitare che lo stesso bug si ripresenti:
https://wiki.ubuntu.com/Touch/CoreApps/Testing/ContributeAutopilotT
estcase

29. Test funzionali con AUTOPILOT
https://wiki.ubuntu.com/Touch/Testing/Autopilot/
http://www.theorangenotebook.com/2014/09/autopilot-test-runners.html

30. Linguaggio usato: Python
Framework usato: Autopilot (libreria Qt per autopilot).
E' uno strumento usato per eseguire test funzionali riprodcento le azioni
che l'utente finale esegue sul dispositivo.
I test dovrebbero copire tutte le azioni che l'utente finale può eseguire sul
dispositivo usando le app di Ubuntu Phone.

31. Come installarlo

32. Se avete trusty installato, dovete aggiungere un PPA:
sudo apt-add-repository ppa:autopilot/1.5
sudo apt-get update
sudo apt-get install libautopilot-qt python3-autopilot python3-
autopilot-vis

33. Documentazione:
https://wiki.ubuntu.com/Unity/QA/Autopilot
http://unity.ubuntu.com/autopilot/tutorial/tutorial.html
http://developer.ubuntu.com/resources/cookbook/mobile/how-to-write-autopilot-tests/
Esecuzione i test:
autopilot3 run [testsuite]
Lista test:
autopilot3 list [testsuite]
Introspezione dell'app:
autopilot3 launch qmlscene -i Qt /path/to/file.qml
autopilot3 vis

35. COME INIZIARE ?

36. Come iniziare
✔ Iscriversi alla mailing list “Ubuntu Quality” - annunci di eventi e coordinamento per i
test avvengono in questa mailing list.
✔ Scrivere una mail introduttiva alla mailing list Ubuntu Quality, presentandosi e
scrivendo un po' di quello che vuoi fare.
✔ Iscriversi al QA Team in Launchpad.
✔ Aggiungersi alla pagina “Who We Are” e pagina “Hardware”.
✔ Farsi vivo su IRC! Canale: #ubuntu-quality su irc.freenode.net
✔ https://wiki.ubuntu.com/QATeam/FAQ

37. Dove trovarci:
●Wiki QA Team: https://wiki.ubuntu.com/QATeam
●Ubuntu QA: http://qa.ubuntu.com
●Pagina Facebook: https://www.facebook.com/UbuntuQuality
●Gruppo Facebook: https://www.facebook.com/groups/UbuntuQA
●Pagina Google + : https://plus.google.com/108452779163647535106
●Communita' Google + :
https://plus.google.com/communities/114878029820171227880
●Twitter : https://twitter.com/UbuntuTesting

38. http://wiki.ubuntu-it.org/GruppoTest
Canale IRC: #ubuntu-it-test su Freenode.net

39. Link utili
● http://www.theorangenotebook.com/2014/03/a-simple-look-at-testing-within-ubuntu.html
● https://wiki.ubuntu.com/Touch/CoreApps/Testing
● https://wiki.ubuntu.com/Touch/CoreApps/Testing/ContributeAutopilotTestcase
● http://www.theorangenotebook.com/2014/03/keeping-ubuntu-healthy-core-apps.html
● http://www.theorangenotebook.com/2014/03/keeping-ubuntu-healthy-manual-image.html
● http://www.theorangenotebook.com/2013/08/automated-testing-in-ubuntu.html
● https://www.youtube.com/watch?v=qD_e_xqlBbg (Writing an autopilot testcase)
● https://wiki.ubuntu.com/QATeam/TouchTesting
● https://wiki.ubuntu.com/QATeam/DevelopmentInstall
● https://wiki.ubuntu.com/Testing/ISO/Walkthrough
● http://www.theorangenotebook.com/2013/09/spreading-testing-weight.html
● http://irclogs.ubuntu.com/2014/04/23/%23ubuntu-classroom.html#t18:00
● http://www.theorangenotebook.com/2013/09/a-vision-for-our-testing-future.html
● http://blog.didrocks.fr/post/Ubuntu-Developer-Tools-Center%3A-how-do-we-run-tests