Automated testing solution
for 3G L1 development in Rohde & Schwarz
Technology Center A/S (TCDK)
Remote control of test so...
The company group at a glance
ı History
Established 1933 in Munich, Germany
ı Type of enterprise
Independent family-owned ...
Facts about TCDK
 Founded February 2001 to have a development house





close to the Scandinavian countries.
100 % d...
Hvad beskæftiger afdelingen sig med?
(3G L1)
Afdelingen har ansvaret for at udvikle sw og FPGA’er til 3G lag 1

ı DSP sw
ı...
Hvordan kan man teste 3G lag 1
3G Lag 1 testes oftest ved hjælp af de produkter det indgår i:

ı Produktionstester/Callbox...
Division 1 projects
1CM

CBT
• HW
• BT L1 SW

CMW500/700
• FPGA
• HW
• 2G, 3G, TD-SCDMA,
BT, W-LAN SW
CMW-Cards
• 2G, 3G S...
Test opgaver
ı Test af ny funktionalitet
ı Test af bugfix
ı Regressionstest

11.02.2014

Infinit interessegruppen Software...
Test ved hjælp af produktionstester
Produktionstestere er kendetegnet ved at de ofte benyttes 24/7 og kræver derfor stor
s...
Test ved hjælp af protokoltester
Protokoltester er typisk baseret på et interface kaldet MLAPI
Firmaet udvikler, vedligeho...
Test setup

11.02.2014

Infinit interessegruppen Softwaretest, Seminar 20

10
Automatiseret løsning
tilsyneladende modstridende ønsker
ı
ı
ı
ı
ı
ı

Udviklere: Typisk 1 test case ad gangen og ønske om ...
Automatiseret system, der muliggør deling af test system
Udfordinger:
ı For hver test case eller test sekvens skal det vær...
Elementer i løsningsmodellen
på CMW siden
ı Grundlæggende værktøjer allerede til stede i form af de værktøjer R&S sælger t...
Screenshot fra CMW

11.02.2014

Infinit interessegruppen Softwaretest, Seminar 20

14
Elementer i løsningsmodellen
på brugersiden
ı Ønske om at benytte et konfigurerbart værktøj
ı Ønske om et værktøj der kan ...
Jenkins screenshot - 1

11.02.2014

Infinit interessegruppen Softwaretest, Seminar 20

16
Jenkins screenshot - 2

11.02.2014

Infinit interessegruppen Softwaretest, Seminar 20

17
Screenshot from running Jenkins

11.02.2014

Infinit interessegruppen Softwaretest, Seminar 20

18
Test opfølgning
Værktøj der gennemser logfiler fra test:

ı Genererer PASS/FAIL oversigt, summering af antal test m.m.
Sum...
Yderligere ønsker til test / testmiljø
Idéer til fremtidig ”udvidelse” af test miljøet:

ı Liste over de funktioner der er...
Upcoming SlideShare
Loading in...5
×

Remote control of test solution for developers and tester af Henning Nielsen, Rohde & Schwarz A/S

327

Published on

Oplægget blev holdt ved et seminar i InfinIT-interessegruppen Softwaretest den 11. februar 2014. Læs mere om interessegruppen her: http://infinit.dk/dk/interessegrupper/softwaretest/softwaretest.htm

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
327
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Remote control of test solution for developers and tester af Henning Nielsen, Rohde & Schwarz A/S

  1. 1. Automated testing solution for 3G L1 development in Rohde & Schwarz Technology Center A/S (TCDK) Remote control of test solution for developers and tester
  2. 2. The company group at a glance ı History Established 1933 in Munich, Germany ı Type of enterprise Independent family-owned company ı Global presence In over 70 countries, approx. 60 subsidiaries ı Net revenue Approx. EUR 1.8 billion (FY 11/12, July through June) ı Export share Approx. 90 percent ı Employees 8700 worldwide, with approx. 5500 in Germany ı Success A leading international supplier in all of its fields of business 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 2
  3. 3. Facts about TCDK  Founded February 2001 to have a development house     close to the Scandinavian countries. 100 % daughter of Rohde & Schwarz GmbH & Co. KG Dealing with engineering 100 %. One customer (Rohde & Schwarz GmbH & Co. KG) 49 employees  3 HW developers  10 FPGA developers  29 SW developers  7 staff members 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 3
  4. 4. Hvad beskæftiger afdelingen sig med? (3G L1) Afdelingen har ansvaret for at udvikle sw og FPGA’er til 3G lag 1 ı DSP sw ı FPGA udvikling ı Nye features ı Arbejde med bug reports 3G lag1 benyttes i forskellige af firmaets produkter. 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 4
  5. 5. Hvordan kan man teste 3G lag 1 3G Lag 1 testes oftest ved hjælp af de produkter det indgår i: ı Produktionstester/Callbox (CMW700) ı Protokoltester (CMW500) Ved test af specifikke egenskaber på 3G signalet kan der testes ved hjælp af en special platform. Denne platform er udviklet i München og kaldes Forum 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 5
  6. 6. Division 1 projects 1CM CBT • HW • BT L1 SW CMW500/700 • FPGA • HW • 2G, 3G, TD-SCDMA, BT, W-LAN SW CMW-Cards • 2G, 3G SW Footer: >Insert >Header & Footer 6
  7. 7. Test opgaver ı Test af ny funktionalitet ı Test af bugfix ı Regressionstest 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 7
  8. 8. Test ved hjælp af produktionstester Produktionstestere er kendetegnet ved at de ofte benyttes 24/7 og kræver derfor stor stabilitet. ı SCPI sekvenser ı Ofte stort antal loops for at teste stabilitet 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 8
  9. 9. Test ved hjælp af protokoltester Protokoltester er typisk baseret på et interface kaldet MLAPI Firmaet udvikler, vedligeholder og markedsfører et antal ”pakker” der benyttes til at teste en telefon (UE) Når man tester ved hjælp af protokoltester benyttes oftest test cases fra disse pakker. Ca. 50 ud af pt. 338 test cases er dog specielt udviklet med henblik på intern test af enten 3GL1 eller andre dele af vores 3G løsning. 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 9
  10. 10. Test setup 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 10
  11. 11. Automatiseret løsning tilsyneladende modstridende ønsker ı ı ı ı ı ı Udviklere: Typisk 1 test case ad gangen og ønske om specifikation af telefon m.m. Udviklere: Typisk ønsker de at benytte test systemet i løbet af dagen. Udviklere: Ofte ønsker flere udviklere at benytte det samme system Tester: Sekvens af test cases og med foruddefineret valg af telefon for hver test case Tester: Oftest køres regressionstest i løbet af natten Tester: Ved opfølgning på test kan det blive nødvendigt at køre en eller flere testcases om formiddagen efter man har kørt en natlig test. 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 11
  12. 12. Automatiseret system, der muliggør deling af test system Udfordinger: ı For hver test case eller test sekvens skal det være muligt at skifte 3GL1 SW ı For hver test case eller test sekvens skal det være muligt at skifte miljø version (MLAPI) ı For hver test case eller test sekvens skal det være muligt at gemme logfiler så de nemt kan findes. ı For hver test case skal det være muligt at skifte telefon (UE) ı Det skal være muligt, mellem en enkelte test cases i en test sekvens, at køre en specifik test case. Også selv om det indebærer at der for den pågældende test case skal benyttes en anden 3GL1 SW, anden UE eller anden MLAPI version. Endvidere skal man kunne sætte test job i kø, således man ikke behøves sidde og vente på man får adgang. Når et test job er sat i kø, får brugeren (eller i hvert fald det tool der starter testen) besked når testen er færdig. 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 12
  13. 13. Elementer i løsningsmodellen på CMW siden ı Grundlæggende værktøjer allerede til stede i form af de værktøjer R&S sælger til vores ı ı ı ı ı ı ı kunder Da flere brugere samtidig og uafhængigt skal kun sætte test job i kø vælges en socket baseret model På CMW’en skal der køre et program, der via socket kan modtage test job Da man ønsker at kunne køre både enkelt test og sekvenser samtidig oprettes 2 tråde A: 1 tråd for afvikling af enkelt test cases B: 1 tråd for afvikling af sekvens af test cases. CMW’s program skal så kunne ”flette” de enkelte test ind imellem hinanden Program skrevet i Python (Et script der er under 1000 linjer langt) 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 13
  14. 14. Screenshot fra CMW 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 14
  15. 15. Elementer i løsningsmodellen på brugersiden ı Ønske om at benytte et konfigurerbart værktøj ı Ønske om et værktøj der kan visualisere hvad der ligger i kø ı Jenkins blev valgt, da det i forvejen benyttes til at builde SW for 3G L1 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 15
  16. 16. Jenkins screenshot - 1 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 16
  17. 17. Jenkins screenshot - 2 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 17
  18. 18. Screenshot from running Jenkins 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 18
  19. 19. Test opfølgning Værktøj der gennemser logfiler fra test: ı Genererer PASS/FAIL oversigt, summering af antal test m.m. Summary: total test cases : 382, passed: 334, failed: 2, inconclusive: 0, nack : 46, repeated:22 MLAPI test cases: 338, CMW700 test cases: 33, Forum test cases: 11 MLAPI versions: MCT Tools = 8.36.3 Stack = 3G-MLAPI29.40.1701 BS = 3.2.20.18 PTLI = 3.2.15.4 WM700 versions: CMW_BASE,X3.2.21.5 CMW_WCDMA_Sig,X3.2.70.15 No. of Exceptions=6 No. of SABU Exceptions=0, HardwareServiceTimeouts=0 LicensException=0 ı Lister evt. fejlede test cases Se eksempel senere ı Lister evt. test cases der er blevet gentaget for at få dem til at pass’e Se eksempel senere ı Analyse over visse specielle ting i logfiler ı Liste evt. opståede exceptions under testen 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 19
  20. 20. Yderligere ønsker til test / testmiljø Idéer til fremtidig ”udvidelse” af test miljøet: ı Liste over de funktioner der er/tilføjes til 3GL1 ı Database over de test cases vi har til rådighed, hvor der for hver test case kan vælges hvilke af ovennævnte funktioner der benyttes i den givne test case. ı Søgemulighed for at finde den eller de test cases der udnytter en given funktion. Det gør det muligt for en udvikler at lave en sekvens af test cases der tester eller i hvert fald benytter en given funktion ı Ud fra ovenstående vil det også være muligt at finde ud af test dækning, målt på funktioner / faciliteter der testes af en given sekvens af test cases. 11.02.2014 Infinit interessegruppen Softwaretest, Seminar 20 20
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×