HPE 솔루션을 활용한 모바일 앱 테스팅 방안 소개 세미나 발표자료. - 모바일 앱 기능 테스트 자동화 - 모바일 테스팅 랩 관리 - 모바일 앱 테스트 공정 관리 - 모바일 앱 사용자 체험 모니터링

1. 발표제목HPE 솔루션과 함께하는
모바일 앱 테스팅 방안 소개
HPE 소프트웨어
김기배 부장 (ki-bae.kim@hpe.com)

2. 지금 여러분이 서비스 하고 있는
모바일 앱의 평가는 어떤가요?
지금 여러분이 사용하고 있는
모바일 앱에 대한 평가는?
혹은...

3. 몇년째 나아지질 않네...

4. 문제는 급속히 늘어나는 테스트 대상
신규로 출시되는 모바일 기기,
업데이트 되는 모바일 운영체제, 그와중에 업그레이드 안(못)하는 사용자들,
운영체제나 모바일 웹 브라우저도 신규로 개발되고 있음.

5. 테스트 수행시간을 줄여야 해!
하면 가장 먼저 생각나는건 역시 테스트 자동화!!

6. HPE UFT with HPE Mobile Center
레코딩 & 리플레이
실제 기기 및 에뮬레이터
One Script Multi Use
앱 설치 및 삭제 자동화

7. HPE UFT with HPE Mobile Center
레코딩 & 리플레이
실제 기기 및 에뮬레이터
One Script Multi Use
앱 설치 및 삭제 자동화
다수의 기기에서 반복 수행
(자동 수행, 설치 및 삭제 포함)
수작업 테스트 수행 내역을
자동화 도구로 기록

8. 테스트 자동화 도입 시 고려사항
1. 테스트 자동화는 리그레션 테스트 및 멀티 플랫폼 테스트 용도로(만)
2. 테스트 자동화 운영 및 유지관리를 위한 비용에 대한 고려 필요

9. 테스트 효율을 높이기 위해서는
모바일 테스트 랩(Lab)의 관리도 필요하다!!

10. 모바일 테스트 랩(Lab) 관리란...
테스트용 모바일 기기의 관리
필요 기기를 최대한 빨리 제공할 수 있게.
기기의 분실 및 파손을 최소화할 수 있게.
중복 구매를 방지할 수 있게.

11. 그리고 테스트용 모바일 앱의 버전 관리
테스트하라고 받은 파일만 수십개,
테스트 한참 하고 있는데 그 버전이 아니라고?
릴리즈 주기가 짧아지면서 테스트의 효율을 낮추는 주요 요인 중 하나!!

12. HPE Mobile Center
테스트용 모바일 앱의 관리
테스트 수행 시점에 테스트 대상 기기에 자동으로 설치
모바일 기기의 중앙집중 관리
효율적인 시간 배분 및 분실 예방

13. HPE Mobile Center
빌드 자동화 도구를 붙이면...
*OOTB 플러그인 제공
개발빌드 완료시,
해당 빌드의 앱을 자동 업로드

14. 마지막으로, 효율적인 테스트를 위한
테스트 공정 관리

15. 테스트 공정 관리라는게...
관리자 입장에서 좋기는 하겠지만,
실무진은 귀찮은 일만 더 늘어나는거 아닐까?

16. 테스트 공정 관리 안하면...
이 부분에 대한 검증을 했었던가..?
특정 기기에서만 발생하는 문제인가..?
비슷한 결함이 있었던가..?
테스트 활동에 대한 가시성 부재로 인해
테스트 중복 수행으로 이어질 수 있음

17. 테스트의 주 목적은, 단순 에러 확인이 아니고,
요구사항이 제대로 반영되었는지를 확인하는 것인데
요구사항과 테스트결과간의 추적이 어렵다면..?
아니, 요구사항 확인 자체가 어렵다면..?

18. 오픈소스 및 상용 개발 도구와의 연계
HPE ALM
요구사항 관리
비즈니스 요구사항 및 테스트 요구사항
테스트 관리
테스트 케이스, 결과 및 결함
릴리즈 관리
릴리즈별 빌드 및 테스트 현황

19. 오픈소스 및 상용 개발 도구와의 연계
HPE ALM
요구사항 관리
비즈니스 요구사항 및 테스트 요구사항
테스트 관리
테스트 케이스, 결과 및 결함
릴리즈 관리
릴리즈별 빌드 및 테스트 현황
애플리케이션 생명주기 전반에
대한 가시성과
각 데이터간 추적성 제공

20. 정리해볼까요!!

21. 요구사항 관리 테스트 및 결함 관리 릴리즈 관리
기능 테스트 자동 수행모바일 테스트 랩 관리
주요업무에 대한
회귀테스트

22. 요구사항 관리 테스트 및 결함 관리 릴리즈 관리
기능 테스트 자동 수행모바일 테스트 랩 관리
주요업무에 대한
회귀테스트
HPE UFT
주요기능에 대한 회귀 테스트 및
멀티 플랫폼 테스트 자동화
HPE MC
테스트용 모바일 기기 및 모바일 앱
에 대한 체계적인 관리
HPE ALM
다양한 개발 및 테스트 도구와의 연계를 통해 애플리케이션 생명 주기 전반에 대한 가시성, 그리고 각 데이터간의
추적성 제공. 개발자와 테스터를 포함한 프로젝트 이해관계자간의 협업 기반 제공.

23. 테스트 자동화 효율 높여보기

24. 대부분의 개발자는...
본인이 개발한 부분에 대한 검증(디버깅)을 한다.
이들에게 자동화 툴을 쓰라고 해 보자!!

25. 너무 쉽게 예상되는 그들의 반응...

26. 새로운 툴 배우기도 귀찮고 시간도 없어
그냥 에뮬레이터에서 테스트할게
HPE UFT Pro는 Java, C#등
개발자가 사용하는 프로그래밍 언어 사용
에뮬레이터로는 실 기기 스펙을
반영한 기능 및 성능 검증이 어려움. HPE
MC를 이용해서 실제 모바일 기기에 대한
테스트 수행환경 제공
With HPE

27. 서버 랙당 32대의 모바일 기기
60대의 서버 랙
모바일 기기에 대한 원격제어 및
자동화를 통해 개발자 검증 수행

28. 개발자가 본인이 개발한 부분에 대한
테스트 자동화를 수행만 해 준다면
개발 초기단계에서부터 다양한 앱 운영
환경에 대한 기본 검증 수행 효과
개발자들이 만들어 놓은 테스트 자동화
케이스들을 리그레션 테스트 용도로 활용

29. 요구사항 관리 테스트 및 결함 관리 릴리즈 관리
기능 테스트 자동 수행모바일 테스트 랩 관리
매 빌드가 수행 될때 마다,
1. 테스트 용 모바일 앱 자동 배포
2. 기능 테스트 자동 수행 및 결과 수집
개발자들이 작성한
테스트 자동화 케이스

30. 테스트 자동화 효율 조금 더 높여보기

31. 사용자들이 우리의 앱을
실제로 어떻게 쓰는지 알 수 있다면...?

32. 운영체제, 펌웨어가 정확히 무엇인지?
어떤 상황에서 발생한 에러인지?
정확히 어떤 문제가 있었던건지?

33. HPE AppPulse Mobile
에러 발생시 관련 정보 수집
시스템 로그, 액션, 배터리 및 데이터 사용량 등
앱 운영환경에 대한 정보 수집
기기의 모델명, 펌웨어, 접속 지역 등

34. HPE AppPulse Mobile
에러 발생시 관련 정보 수집
시스템 로그, 액션, 배터리 및 데이터 사용량 등
앱 운영환경에 대한 정보 수집
기기의 모델명, 펌웨어, 접속 지역 등
에러 발생 시 수집되는 정보를
활용한 원인 분석
운영환경에 대한 데이터는 분석
하여 테스트 랩 구성에 참고

35. HPE AppPulse Mobile
모바일 앱의 사용 패턴 정보
주로 어떤 메뉴를 이용하는지, 어느 화면에서 종료하는지 등

36. HPE AppPulse Mobile
모바일 앱의 사용 패턴 정보
주로 어떤 메뉴를 이용하는지, 어느 화면에서 종료하는지 등
테스트 시나리오 작성에 활용

37. 요구사항 관리 테스트 및 결함 관리 릴리즈 관리
기능 테스트 자동 수행모바일 테스트 랩 관리
운영 환경에서의 지속적인 Feedback을 통해
테스트 활동 전반에 대한 질적 수준 향상
모바일 앱 운영 데이터 수집

38. 요구사항 관리 테스트 및 결함 관리 릴리즈 관리
기능 테스트 자동 수행모바일 테스트 랩 관리
모바일 앱 운영 데이터 수집
HPE ALM
HPE MC HPE UFT
HPE AppPulse Mobile

39. 모바일 앱 테스트 수행 대상은 갈수록 증가할 것
하루라도 빨리 테스트 자동화 및 관리 기반을 구축하고
효율을 높이는 방향으로 확산하는 것이 바람직하다