AWS Innovate 2016

1. AWS Device Farm을 이용한
모바일 APP 테스팅
김용우 매니저 (kevkim@amazon.com)
Partner Solutions Architect, Amazon Web Services

2. 목 차
서비스 출시배경
AWS Device Farm 제공 서비스
사용사례
이용요금
요약

3. 어플리케이션 품질관리(QC/QA)의 중요성
• 80%의 사용자는 App문제 발생시 3번이상
다시 시도해 보지 않고 삭제함
• 32% 사용자는 이러한 문제가 발생하면 유사한
기능의 다른 앱을 찾음
• 34%의 사용자는 사용자 리뷰에 기반하여 App을 구매
Failing to meet mobile app user expectations - A mobile app user survey from Dimensional Research
(2015. 4)
http://techbeacon.com/study-reveals-top-mobile-app-performance-failures

4. 고 품질 앱을 제공하는 것이 어려운 이유?
 기기의 스펙 차이로 인한 이슈 발생
 사용자의실제 기기와 같은 기종으로
테스트 필요
 시중에 너무 많은 디바이스 및 OS
버전이 혼재
 모든 모바일 디바이스를 갖추고 사전에
테스트 하는 것은 사실상 불가능함
 수작업에 의한 테스트는 시간이 오래 걸림
Open Signal - Android Fragmentation Visualized (2015/8)
http://opensignal.com/reports/2015/android-fragmentation/

5. 목 차
서비스 출시배경
AWS Device Farm 제공 서비스
사용사례
이용요금
요약

6. 자동화 테스팅
AWS에서 제공하는 다양한 디바이스를 이용해 병렬 테스팅
디바이스에 원격접속
웹 브라우저를 통해 실시간으로 실제 디바이스에
원격접속

7. Android, iOS, Fire OS 앱을
업로드후 테스트 항목을
설정하고 원하는 디바이스 선택
선택한 디바이스를 넣고
병렬로 앱 테스팅 수행
버그, 퍼포먼스 등의 문제를
몇 분 안에 상세하게 리포팅
YOUR
APP +
AWS 클라우드에 호스팅 된 수많은 실제 스마트 폰, 태블릿 및 기타 디바이스로 빠르고
안전하게 Android, iOS, Fire OS 용 앱을 테스트
자동화 테스팅

8. 서비스 제공 디바이스
 디바이스 프로파일은 제조 회사/타입 & 모델/OS버전 등으로 분류
 AWS데이터 센터에 호스팅 되어 있어 고객의 확장 요구에 대응
 충분한 수량( 많은 동일한 디바이스 프로파일)을 보유
 루트권한은 동작하지 않음
 새로운 디바이스가 발매되면 추가됨
새로운 디바이스이용 가능한 최신
디바이스 세트 AWS데이터 센터

9. 앱 등록후 테스트를 진행할 디바이스를 리스트에서 선택하여 테스트 풀을 구성
(자동으로 해당 앱에 대한 호환성 테스트 수행)
서비스 제공 디바이스 (계속)

10. 현재 이용가능한 디바이스 (2016.6.01)
https://aws.amazon.com/device-farm/device-list/

11. • 프로젝트 별로 최적의 테스트 프레임워크를 사용하여 테스팅 구성
• 개발 팀과 QA팀에서 요건이 다르더라도 하나의 공통 플랫폼에 통합가능
테스트 자동화 프레임 워크
Built-in : Explorer Built-in : Fuzz
Buil-in: Fuzz Appium Java (Junit, TestNG)
Appium Java (Junit, TestNG) Appium Python
Appium Python Calabash
Calabash UI Automation
Instrumentation XCTest
Uiautomator XCTest UI
복수의 테스트 프레임 워크 지원

12. Github – AWS Labs 샘플

13. 기본제공 테스트 Suite – Fuzz 테스트
빌트 인 Fuzz시험
• Fuzz시험은 앱에 여러 사용자 입력(터치, 스와이프, 키보드 입력) 이벤트를 통해 UI테스트실시
• 이벤트 수, 간격, 랜덤 이벤트에 사용되는 난수(seed)를 설정
장점
• 테스트 Script 없이 손쉽게 테스트 수행
• 몇 분 내에 호환성 문제를 파악가능
• 테스트 스크립트는 다음의 동작을 수행
• 앱 설치 / 앱의 기동 / Fuzz시험 / 언 인스톨

14. 결과 리포트
 리포트는, 각 디바이스별 상세 정보뿐 아니라 다양한 테스트 결과를 포함
 성공/실패 정보
 Crash 리포트
 테스트 로그
 디바이스 로그
 스크린 샷
 성능 정보

15.  개개의 문제를 파고들어 조사가능 [ 샘플 앱 Crash 예시]
결과 리포트 – 문제 원인파악

16.  테스트 중 캡쳐된 스크린 샷 확인
결과 리포트 – 스크린 샷

17.  테스트 중 사용된 성능(CPU, 메모리 이용, 스레드 수)을 조사
결과 리포트 – 성능/소요자원

18.  테스트에서 작성된 로그 파일을 확인
결과 리포트 – 로그확인

19. Jenkins 플러그인
 Jenkins CI서버와 AWS Device Farm을 기능적으로 연계 하는 플러그인
AWS Device Farm Jenkins Plugin
https://github.com/awslabs/aws-device-farm-jenkins-plugin

20.  테스트 결과(스크린 샷 로그 등)을 다운로드 하는 것도 가능.
Jenkins 플러그인

21. Gradle 플러그인
AWS Device Farm

22. 자동화 테스팅
AWS에서 제공하는 다양한 디바이스를 이용해 병렬 테스팅
디바이스에 원격접속
웹 브라우저를 통해 실시간으로 실제 디바이스에
원격접속

23. 원격으로 접속할 디바이스 선택

24. 웹을 통한 디바이스 접속
앱 업로드
앱 실행

25. 원격 테스트 실행 로그 및 세션 레코딩
레코딩 화면

26. 모든
통신은
SSL 사용
테스트후
APP삭제
모든
외부
데이터삭제
AWS저장
파일30일
후 삭제
디바이스
독점사용
각
기기는
독립적
Device Farm의 보안

27. 목 차
서비스 출시배경
AWS Device Farm 제공 서비스
사용사례
이용요금
요약

28. 힘들게 만든 우리 앱을 AWS에서 테스트 해보겠습니다!
Pig_brothers.apk

29. 1. 프로젝트 작성 2. 앱 업로드
Device Farm 테스트 준비절차
3. 앱 정보 확인 4. 테스트 설정

30. 5. 디바이스 풀 구성
6. 디바이스 설정

31. 7. 테스트 수행/결과
Device Farm 테스트 결과
8. 테스트 스크린 샷

32. Device Farm 테스트 결과 – 자원 사용률 확인
Galaxy Note 5
Galaxy s3
* 기기 성능에 따른 자원 사용률 차이

33. Explorer 테스트 – 스타트 컴퍼니

34. Explorer 테스트 – 사용자 ID 및 Password

35. Explorer 테스트 – 실행결과 Summary

36. Explorer 테스트 – 실행결과 상세
테스트 실행결과 및 로그
다운로드

37. 서비스 출시배경
AWS Device Farm 제공 서비스
사용사례
이용요금
요약
목 차

38. 서비스 이용요금
• 종량 과금(Pay as you go)
• 테스트를 실행하는데 필요한 Device Minutes, 사용시간(분)
무료제공： 250 Device Minutes
무료 소진후：1 Device Minute 당 $0.17 과금
• 정액옵션(Fixed Price)
• 1개의 디바이스를 월 $250 에 이용 (디바이스 숫자가 아닌 Concurrency 갯수)
정액으로 디바이스 이용
Subscription을 변경하지 않아도 언제든지 디바이스 변경가능
Android Family(Fire OS포함) 또는 IOS Family 중 선택

39. Concurrency
(동시 테스트)
시간
１
２
３
４
종량 과금
매월 250×2=$500
디바이스 2개에 대한 정액요금 계약시

40. 서비스 출시배경
AWS Device Farm 제공 서비스
사용사례
이용요금
요약
목 차

41. • 이미 테스트 자동화를 이용 혹은 계획하고 있다.
• 더 많은 디바이스를 이용하고 싶다.
• 자비로 기기 및 인프라를 관리하고 싶지 않다
• 아직 테스트 자동화를 이용하지 않고 있다.
• 테스트 스크립트를 작성하는 자원이 부족하다.
• 테스트를 실시하는 자원이 부족하다
언제 사용해야 하나?
지금 바로 모든 기능을 시험해 보세요!
간단한 Fuzz 테스트 부터 시작하세요! (무료 디바이스 Mins 250)

42. Online Labs & Training
Gain confidence and hands-on
experience with AWS.
Watch free Instructional Videos
and explore Self-Paced Labs
Instructor Led Classes
Learn how to design, deploy and
operate highly available, cost-
effective and secure applications
on AWS in courses led by qualified
AWS instructors
Validate your technical
expertise with AWS and use
practice exams to help you
prepare for AWS Certification
AWS Certification
More info at http://aws.amazon.com/training

43. Thank You for Attending AWS Innovate
We hope you found it interesting!
Do provide us with your feedback for the session and complete the feedback form.
Let us know your thoughts of today’s event and how we can improve the event
experience for you in the future.