© 2016 아주큐엠에스 Corp. All right reserved.Mobile App Test Service
Mobile App 품질 향상을 위한 자동화 솔루션
TouchTest 솔루션 소개
CONTENTS
Ⅰ. 솔루션 개요
1. 솔루션 업체 소개
2. 솔루션 개요
3. 솔루션 주요 기능
Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능
Ⅲ. 제품 비교
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.
1. 솔루션 업체 소개 (1/2)
2222
최초 End-to-End Quality as a Service 플랫폼
최초 Cloud 기반 Load 테스트 솔루션
최초 & 최대 글로벌 테스트 Cloud (17개국, 54 장소, 800K Cloud Servers)
최초 Continuous Mobile 테스트 자동화 솔루션
최초 ‘실시간’ Real User Monitoring(RUM) 솔루션 (web & mobile apps)
전세계 400기업 이상 고객들
SOASTA Cloud 서비스를 사용하는 20,000여명의 Mobile 개발자 및
테스터
2,500개 이상의 Mobile & Web App 테스트에 SOASTA 사용 중
Global Offices
San Francisco, New York, London, Mumbai, Shanghai & Tokyo
SOASTA는 Cloud 성능테스트 솔루션과 실제 Device를 활용한 자동화 솔루션 및 실시간 분석
솔루션을 통하여 전세계적으로 고객을 확보 하고 있는 테스트 분야의 Leading Company입니다.
SOASTA - The Leader in Cloud & Mobile Testing
수상 경력 및 특허 기술
리딩 분야 : Gartner Magic Quadrant & IDC Cloud Testing
3년 연속 Wall Street Journal Top 50 Hottest Companies
Global Award Record – Wall Street Journal 등
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.3333
1. 솔루션 업체 소개 (2/2)
SOASTA 플랫폼을 기반으로 모바일 테스트 자도화 솔루션인 TouchTest를 제공하고 있으며, 성능
테스트 솔루션과 실시간 분석 솔루션도 제품으로 라인업 되어 있습니다.
Gartner – Magic Quadrant
for Integrated Software
Quality Suites
<2014년 8월>
IDC MarketScape :
Worldwide Cloud Testing
and ASQ SaaS 2012–2013
Vendor Analysis
SOASTA 제품 라인업
실제 Device를 활용한 테스트 자동화
도구인 TouchTest와 성능 테스트 및
실시간 사용자 분석 솔루션으로 구성
Global 시장에서의 위치
SOASTA
SOASTA
LeadersChallengers
Niche Players Visionaries
COMPLETENESS OF VISION
A
BILITY
TO
EXECU
TE
IBM
HP
Mcirosoft
Oracle
Borland
CA Technology
SOASTA Products
TouchTest
Mobile Automated
Functional Testing
Android & iOS
No Jailbreaking!
Object based
Real untethered
devices
CloudTest
Load Testing
Web
Web-services
Ajax
Mobile
HDS
Load gen from
Cloud or Internal
mPulse
Real User
Monitoring
100%
Coverage
Real Users
Real Devices
Web & Mobile
Advanced-Analytics
in Real Time
SOASTA Platform
Design – Build – Deploy – Analyze - Monitor
Visual-User
Interface
Web
Interface
Cloud
Automation
In-Memory
Analytics
Functional
Browser
Testing
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.
실제 Market에서 고객이 접하게
되는 다양한 문제점은 Real
Device를 통해서 테스트를
해야만 발견하고 조치할 수 있음
TouchTest는 Mobile 상에서 발생
가능한 고객의 모든 행동 패턴 및
프로세스를 기록하고 다양한
환경에서 자동으로 테스트할 수
있도록 지원함
점점 더 많은 개발 프로젝트가 일정
/비용 상의 이슈로 촉박하게
진행되며, 정해진 테스트 기간 동한
더욱 많은 테스트 수행을 요구함
TouchTest는 Mobile 테스트 활동을
개발 Life Cycle 상의 모든 단계에서
매우 짮은 Cycle(예: 시간 단위)로
수행할 수 있도록 지원함
하나의 테스트 케이스를 이용해서
원하는 종류의 Device를 원하는
규모로 테스트 할 수 있음
TouchTest는 Third-party가 제공하는
Continuous Integration Tool을
이용하여 App의 모든 Build를
자동으로 계속 체크할 수 있음
2. 솔루션 개요
4444
TouchTest는 실제 Mobile Device를 기반으로 테스트 자동화를 구현하여, 실 사용자 경험 중심의
Mobile App 테스트를 빠르고 효율적으로 진행할 수 있도록 합니다.
제품
개요
모바일 시장에서는 스피드가 경쟁력입니다. TouchTest는 하나의 Test로 동시에 원하는 수 만큼의 실제
디바이스를 대상으로 자동화된 테스트를 진행함으로써 테스트 진행 속도를 향상시킬 수 있습니다.
Real Device에 기반한 테스트 자동화 도구
실제 사용환경 기반
테스트
테스트 작성 시간
비약적 감소
멀티 Device
병렬 테스트 수행
One TestOne TestOne TestOne Test Real Multiple DeviceReal Multiple DeviceReal Multiple DeviceReal Multiple Device Instant ROIInstant ROIInstant ROIInstant ROI
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.
3. 솔루션 주요 기능 – 멀티 Device 병렬 테스트 수행
5555
하나의 테스트 케이스를 실제 모바일 Device에서 Recording한 후, 이를 이용해서 원하는 종류의
Device 및 규모로 테스트를 수행 할 수 있습니다.
1) 실 Device를 이용한 Test Script 생성 :
Touchtest 서버와 WiFi를 통해 연결된 실제
단말기로 사용자 테스트 시나리오에 기반한
테스트 실시 및 테스트 Script Recording
2) 작성된 테스트 Script 및 Device 배정 관리 :
- Recording 된 테스트 Script가 다양한 조건으로
수행될 수 있도록 조정
- Wifi로 연결된 테스트 대상 실제 단말기 관리 및
테스트 수행 결과 관리
3) 실제 Device 병렬 테스트 수행 :
- 고객사의 개별 보유 Device 대상 병렬 테스트 수행
- Public Mobile Cloud를 이용한 Device 병렬 테스트 수행
- 동시에 테스트 가능한 Device 수는 사용하는 License 따라 상의함
1개 테스트 생성 멀티 Device 병렬 테스트
실제 Device로 사용 가능한 모든 기능 및 제스처
테스트 및 Recording
[ Touchtest Server ]
[ Test Recording ]
[ Real Multi Device ]
(wifi, 3G, 4G)
(wifi, 3G, 4G)
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.
3. 솔루션 주요 기능 – 실제 사용환경 기반 테스트
6666
고객이 실제 환경에서 접하게 되는 다양한 문제점은 Real Device를 통해서 테스트 해야만
발견하고 조치할 수 있습니다.
Device 상의 모든 동작 지원 : 흔들기, 가로/세로
보기 방향 전환, 화면 회전, 화면 줄이기 등 PC의
마우스로 할 수 없는 모바일 Device의 다양하고
복잡한 움직임을 모두 지원
저장된 테스트의 정확한 재 수행 : 테스트 레코딩
시 수행했던 모든 동작이 레코딩 당시와 똑같은
정확도, 대기시간, 및 수행 속도로 재 수행 됨.
현재 특허 출원 중인 이 기능은 다른 솔루션이
제공할 수 없는 Touchtest 고유 기능임
실제 Device 사용 : 개별 모바일 Device나 전용
Mobile Cloud를 통해, 다양한 모바일 플랫폼에서
메뉴얼 테스트 및 자동화 테스트를 수행할 수
있음. Multiple Device 테스트 수행 시 발생한
다양한 문제점을 상세하게 확인할 수 있음 ( 예 :
화면 깨짐 현상, 다국어 지원 문제 등 ) [ Public Mobile Cloud 사용 ]
[ 개별 실제 Mobile Device 사용 ]
모두 지원
* 실제 Device 사용 예시 ( Real Device vs Publie Mobile Cloud )
실 사용자 환경에서 수행되는 테스트
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.
3. 솔루션 주요 기능 – 테스트 작성 시간 비약적 감소
7777
개발 Life Cycle 상의 모든 단계에서 TouchTest를 이용하여, Mobile 테스트 수행 주기를 매우
짧은 주기(예: 시간 단위)로 진행할 수 있습니다.
다양한 검증 라이브러리 제공 : 자동화 테스트
스크립트 작성 시 Touchtest가 제공하는 광범위한
검증 라이브러리를 다양한 조건에서 사용할 수
있는 편의성 제공
상세한 에러 Reporting 기능 : Dashboard를
통해서 에러가 발생한 시점의 상태를 쉽게 확인할
수 있으며, Link 된 각 에러의 상세 페이지를 통해
에러 발생 원인을 정확하게 파악할 수 있음
Device 성능 모니터링 : CPU, 메모리, 배터리
상태, 주고 받은 데이터, 지역 등에 대한 모니터링
정보를 테스트 결과와 연계하여 확인할 수 있음
더욱 빨라진 테스트 수행 주기 및 시간
Video & Image Capture 기능 제공 : 테스트
결과를 추후 참조할 수 있도록 Still Image 와
Video로 Capture하는 기능을 제공함
테스트 수행 결과 Dashboard 예시 : 테스트 스크립트 각 Action별 수행
결과 및 Device Monitoring, Device 상 기능 동작 상태를 볼 수 있음
Ⅰ. 솔루션 개요
© 2016 아주큐엠에스 Corp. All right reserved.
3. 솔루션 주요 기능 – TouchTest Demo
8888
기능 및 성능 측면에서 안정된 모바일 앱을 시장에 빠르게 Launching 하고자 한다면 TouchTest를
통한 테스트 자동화가 해결책입니다.
주요 기능 수행 데모 영상
실제 Device 사용
모든 제스처의 정확한 인식
실행의 정확도를 높이기 위한
Object 레벨 데이터 수집
테스트 속도를 높이는
Visual 환경
Ⅰ. 솔루션 개요
상태 체크 및 검증을 위한
다양한 라이브러리 제공
테스트 수행속도 향상을
위한 CI 통합
Mobile Device 성능과
연계한 모니터링
대시보드를 통한 실시간
피드백 및 상세 결과 제공
CONTENTS
Ⅰ. 솔루션 개요
Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능
1. 솔루션 구성
2. 주요 기능
Ⅲ. 제품 비교
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.
1. 솔루션 구성
10101010
TouchTest는 데이터 센터 혹은 Cloud에 설치되어, 장소에 제약 없이 다양한 실제 Device를 통해
멀티 테스트 수행이 가능하며, 테스트 편의성을 극대화하는 GUI 개발환경을 제공합니다.
장소에 제약 없이 서버에 연결된 모든
Device를 대상으로 테스트 가능
개별 Device를 이용해 전용 Cloud
구성 가능(예 : 직원 스마트폰)
테스트 수행 시, 모드 Device의 성능
측정을 통해 잠재적 병목 식별
개별 Mobile Device
Device 종류 및 수에 제약 없는
테스트 수행 가능
Cloud 보안이 확보되는 환경 하에
조직 N/W 망 내/외부 어느 곳에나
위치 가능
전용 Device Clouds
실시간 테스트 실행 및 분석
데이터 센터 내부 또는
Public Cloud에 설치 가능
테스트 자동화를 위하여
다양한 CI 프레임워크와 연동
TouchTest 서버
실제 Device를 사용한 레코딩
(wifi, 3G, 4G 사용, 테더링
불필요 )
GUI 테스트 환경
iOS, Android, Mobile Web과
Hybrid 지원
Object 및 Image 기반의
테스트 결과 검증
App의 각 항목에 나타나는
테스트 값 검증을 위해 App
프로그램에 사용되는 모든
Object 인식 가능
혁신적인 테스트 빌더
SOASTA TouchTest Mobile
Automation Architecture
Ⅱ. 자동화를 위한 구성 및 주요 기능
© 2016 아주큐엠에스 Corp. All right reserved.
2. 주요 기능 - Build & Regression (1/4)
11111111
Moblie Testing
Lifecycle
TouchTest
Library
App Code
Continuous
integration
Regression
Tests
New
Tests
Analysis
Feedback
Loop
TouchTestable
App
Recording
Test
Creation
Tests
Composition
TouchTest는 주요 Continuous Integration 프레임워크의 Plug-In을 제공하여 개발 프로세스의
빌드와 회귀테스트를 유기적으로 연동하고, 지속적인 통합을 지원합니다.
Build Process
• Continuous Integration 프로세스 과정에서 Touch
Test Library가 App에 자동으로 통합
• TouchTest Library는 Mobile App 성능 및 수행에
방해되지 않는 최소한의 정적인 형태
• TouchTest Library는 테스트 목적으로 통합되며,
최종 버전에는 통합되지 않음
• Jenkins와 Bamboo를 포함한 주요 Continuous
Integration 프레임워크 지원
1
Regression Testing
• Continuous Integration에서 직접 테스트를 실행하기
위한 Plug-In 제공
• Test결과는 Continuous Integration 프레임워크의
Dashboard에 추가 가능
• Continuous Integration 대시보드에서 TouchTest에
직접 액세스하여 테스트 및 검증 결과 식별 가능
2
Mobile Test Automation
1
2
Execution
Ⅱ. 자동화를 위한 구성 및 주요 기능
© 2016 아주큐엠에스 Corp. All right reserved.
2. 주요 기능 - Recording & Test Creation (2/4)
12121212
Moblie Testing
Lifecycle
TouchTest
Library
App Code
Continuous
integration
Regression
Tests
New
Tests
Analysis
Feedback
Loop
TouchTestable
App
Recording
Test
Creation
Tests
Composition
TouchTest는 Object Locator을 활용하여 Mobile 동작을 정확히 인식하고, GUI 환경에서
70여종의 다양한 검증기능을 제공하여 복잡한 테스트 케이스의 작성 속도를 향상시킵니다.
Recording
• 실제 Device에서 탈옥할 필요 없이 Wi-Fi or
3G/4G를 통해 레코딩 수행
• TouchTest library를 통해 생성된 TouchTestable
App의 모든 Gestures, Action, Event를 정확하고
완벽하게 기록
• Native iOS / Android, Mobile Web, Hybrid에 대한
테스트 수행
• Object Locator는 object-based 검증에 필요한
App의 모든 오브젝트를 식별할 수 있음
3
Test Creation
• GUI 개발환경에서 테스트 케이스 작성
• 검증을 위해 조건, 반복, 대기, case/switch등
다양한 구문 추가 가능
• 70여종의 UI object-based 검증 Library를 활용하여
작업 속도를 향상
• Data-Seed 마법사를 활용하여 Data-Driven 테스트
작성 가능
• JavaScript를 통해 복잡한 테스트 작성 지원
4
Mobile Test Automation
3
4
Execution
Ⅱ. 자동화를 위한 구성 및 주요 기능
© 2016 아주큐엠에스 Corp. All right reserved.
2. 주요 기능 - Test Composition & Execution (3/4)
13131313
Moblie Testing
Lifecycle
TouchTest
Library
App Code
Continuous
integration
Regression
Tests
New
Tests
Analysis
Feedback
Loop
TouchTestable
App
Recording
Test
Creation
Tests
Composition
Execution
TouchTest는 비주얼 타임라인 위에 테스트를 배치하여 다양한 Device로 동시에 테스트 가능하며,
Back-end 성능 테스트를 혼합하여 트랜젝션 영향도를 함께 파악할 수 있습니다.
Test Composition
• Test 시나리오는 비주얼 타임라인 위에 배치되어
음악 파티션과 같이 반복, 대기, 일시 정지 기능을
수행할 수 있도록 구성
• 다양한 방법의 Multiple 테스트 수행
- 동일한 Device에서 다양한 시나리오를 수행
- 동일한 시나리오를 서로 다른 Device에서 수행
• App 성능에 대한 트랜잭션 영향도를 파악하기
위하여, 부하 테스트를 동일한 Test Composition에
혼합하여 구성 가능
5
Test Execution
• 테스트 실행은 로컬 Test Lab 내부에서 또는 Wi-
Fi나 3G/4G를 통하여 전세계 어느 장소에서도
가능
• Private device cloud는 방화벽 내부에 Private Lab
형태로 설치 가능하며, 기업 인트라넷 내에서 세계
어느 곳에도 설치 가능
• 테스트를 수행하는 동안 디버그를 위해 실시간으로
일시 정지 및 재 시작 할 수 있음
6
Mobile Test Automation
6
5
Ⅱ. 자동화를 위한 구성 및 주요 기능
© 2016 아주큐엠에스 Corp. All right reserved.
2. 주요 기능 - Analysis & Feedback Loop (4/4)
14141414
Moblie Testing
Lifecycle
TouchTest
Library
App Code
Continuous
integration
Regression
Tests
New
Tests
Analysis
Feedback
Loop
TouchTestable
App
Recording
Test
Creation
Tests
Composition
Execution
테스트 결과는 다양한 Dashboard를 통하여 손쉽게 접근 가능하며, Drag&Drop을 통한 Action
단위의 검증과 다양한 Output 설정 기능의 제공으로 유지보수 편의성을 향상시킵니다.
Analysis
• 분석된 테스트 결과는 특화된 대시보드
인터페이스를 통해 실시간으로 확인 가능
• 테스트 검증 결과 및 다양한 Output을 통하여
테스트 결과에 손쉽게 접근 가능
• 테스트 수행 중 모든 장치의 성능지표를
실시간으로 접근하여 Mobile App 내에서 잠재적인
성능 병목 현상을 식별함
• 성능 지표는 CPU, 메모리, 데이터, 배터리 사용량
뿐만 아니라 신호 강도 및 GPS 정보를 포함
7
Feedback Loop
• 새로운 검증 항목과 검증결과(Outputs)는 기존
테스트 시나리오를 수정하지 않고 쉽게 추가 될 수
있음 (Action단위 추가 가능)
• Drag and Drop 인터페이스는 시각적인 형태의
유지보수를 가능하게 함
• 검증된 테스트 케이스는 자동화된 회귀 테스트에
쉽게 추가 할 수 있음
8
Mobile Test Automation
7
8
Ⅱ. 자동화를 위한 구성 및 주요 기능
CONTENTS
Ⅰ. 솔루션 개요
Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능
Ⅲ. 제품 비교
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.
1. 제품 비교
16161616
SOASTA의 Test Automation 솔루션인 TouchTest는 HP 및 Micro Focus의 자동화 솔루션과 비교
하여, 여러 기능 측면에서 강점을 가지고 있는 전문 솔루션입니다.
Ⅲ. 제품 비교
Company Solution 특징 멀티OS Device병렬 연결방법 Case 작성
Object
인식
DashBoard
SOASTA TouchTest 코딩 없이 손쉽게 복잡한
테스트 작성 및 유지보수
한 개의 Test Script를 수정 없이
여러 Device에 적용
병렬 멀티 테스트가 가능한
극대화된 확장성
다양한 Native Action 및
Function 제공
Web Base로 다수의 사용자가
다수의 동시 작업 및 리소스
공유 가능
iOS,
Android
가능
(Drag & Drop)
Web Base
- 무선
(내/외부망)
Agent
Record +
Script
Action별
Record &
편집
Object
Based
가능
Report제공
Micro
Focus
Silk Mobile Native, Image, Text 기반의
인식 지원
표준 개발 언어로 스크립트
생성 및 Export 가능
테스트 대상 OS별 별도 제품
구매 필요
iOS,
Android,
Windows 등
추가작업
(Script 작성)
Client Base
- USB
Record +
Script
전체 Record
이후 편집
Image
Based
(일부 Object
Based)
없음
Report제공
HP Mobile
Center
직접적인 자동화 도구라기
보다는 Device관리를 바탕으로
UFT, LoadRunner와 같은
도구와의 연동을 통한 테스트
수행
iOS,
Android
iOS7 이상
제약
미지원 Web Base
- USB
Agent
HP-UFT 추가 필요 없음
Report제공
TestPlant eggplant Image 기반으로 전체 Device
컨트롤 가능
Device 별 Script 재활용 가능
병렬 멀티 테스트 불가
iOS,
Android,
Windows 등
미지원 Client Base
- USB / 무선
(VNC)
Script Image
Based
없음
Strength Point※ 범례 :
CONTENTS
Ⅰ. 솔루션 개요
Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능
Ⅲ. 제품 비교
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
1. ROI – 매뉴얼 vs. 자동화
2. 미국 E*Trade & EMC
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.18181818
원하는 품질의 App을 운영하기 위해서는 단말기, 테스트 케이스, 릴리즈 횟수 등에 비례하여
다양한 테스트 및 수행공수가 요구되며, 테스트 자동화의 구성은 선택이 아닌 필수가 되었습니다.
1. ROI – 매뉴얼 vs. 자동화
As-Is 매뉴얼 테스트
3 apps
[운영 모바일 앱]
평균
100 case
[테스트 케이스]
40 devices
[지원 단말기]
2015년 15 회
[연간 릴리즈]
[수행시간]
평균 0.5 시간
3 x 100 x 40 x 15 x 0.5 = 90,000 hr
⇒ 562MM
To-Be 자동화 테스트
버전 날짜
Oct 27, 2015 Version 4.2.9
Oct 20, 2015 Version 4.2.8
Sep 30, 2015 Version 4.2.7
Sep 26, 2015 Version 4.2.6
Sep 24, 2015 Version 4.2.5 평균 0.5 시간 ⇒ 0.1 시간
3 x 100 x 1 x 15 x 0.1 = 450 hr
⇒ 3MM
연간 수행공수
[지원 단말기] [수행시간]
40 devices
⇒ 테스트 동시 1 번
수행
연간 수행공수
[ Touchtest Server ]
병렬 수행
“테스트 자동화는 선택이 아닌 필수”
( 562MM ⇒ 3MM )
실행 &
모니터링
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
© 2016 아주큐엠에스 Corp. All right reserved.19191919
2. E*Trade & EMC
미국 E*Trade - 회귀테스트 자동화 스위트 미국 EMC - 스크립팅 시간 감소
문제점 : 매뉴얼 테스팅의
병목현상
주요 해결방안 : 오브젝트
레벨 테스팅, 코딩의
최소화
결과
자동화된 150여개의
사용자 시나리오
회귀테스트 수행
QC와 CI도구인 Jenkins와의
연동
2년 장기계약 연장
문제점 : Selenium을 이용한 개발에 많은
시간이 소요됨 (Open-source 자동화 솔루션)
주요 해결방안 : 빠르고 유연한 비주얼 환경
결과 : 5개월 분량의 Selenium 스크립트를
5주로 개발 시간 감소
Mobile 혁신 추진 (with TouchTest) Selenium 5개월 개발 => TouchTest 5주
TouchTest는 매뉴얼 테스트로 인한 병목현상을 자동화된 회귀테스트로 개선 하였으며, 타 솔루션
이용 시 5개월 분량의 테스트 개발 시간을 5주 이내로 단축시키며 효율성을 입증 했습니다.
Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
CONTENTS
Ⅰ. 솔루션 개요
Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능
Ⅲ. 적용 사례
Ⅳ. 제품 비교
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.
1. 아주큐엠에스 소개
21212121
1999년에 설립된 아주큐엠에스는 2005년부터 현재까지 10년 동안 테스팅서비스 전문 회사로서
기업 어플리케이션 품질확보에 필요한 테스트 및 컨설팅 서비스를 제공하고 있습니다.
테스트 프로세스 컨설팅 모바일 테스트 서비스
차세대 프로젝트
QMO 컨설팅
테스트 프로세스 진단 후 국제 표준, Best
Practice에 기반한 개선 프로세스 제시 및
Setup
시범운영을 통한 실제 운영 성과 측정
분석 단계부터 릴리스 후 운영 이관까지
전체 개발 Life Cycle에 기반한 테스트
서비스 제공
개발 완료 후 품질 확보를 위한 모니터링
서비스 제공
테스트 전문가를 통한 테스트 전반 활동
수행
고객사 개발/운영 조직과 R&R에 기반한
협업 수행
환경변화(OS Upgrade, 신규 Device 출시)
및 주기적인 Event/Renewal에 대응한
품질점검 활동 수행
테스트에 기반한 주기적 품질 보고서 제출
QMO 컨설팅 서비스
제 3자 테스트 서비스
2015.06 kt 차세대 BSS 구축 2단계 QMO/PMO 운영
2014.08 SKT U-Key 3.0 QMO 프로젝트
2014.08 kt 차세대 BSS 구축 1단계 QMO 운영
2014.02 교보생명 품질 및 테스트 체계개선 프로젝트
2012.11 동부화재 차세대 테스트 컨설팅
2011.07 KB국민카드 인터넷서비스 구축 ISP/PI/PMO 컨설팅
최근 10년 주요 사업 실적
품질 확보를 위한 강력하고 다양한 솔루션 판매
당사 고유
방법론 및
솔루션Service
차별성
수행을
리딩하는
컨설턴트
다수의
차세대
프로젝트
경험
• TouchTest : Mobile 테스트 자동화 툴
• CloudTest : 성능 테스트 툴
• ARA™ : 영향도 분석 툴
주요 서비스
2011.02 아주캐피탈 신차세대 테스트 PMO 컨설팅
2010.07 KB국민은행 IT관리 포털 시스템 ISP/PI 컨설팅
2007.03 KB국민은행 차세대 프로젝트 3자 Test / QMO
2006.11 SKT U Key 운영/상시품질관리 Test 아웃 소싱
2005.05 SKT 차세대 프로젝트 QA/Test컨설팅, 3자 테스트
Ⅴ. 아주큐엠에스 소개
© 2016 아주큐엠에스 Corp. All right reserved.
1. 아주큐엠에스 소개 - 주요 프로젝트 수행 사례
22222222
Customer / Project 수행기간 제공 Service
차세대 프로젝트
2005.05
~
2006.10
PMO 컨설팅,
QA/Test 컨설팅,
3자 테스트
U.Key 운영
상시품질 관리
2006.11
~
현재
Test/QA 컨설팅,
Test 아웃소싱
차세대 프로젝트
2007.03
~
2010.02
PMO 컨설팅
(with ATK)
Test/QA 컨설팅
IT 운영
프로세스 개선
2010.06
~
2010.12
IT/PI 컨설팅
Smart Sizing
추진전략
2013.12
~
2014.04
PMO 컨설팅
신차세대
프로젝트
2011.02
~
2012.06
PMO 컨설팅,
QA/Test 컨설팅,
3자 테스트
Customer / Project 수행기간 제공 Service
BIT – BSS
2012.06
~
2013.09
테스트컨설팅,
3자 테스트
차세대 프로젝트
2012.11
~
2013.05
테스트컨설팅
운영 시스템
테스트전략 수립
컨설팅
2014.02
~
2014.07
테스트컨설팅
차세대 BSS 구축
1, 2단계
QMO
2014.08
~
현재
QMO 컨설팅
U.Key 3.0
PI 프로젝트 QMO
2014.09
~
2016.02
QMO 컨설팅
T-Mobile 운영품질 2014.10 TouchTest 납품
Ⅴ. 아주큐엠에스 소개
모바일 자동화 솔루션 Touch Test 소개

모바일 자동화 솔루션 Touch Test 소개

  • 1.
    © 2016 아주큐엠에스Corp. All right reserved.Mobile App Test Service Mobile App 품질 향상을 위한 자동화 솔루션 TouchTest 솔루션 소개
  • 2.
    CONTENTS Ⅰ. 솔루션 개요 1.솔루션 업체 소개 2. 솔루션 개요 3. 솔루션 주요 기능 Ⅱ. 테스트 자동화를 위한 구성 및 주요 기능 Ⅲ. 제품 비교 Ⅳ. 툴 도입에 따른 ROI 및 적용 사례 Ⅴ. 아주큐엠에스 소개
  • 3.
    © 2016 아주큐엠에스Corp. All right reserved. 1. 솔루션 업체 소개 (1/2) 2222 최초 End-to-End Quality as a Service 플랫폼 최초 Cloud 기반 Load 테스트 솔루션 최초 & 최대 글로벌 테스트 Cloud (17개국, 54 장소, 800K Cloud Servers) 최초 Continuous Mobile 테스트 자동화 솔루션 최초 ‘실시간’ Real User Monitoring(RUM) 솔루션 (web & mobile apps) 전세계 400기업 이상 고객들 SOASTA Cloud 서비스를 사용하는 20,000여명의 Mobile 개발자 및 테스터 2,500개 이상의 Mobile & Web App 테스트에 SOASTA 사용 중 Global Offices San Francisco, New York, London, Mumbai, Shanghai & Tokyo SOASTA는 Cloud 성능테스트 솔루션과 실제 Device를 활용한 자동화 솔루션 및 실시간 분석 솔루션을 통하여 전세계적으로 고객을 확보 하고 있는 테스트 분야의 Leading Company입니다. SOASTA - The Leader in Cloud & Mobile Testing 수상 경력 및 특허 기술 리딩 분야 : Gartner Magic Quadrant & IDC Cloud Testing 3년 연속 Wall Street Journal Top 50 Hottest Companies Global Award Record – Wall Street Journal 등 Ⅰ. 솔루션 개요
  • 4.
    © 2016 아주큐엠에스Corp. All right reserved.3333 1. 솔루션 업체 소개 (2/2) SOASTA 플랫폼을 기반으로 모바일 테스트 자도화 솔루션인 TouchTest를 제공하고 있으며, 성능 테스트 솔루션과 실시간 분석 솔루션도 제품으로 라인업 되어 있습니다. Gartner – Magic Quadrant for Integrated Software Quality Suites <2014년 8월> IDC MarketScape : Worldwide Cloud Testing and ASQ SaaS 2012–2013 Vendor Analysis SOASTA 제품 라인업 실제 Device를 활용한 테스트 자동화 도구인 TouchTest와 성능 테스트 및 실시간 사용자 분석 솔루션으로 구성 Global 시장에서의 위치 SOASTA SOASTA LeadersChallengers Niche Players Visionaries COMPLETENESS OF VISION A BILITY TO EXECU TE IBM HP Mcirosoft Oracle Borland CA Technology SOASTA Products TouchTest Mobile Automated Functional Testing Android & iOS No Jailbreaking! Object based Real untethered devices CloudTest Load Testing Web Web-services Ajax Mobile HDS Load gen from Cloud or Internal mPulse Real User Monitoring 100% Coverage Real Users Real Devices Web & Mobile Advanced-Analytics in Real Time SOASTA Platform Design – Build – Deploy – Analyze - Monitor Visual-User Interface Web Interface Cloud Automation In-Memory Analytics Functional Browser Testing Ⅰ. 솔루션 개요
  • 5.
    © 2016 아주큐엠에스Corp. All right reserved. 실제 Market에서 고객이 접하게 되는 다양한 문제점은 Real Device를 통해서 테스트를 해야만 발견하고 조치할 수 있음 TouchTest는 Mobile 상에서 발생 가능한 고객의 모든 행동 패턴 및 프로세스를 기록하고 다양한 환경에서 자동으로 테스트할 수 있도록 지원함 점점 더 많은 개발 프로젝트가 일정 /비용 상의 이슈로 촉박하게 진행되며, 정해진 테스트 기간 동한 더욱 많은 테스트 수행을 요구함 TouchTest는 Mobile 테스트 활동을 개발 Life Cycle 상의 모든 단계에서 매우 짮은 Cycle(예: 시간 단위)로 수행할 수 있도록 지원함 하나의 테스트 케이스를 이용해서 원하는 종류의 Device를 원하는 규모로 테스트 할 수 있음 TouchTest는 Third-party가 제공하는 Continuous Integration Tool을 이용하여 App의 모든 Build를 자동으로 계속 체크할 수 있음 2. 솔루션 개요 4444 TouchTest는 실제 Mobile Device를 기반으로 테스트 자동화를 구현하여, 실 사용자 경험 중심의 Mobile App 테스트를 빠르고 효율적으로 진행할 수 있도록 합니다. 제품 개요 모바일 시장에서는 스피드가 경쟁력입니다. TouchTest는 하나의 Test로 동시에 원하는 수 만큼의 실제 디바이스를 대상으로 자동화된 테스트를 진행함으로써 테스트 진행 속도를 향상시킬 수 있습니다. Real Device에 기반한 테스트 자동화 도구 실제 사용환경 기반 테스트 테스트 작성 시간 비약적 감소 멀티 Device 병렬 테스트 수행 One TestOne TestOne TestOne Test Real Multiple DeviceReal Multiple DeviceReal Multiple DeviceReal Multiple Device Instant ROIInstant ROIInstant ROIInstant ROI Ⅰ. 솔루션 개요
  • 6.
    © 2016 아주큐엠에스Corp. All right reserved. 3. 솔루션 주요 기능 – 멀티 Device 병렬 테스트 수행 5555 하나의 테스트 케이스를 실제 모바일 Device에서 Recording한 후, 이를 이용해서 원하는 종류의 Device 및 규모로 테스트를 수행 할 수 있습니다. 1) 실 Device를 이용한 Test Script 생성 : Touchtest 서버와 WiFi를 통해 연결된 실제 단말기로 사용자 테스트 시나리오에 기반한 테스트 실시 및 테스트 Script Recording 2) 작성된 테스트 Script 및 Device 배정 관리 : - Recording 된 테스트 Script가 다양한 조건으로 수행될 수 있도록 조정 - Wifi로 연결된 테스트 대상 실제 단말기 관리 및 테스트 수행 결과 관리 3) 실제 Device 병렬 테스트 수행 : - 고객사의 개별 보유 Device 대상 병렬 테스트 수행 - Public Mobile Cloud를 이용한 Device 병렬 테스트 수행 - 동시에 테스트 가능한 Device 수는 사용하는 License 따라 상의함 1개 테스트 생성 멀티 Device 병렬 테스트 실제 Device로 사용 가능한 모든 기능 및 제스처 테스트 및 Recording [ Touchtest Server ] [ Test Recording ] [ Real Multi Device ] (wifi, 3G, 4G) (wifi, 3G, 4G) Ⅰ. 솔루션 개요
  • 7.
    © 2016 아주큐엠에스Corp. All right reserved. 3. 솔루션 주요 기능 – 실제 사용환경 기반 테스트 6666 고객이 실제 환경에서 접하게 되는 다양한 문제점은 Real Device를 통해서 테스트 해야만 발견하고 조치할 수 있습니다. Device 상의 모든 동작 지원 : 흔들기, 가로/세로 보기 방향 전환, 화면 회전, 화면 줄이기 등 PC의 마우스로 할 수 없는 모바일 Device의 다양하고 복잡한 움직임을 모두 지원 저장된 테스트의 정확한 재 수행 : 테스트 레코딩 시 수행했던 모든 동작이 레코딩 당시와 똑같은 정확도, 대기시간, 및 수행 속도로 재 수행 됨. 현재 특허 출원 중인 이 기능은 다른 솔루션이 제공할 수 없는 Touchtest 고유 기능임 실제 Device 사용 : 개별 모바일 Device나 전용 Mobile Cloud를 통해, 다양한 모바일 플랫폼에서 메뉴얼 테스트 및 자동화 테스트를 수행할 수 있음. Multiple Device 테스트 수행 시 발생한 다양한 문제점을 상세하게 확인할 수 있음 ( 예 : 화면 깨짐 현상, 다국어 지원 문제 등 ) [ Public Mobile Cloud 사용 ] [ 개별 실제 Mobile Device 사용 ] 모두 지원 * 실제 Device 사용 예시 ( Real Device vs Publie Mobile Cloud ) 실 사용자 환경에서 수행되는 테스트 Ⅰ. 솔루션 개요
  • 8.
    © 2016 아주큐엠에스Corp. All right reserved. 3. 솔루션 주요 기능 – 테스트 작성 시간 비약적 감소 7777 개발 Life Cycle 상의 모든 단계에서 TouchTest를 이용하여, Mobile 테스트 수행 주기를 매우 짧은 주기(예: 시간 단위)로 진행할 수 있습니다. 다양한 검증 라이브러리 제공 : 자동화 테스트 스크립트 작성 시 Touchtest가 제공하는 광범위한 검증 라이브러리를 다양한 조건에서 사용할 수 있는 편의성 제공 상세한 에러 Reporting 기능 : Dashboard를 통해서 에러가 발생한 시점의 상태를 쉽게 확인할 수 있으며, Link 된 각 에러의 상세 페이지를 통해 에러 발생 원인을 정확하게 파악할 수 있음 Device 성능 모니터링 : CPU, 메모리, 배터리 상태, 주고 받은 데이터, 지역 등에 대한 모니터링 정보를 테스트 결과와 연계하여 확인할 수 있음 더욱 빨라진 테스트 수행 주기 및 시간 Video & Image Capture 기능 제공 : 테스트 결과를 추후 참조할 수 있도록 Still Image 와 Video로 Capture하는 기능을 제공함 테스트 수행 결과 Dashboard 예시 : 테스트 스크립트 각 Action별 수행 결과 및 Device Monitoring, Device 상 기능 동작 상태를 볼 수 있음 Ⅰ. 솔루션 개요
  • 9.
    © 2016 아주큐엠에스Corp. All right reserved. 3. 솔루션 주요 기능 – TouchTest Demo 8888 기능 및 성능 측면에서 안정된 모바일 앱을 시장에 빠르게 Launching 하고자 한다면 TouchTest를 통한 테스트 자동화가 해결책입니다. 주요 기능 수행 데모 영상 실제 Device 사용 모든 제스처의 정확한 인식 실행의 정확도를 높이기 위한 Object 레벨 데이터 수집 테스트 속도를 높이는 Visual 환경 Ⅰ. 솔루션 개요 상태 체크 및 검증을 위한 다양한 라이브러리 제공 테스트 수행속도 향상을 위한 CI 통합 Mobile Device 성능과 연계한 모니터링 대시보드를 통한 실시간 피드백 및 상세 결과 제공
  • 10.
    CONTENTS Ⅰ. 솔루션 개요 Ⅱ.테스트 자동화를 위한 구성 및 주요 기능 1. 솔루션 구성 2. 주요 기능 Ⅲ. 제품 비교 Ⅳ. 툴 도입에 따른 ROI 및 적용 사례 Ⅴ. 아주큐엠에스 소개
  • 11.
    © 2016 아주큐엠에스Corp. All right reserved. 1. 솔루션 구성 10101010 TouchTest는 데이터 센터 혹은 Cloud에 설치되어, 장소에 제약 없이 다양한 실제 Device를 통해 멀티 테스트 수행이 가능하며, 테스트 편의성을 극대화하는 GUI 개발환경을 제공합니다. 장소에 제약 없이 서버에 연결된 모든 Device를 대상으로 테스트 가능 개별 Device를 이용해 전용 Cloud 구성 가능(예 : 직원 스마트폰) 테스트 수행 시, 모드 Device의 성능 측정을 통해 잠재적 병목 식별 개별 Mobile Device Device 종류 및 수에 제약 없는 테스트 수행 가능 Cloud 보안이 확보되는 환경 하에 조직 N/W 망 내/외부 어느 곳에나 위치 가능 전용 Device Clouds 실시간 테스트 실행 및 분석 데이터 센터 내부 또는 Public Cloud에 설치 가능 테스트 자동화를 위하여 다양한 CI 프레임워크와 연동 TouchTest 서버 실제 Device를 사용한 레코딩 (wifi, 3G, 4G 사용, 테더링 불필요 ) GUI 테스트 환경 iOS, Android, Mobile Web과 Hybrid 지원 Object 및 Image 기반의 테스트 결과 검증 App의 각 항목에 나타나는 테스트 값 검증을 위해 App 프로그램에 사용되는 모든 Object 인식 가능 혁신적인 테스트 빌더 SOASTA TouchTest Mobile Automation Architecture Ⅱ. 자동화를 위한 구성 및 주요 기능
  • 12.
    © 2016 아주큐엠에스Corp. All right reserved. 2. 주요 기능 - Build & Regression (1/4) 11111111 Moblie Testing Lifecycle TouchTest Library App Code Continuous integration Regression Tests New Tests Analysis Feedback Loop TouchTestable App Recording Test Creation Tests Composition TouchTest는 주요 Continuous Integration 프레임워크의 Plug-In을 제공하여 개발 프로세스의 빌드와 회귀테스트를 유기적으로 연동하고, 지속적인 통합을 지원합니다. Build Process • Continuous Integration 프로세스 과정에서 Touch Test Library가 App에 자동으로 통합 • TouchTest Library는 Mobile App 성능 및 수행에 방해되지 않는 최소한의 정적인 형태 • TouchTest Library는 테스트 목적으로 통합되며, 최종 버전에는 통합되지 않음 • Jenkins와 Bamboo를 포함한 주요 Continuous Integration 프레임워크 지원 1 Regression Testing • Continuous Integration에서 직접 테스트를 실행하기 위한 Plug-In 제공 • Test결과는 Continuous Integration 프레임워크의 Dashboard에 추가 가능 • Continuous Integration 대시보드에서 TouchTest에 직접 액세스하여 테스트 및 검증 결과 식별 가능 2 Mobile Test Automation 1 2 Execution Ⅱ. 자동화를 위한 구성 및 주요 기능
  • 13.
    © 2016 아주큐엠에스Corp. All right reserved. 2. 주요 기능 - Recording & Test Creation (2/4) 12121212 Moblie Testing Lifecycle TouchTest Library App Code Continuous integration Regression Tests New Tests Analysis Feedback Loop TouchTestable App Recording Test Creation Tests Composition TouchTest는 Object Locator을 활용하여 Mobile 동작을 정확히 인식하고, GUI 환경에서 70여종의 다양한 검증기능을 제공하여 복잡한 테스트 케이스의 작성 속도를 향상시킵니다. Recording • 실제 Device에서 탈옥할 필요 없이 Wi-Fi or 3G/4G를 통해 레코딩 수행 • TouchTest library를 통해 생성된 TouchTestable App의 모든 Gestures, Action, Event를 정확하고 완벽하게 기록 • Native iOS / Android, Mobile Web, Hybrid에 대한 테스트 수행 • Object Locator는 object-based 검증에 필요한 App의 모든 오브젝트를 식별할 수 있음 3 Test Creation • GUI 개발환경에서 테스트 케이스 작성 • 검증을 위해 조건, 반복, 대기, case/switch등 다양한 구문 추가 가능 • 70여종의 UI object-based 검증 Library를 활용하여 작업 속도를 향상 • Data-Seed 마법사를 활용하여 Data-Driven 테스트 작성 가능 • JavaScript를 통해 복잡한 테스트 작성 지원 4 Mobile Test Automation 3 4 Execution Ⅱ. 자동화를 위한 구성 및 주요 기능
  • 14.
    © 2016 아주큐엠에스Corp. All right reserved. 2. 주요 기능 - Test Composition & Execution (3/4) 13131313 Moblie Testing Lifecycle TouchTest Library App Code Continuous integration Regression Tests New Tests Analysis Feedback Loop TouchTestable App Recording Test Creation Tests Composition Execution TouchTest는 비주얼 타임라인 위에 테스트를 배치하여 다양한 Device로 동시에 테스트 가능하며, Back-end 성능 테스트를 혼합하여 트랜젝션 영향도를 함께 파악할 수 있습니다. Test Composition • Test 시나리오는 비주얼 타임라인 위에 배치되어 음악 파티션과 같이 반복, 대기, 일시 정지 기능을 수행할 수 있도록 구성 • 다양한 방법의 Multiple 테스트 수행 - 동일한 Device에서 다양한 시나리오를 수행 - 동일한 시나리오를 서로 다른 Device에서 수행 • App 성능에 대한 트랜잭션 영향도를 파악하기 위하여, 부하 테스트를 동일한 Test Composition에 혼합하여 구성 가능 5 Test Execution • 테스트 실행은 로컬 Test Lab 내부에서 또는 Wi- Fi나 3G/4G를 통하여 전세계 어느 장소에서도 가능 • Private device cloud는 방화벽 내부에 Private Lab 형태로 설치 가능하며, 기업 인트라넷 내에서 세계 어느 곳에도 설치 가능 • 테스트를 수행하는 동안 디버그를 위해 실시간으로 일시 정지 및 재 시작 할 수 있음 6 Mobile Test Automation 6 5 Ⅱ. 자동화를 위한 구성 및 주요 기능
  • 15.
    © 2016 아주큐엠에스Corp. All right reserved. 2. 주요 기능 - Analysis & Feedback Loop (4/4) 14141414 Moblie Testing Lifecycle TouchTest Library App Code Continuous integration Regression Tests New Tests Analysis Feedback Loop TouchTestable App Recording Test Creation Tests Composition Execution 테스트 결과는 다양한 Dashboard를 통하여 손쉽게 접근 가능하며, Drag&Drop을 통한 Action 단위의 검증과 다양한 Output 설정 기능의 제공으로 유지보수 편의성을 향상시킵니다. Analysis • 분석된 테스트 결과는 특화된 대시보드 인터페이스를 통해 실시간으로 확인 가능 • 테스트 검증 결과 및 다양한 Output을 통하여 테스트 결과에 손쉽게 접근 가능 • 테스트 수행 중 모든 장치의 성능지표를 실시간으로 접근하여 Mobile App 내에서 잠재적인 성능 병목 현상을 식별함 • 성능 지표는 CPU, 메모리, 데이터, 배터리 사용량 뿐만 아니라 신호 강도 및 GPS 정보를 포함 7 Feedback Loop • 새로운 검증 항목과 검증결과(Outputs)는 기존 테스트 시나리오를 수정하지 않고 쉽게 추가 될 수 있음 (Action단위 추가 가능) • Drag and Drop 인터페이스는 시각적인 형태의 유지보수를 가능하게 함 • 검증된 테스트 케이스는 자동화된 회귀 테스트에 쉽게 추가 할 수 있음 8 Mobile Test Automation 7 8 Ⅱ. 자동화를 위한 구성 및 주요 기능
  • 16.
    CONTENTS Ⅰ. 솔루션 개요 Ⅱ.테스트 자동화를 위한 구성 및 주요 기능 Ⅲ. 제품 비교 Ⅳ. 툴 도입에 따른 ROI 및 적용 사례 Ⅴ. 아주큐엠에스 소개
  • 17.
    © 2016 아주큐엠에스Corp. All right reserved. 1. 제품 비교 16161616 SOASTA의 Test Automation 솔루션인 TouchTest는 HP 및 Micro Focus의 자동화 솔루션과 비교 하여, 여러 기능 측면에서 강점을 가지고 있는 전문 솔루션입니다. Ⅲ. 제품 비교 Company Solution 특징 멀티OS Device병렬 연결방법 Case 작성 Object 인식 DashBoard SOASTA TouchTest 코딩 없이 손쉽게 복잡한 테스트 작성 및 유지보수 한 개의 Test Script를 수정 없이 여러 Device에 적용 병렬 멀티 테스트가 가능한 극대화된 확장성 다양한 Native Action 및 Function 제공 Web Base로 다수의 사용자가 다수의 동시 작업 및 리소스 공유 가능 iOS, Android 가능 (Drag & Drop) Web Base - 무선 (내/외부망) Agent Record + Script Action별 Record & 편집 Object Based 가능 Report제공 Micro Focus Silk Mobile Native, Image, Text 기반의 인식 지원 표준 개발 언어로 스크립트 생성 및 Export 가능 테스트 대상 OS별 별도 제품 구매 필요 iOS, Android, Windows 등 추가작업 (Script 작성) Client Base - USB Record + Script 전체 Record 이후 편집 Image Based (일부 Object Based) 없음 Report제공 HP Mobile Center 직접적인 자동화 도구라기 보다는 Device관리를 바탕으로 UFT, LoadRunner와 같은 도구와의 연동을 통한 테스트 수행 iOS, Android iOS7 이상 제약 미지원 Web Base - USB Agent HP-UFT 추가 필요 없음 Report제공 TestPlant eggplant Image 기반으로 전체 Device 컨트롤 가능 Device 별 Script 재활용 가능 병렬 멀티 테스트 불가 iOS, Android, Windows 등 미지원 Client Base - USB / 무선 (VNC) Script Image Based 없음 Strength Point※ 범례 :
  • 18.
    CONTENTS Ⅰ. 솔루션 개요 Ⅱ.테스트 자동화를 위한 구성 및 주요 기능 Ⅲ. 제품 비교 Ⅳ. 툴 도입에 따른 ROI 및 적용 사례 1. ROI – 매뉴얼 vs. 자동화 2. 미국 E*Trade & EMC Ⅴ. 아주큐엠에스 소개
  • 19.
    © 2016 아주큐엠에스Corp. All right reserved.18181818 원하는 품질의 App을 운영하기 위해서는 단말기, 테스트 케이스, 릴리즈 횟수 등에 비례하여 다양한 테스트 및 수행공수가 요구되며, 테스트 자동화의 구성은 선택이 아닌 필수가 되었습니다. 1. ROI – 매뉴얼 vs. 자동화 As-Is 매뉴얼 테스트 3 apps [운영 모바일 앱] 평균 100 case [테스트 케이스] 40 devices [지원 단말기] 2015년 15 회 [연간 릴리즈] [수행시간] 평균 0.5 시간 3 x 100 x 40 x 15 x 0.5 = 90,000 hr ⇒ 562MM To-Be 자동화 테스트 버전 날짜 Oct 27, 2015 Version 4.2.9 Oct 20, 2015 Version 4.2.8 Sep 30, 2015 Version 4.2.7 Sep 26, 2015 Version 4.2.6 Sep 24, 2015 Version 4.2.5 평균 0.5 시간 ⇒ 0.1 시간 3 x 100 x 1 x 15 x 0.1 = 450 hr ⇒ 3MM 연간 수행공수 [지원 단말기] [수행시간] 40 devices ⇒ 테스트 동시 1 번 수행 연간 수행공수 [ Touchtest Server ] 병렬 수행 “테스트 자동화는 선택이 아닌 필수” ( 562MM ⇒ 3MM ) 실행 & 모니터링 Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
  • 20.
    © 2016 아주큐엠에스Corp. All right reserved.19191919 2. E*Trade & EMC 미국 E*Trade - 회귀테스트 자동화 스위트 미국 EMC - 스크립팅 시간 감소 문제점 : 매뉴얼 테스팅의 병목현상 주요 해결방안 : 오브젝트 레벨 테스팅, 코딩의 최소화 결과 자동화된 150여개의 사용자 시나리오 회귀테스트 수행 QC와 CI도구인 Jenkins와의 연동 2년 장기계약 연장 문제점 : Selenium을 이용한 개발에 많은 시간이 소요됨 (Open-source 자동화 솔루션) 주요 해결방안 : 빠르고 유연한 비주얼 환경 결과 : 5개월 분량의 Selenium 스크립트를 5주로 개발 시간 감소 Mobile 혁신 추진 (with TouchTest) Selenium 5개월 개발 => TouchTest 5주 TouchTest는 매뉴얼 테스트로 인한 병목현상을 자동화된 회귀테스트로 개선 하였으며, 타 솔루션 이용 시 5개월 분량의 테스트 개발 시간을 5주 이내로 단축시키며 효율성을 입증 했습니다. Ⅳ. 툴 도입에 따른 ROI 및 적용 사례
  • 21.
    CONTENTS Ⅰ. 솔루션 개요 Ⅱ.테스트 자동화를 위한 구성 및 주요 기능 Ⅲ. 적용 사례 Ⅳ. 제품 비교 Ⅴ. 아주큐엠에스 소개
  • 22.
    © 2016 아주큐엠에스Corp. All right reserved. 1. 아주큐엠에스 소개 21212121 1999년에 설립된 아주큐엠에스는 2005년부터 현재까지 10년 동안 테스팅서비스 전문 회사로서 기업 어플리케이션 품질확보에 필요한 테스트 및 컨설팅 서비스를 제공하고 있습니다. 테스트 프로세스 컨설팅 모바일 테스트 서비스 차세대 프로젝트 QMO 컨설팅 테스트 프로세스 진단 후 국제 표준, Best Practice에 기반한 개선 프로세스 제시 및 Setup 시범운영을 통한 실제 운영 성과 측정 분석 단계부터 릴리스 후 운영 이관까지 전체 개발 Life Cycle에 기반한 테스트 서비스 제공 개발 완료 후 품질 확보를 위한 모니터링 서비스 제공 테스트 전문가를 통한 테스트 전반 활동 수행 고객사 개발/운영 조직과 R&R에 기반한 협업 수행 환경변화(OS Upgrade, 신규 Device 출시) 및 주기적인 Event/Renewal에 대응한 품질점검 활동 수행 테스트에 기반한 주기적 품질 보고서 제출 QMO 컨설팅 서비스 제 3자 테스트 서비스 2015.06 kt 차세대 BSS 구축 2단계 QMO/PMO 운영 2014.08 SKT U-Key 3.0 QMO 프로젝트 2014.08 kt 차세대 BSS 구축 1단계 QMO 운영 2014.02 교보생명 품질 및 테스트 체계개선 프로젝트 2012.11 동부화재 차세대 테스트 컨설팅 2011.07 KB국민카드 인터넷서비스 구축 ISP/PI/PMO 컨설팅 최근 10년 주요 사업 실적 품질 확보를 위한 강력하고 다양한 솔루션 판매 당사 고유 방법론 및 솔루션Service 차별성 수행을 리딩하는 컨설턴트 다수의 차세대 프로젝트 경험 • TouchTest : Mobile 테스트 자동화 툴 • CloudTest : 성능 테스트 툴 • ARA™ : 영향도 분석 툴 주요 서비스 2011.02 아주캐피탈 신차세대 테스트 PMO 컨설팅 2010.07 KB국민은행 IT관리 포털 시스템 ISP/PI 컨설팅 2007.03 KB국민은행 차세대 프로젝트 3자 Test / QMO 2006.11 SKT U Key 운영/상시품질관리 Test 아웃 소싱 2005.05 SKT 차세대 프로젝트 QA/Test컨설팅, 3자 테스트 Ⅴ. 아주큐엠에스 소개
  • 23.
    © 2016 아주큐엠에스Corp. All right reserved. 1. 아주큐엠에스 소개 - 주요 프로젝트 수행 사례 22222222 Customer / Project 수행기간 제공 Service 차세대 프로젝트 2005.05 ~ 2006.10 PMO 컨설팅, QA/Test 컨설팅, 3자 테스트 U.Key 운영 상시품질 관리 2006.11 ~ 현재 Test/QA 컨설팅, Test 아웃소싱 차세대 프로젝트 2007.03 ~ 2010.02 PMO 컨설팅 (with ATK) Test/QA 컨설팅 IT 운영 프로세스 개선 2010.06 ~ 2010.12 IT/PI 컨설팅 Smart Sizing 추진전략 2013.12 ~ 2014.04 PMO 컨설팅 신차세대 프로젝트 2011.02 ~ 2012.06 PMO 컨설팅, QA/Test 컨설팅, 3자 테스트 Customer / Project 수행기간 제공 Service BIT – BSS 2012.06 ~ 2013.09 테스트컨설팅, 3자 테스트 차세대 프로젝트 2012.11 ~ 2013.05 테스트컨설팅 운영 시스템 테스트전략 수립 컨설팅 2014.02 ~ 2014.07 테스트컨설팅 차세대 BSS 구축 1, 2단계 QMO 2014.08 ~ 현재 QMO 컨설팅 U.Key 3.0 PI 프로젝트 QMO 2014.09 ~ 2016.02 QMO 컨설팅 T-Mobile 운영품질 2014.10 TouchTest 납품 Ⅴ. 아주큐엠에스 소개