2014-04-22 Ques #4 Automation Testing of Mobage Platform

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
1
2014/04/22
!
Masaki Nakagawa
Manager, SWET(Software Engineer in Test) Gr.

Quality Management Dept.

System Management Unit

DeNA Co., Ltd.
Mobageオープンプラットフォーム
でのテスト自動化

About Me
• Masaki Nakagawa

• @ikasam_a

• github.com/masaki

• CPAN Author (metacpan.org/author/MASAKI)

• Testing Casual

http://gihyo.jp/magazine/wdpress/archive/2013/vol75

http://gihyo.jp/magazine/wdpress/archive/2013/vol77

http://atnd.org/events/40914

Mobage統合事業本部
Japanリージョン事業本部
プラットフォーム本部
システム部
SWETグループ
6

システム本部
品質管理部
SWETグループ
(2014/04 )
7

今日話すこと
• Mobageオープンプラットフォーム概要
• SWET って何？
• プラットフォームのテスト自動化戦略
8

Mobageオープンプラットフォーム概要
9

Mobage Open Platform とは？
• http://developer.dena.jp/mbga/
• Mobageでゲームを公開できる仕組み
• 色々なデバイスに対応
• Feature Phone
• Smartphone
• PC
10

Mobage Open Platform の歴史
• 2009/08 Open Platform Project スタート
• 2010/01 JP Platform (Feature Phone)
• 2010/10 JP Platform (Y!Mobage / PC)
• 2011/02 JP Platform (Smartphone Web)
• 2011/06 JP Platform (Smartphone App)
• 2012/12 JP Platform (ShellApp)
11

Mobage Open Platform の歴史
• 2011/07 WW Platform (Smartphone App)
• 2011/07 CN Platform (Smartphone App)
• 2012/02 KR Platform (Smartphone App)
• 2012/11 KR Platform (ShellApp)
• 2012/11 TC Platform (Smartphone App)
• 2013/01 CN Platform (ShellApp)
• 2013/02 KR Platform (Smartphone Web)
12

13
プラットフォームのグローバル展開

SWETグループ立ち上げの背景
• プラットフォームのグローバル展開
• 大規模システムの拡張とリファクタリング
• デリバリーのスピードを落とさない
• 検証属人性の解消
14

SWETグループ立ち上げの方針
• End-to-End テストを確立する
• テストを徹底的に自動化する
• テストしやすい環境を提供する
15

∼テストしやすい環境∼
• 単体テストのREDが消えない問題
• リリース頻度・速度・影響範囲のバランス
• テスト時間のコスト問題
• CIの必要性
16

チーム立ち上げ
• 当初はQAチームとして出発
• 2012/01 当時は3人でスタート
• 現在はSWETグループ（正式に組織化）
• 2014/04 現在は20名弱で活動中
• なぜ独立したチームにしたか？
• 横串チームによる「戦略的横展開」を狙う
17

SWET って何？
18

http://en.wikipedia.org/wiki/SET

a

Quality Assurance

job title

Names
• SET (Software Engineer in Test) by @Google

• SDET (Software Design/Development Engineer in Test) by @Microsoft

• SWET by @DeNA

Deﬁnition
•Google Testing Blog

•http://googletesting.blogspot.com

•How Google Tests Software

•http://googletesting.blogspot.jp/2011/01/how-google-tests-
software.html

http://googletesting.blogspot.jp/2011/02/how-google-
tests-software-part-two.html

the SET
•a developer role focused on testability

•review designs

•refactor code to testable

•write testing frameworks

the TE
•a role that puts testing ﬁrst

•write automation scripts

•interpret test results

•drive test execution

Focus
•SETs primary focus is on the developer

•Individual feature quality

•Enabling developers to easily test

Developer

Productivity

our SWET = SET + TE
• Developer Productivity

• Quality Assurance

SWET Group
Mission Statement
•Keep the quality of Services and
Products

•Improve the quality and
productivity of Services and
Products

As an Engineer
•can be developed test target

•NOT a tester but a test engineer

プラットフォームのテスト自動化戦略
33

Our Works
• Server Side Testing

• Client Side Testing

• …

Open Platform Architecture
API
Mobage Developers
Databases / Middlewares
Mobage

RESTful API
API
ProxyServer
API
mbga.jp
Mobile

Browser
PC
Browser
Mobile

App
Mobage

SDK
Game

Server

Targets
1. Mobage RESTful API (Web API)

2. Mobage Developers (Web Application)

3. mbga.jp & ProxyServer (Mobile Web)

4. Mobage SDKs (Client SDK)

プラットフォームのテスト戦略
• 適切なシステム分割をする
• システムビッグバンを避ける
• サーバで完結できるところはサーバで
• WebAPIの機能テストはクライアント無しで
• ブラウザを使う部分は極力実機レスで
38

スマートフォンテスト自動化
• テスト対象によってテスト方法も異なる
• システム分類
• WebAPI, Webアプリ
• ネイティブアプリ, SDK（ライブラリ）
39

スマートフォンブラウザ
• ブラウザ自動化の技術をそのまま使う
• Selenium WebDriver
• スマートフォンブラウザを偽装
• テストコードを流用して実機でも動かす
• Appium (w/ JSON Wire Protocol)
40

Selenium WebDriver
• Capability でドライバを選択
41
FirefoxProfile fp = new FirefoxProfile();
DesiredCapabilities dc = DesiredCapabilities.firefox();
dc.setCapability(FirefoxDriver.PROFILE, fp);
WebDriver driver = new RemoteWebDriver(dc);
ChromeOptions options = new ChromeOptions();
DesiredCapabilities dc = DesiredCapabilities.chrome();
dc.setCapability(ChromeOptions.CAPABILITY, options);
WebDriver driver = new RemoteWebDriver(dc);

ネイティブアプリ
• アプリの操作を自動化する
• 外部からプロセスにアタッチして操作
• Appium を使う
• テスト用ライブラリを埋め込んで操作
• Calabash を使う
• ただしアプリ改変になる
42

クライアントライブラリ(SDK)
• ライブラリを組み込んだテストアプリを作成
• ライブラリの機能を網羅できるように作る
• テストアプリの操作を自動化
• あとはネイティブアプリと同様
43

44
API Server
module module module
API ServerAPI Server
DB
Cache
Test Client
A) WebAPI

Conditions
• HTTP Request to API Server

• JSON Response from API Server

• no UI

API Server
DB
Cache
Test Client
Gray Box Fixture

Gray Box Fixture
• DB / Cache Manipulation

• insert test-case speciﬁc data

• delete cache for continuous tests

API ServerAPI ServerAPI Server
DB
Cache
Test Client
Speciﬁc Targeting

Speciﬁc Targeting
• programmable local DNS (MyDNS)

• emulates “inet_aton”

Domain Speciﬁc Client
• Mobage::API::Client (Perl)

• mobage-api-client (Ruby)

Message Dumping
• keep previous request in response

• interactive debugging

Web Application
M V C
DB
Cache
Test Browser
B) WebApp / Mobile Web

Conditions
• HTTP Request to Web App

• HTML Response from Web App

• with JavaScript

Basic Strategy
• Selenium WebDriver

• Ruby, RSpec, Capybara

• Headless Browser

Browser Emulator
Web Application
M V C
DB
Cache
Agent Switching

Agent Switching
• Browser can’t touch HTTP Header

• Emulator can’t parse JavaScript

• Save/Restore pseudo agent state

Domain Speciﬁc Client
• called “mobage-browser”

• We don’t use “Page Object Pattern”

• “Domain Agent Pattern”

Mobile Emulation
• FireMobileSimulator

• Mobile WebDrivers (DEPRECATED)

• AndroidDriver, IPhoneDriver

• with Real Devices

• Selendroid, ios-driver, Appium

Test Scripts
C) Client SDKs
Test

Application
Mobage

SDK

Conditions
• create test apps using speciﬁc SDK

• use SDK as a developer

• run test scripts to automate test apps

• check SDK-API behaviors

UI Automation
• Multiple Devices Support

• Android, iOS

• Test Cases Consistency

• Calabash

• Appium

今日話したこと
• Mobageオープンプラットフォーム概要
• SWET って何？
• プラットフォームのテスト自動化戦略
63

ご清聴ありがとうございました
64

2014-04-22 Ques #4 Automation Testing of Mobage Platform

More Related Content

What's hot

Viewers also liked

Similar to 2014-04-22 Ques #4 Automation Testing of Mobage Platform

More from Masaki Nakagawa

2014-04-22 Ques #4 Automation Testing of Mobage Platform