2015年11月21日に開催されました「AWSモバイル/IoTサービス徹底攻略！！ -Developers.IO Meetup番外編-」でお話した際の資料です。

1. Keisuke Nishitani,
Solutions Architect, Amazon Web
Services Japan K.K.
2015.11.21
Automated Testing on AWS Device Farm

2. ⾃自⼰己紹介
{
"Name" : "⻄西⾕谷圭介",
"Twitter" : "@Keisuke69",
"Profile" : {
"Role" : "Solution Architect",
"Customers": [
"Web Services",
"Start-‐‑‒up”
],
"Services" : [
"AWS Lambda",
"Amazon API Gateway",
"All Mobile Services”
]
}
}

3. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

4. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

5. アプリの品質は重要である
• 48% のユーザーは、バグやパフォーマンス
の問題があれば、アプリを削除する。
• 32% のユーザーは、このような問題が発⽣生
すると、競合アプリを探す。
• ユーザー獲得コストは、アプリごとに 2.74
ドルとなっており、2014 年年 4 ⽉月 に⽐比べて年年
間で 80% 増加している。
Failing to meet mobile app user expectations -‐‑‒ A mobile app user
survey from Dimensional Research (2015/3/30)
http://go.saas.hp.com/apppulse-‐‑‒mobile-‐‑‒survey
Mobile Marketing Costs See Unprecedented Year-‐‑‒over-‐‑‒Year Growth,
According to the Fiksu Indexes (2015/5/29)
https://www.fiksu.com/about/news-‐‑‒releases/fiksu-‐‑‒indexes-‐‑‒mobile-‐‑‒
marketing-‐‑‒costs-‐‑‒see-‐‑‒unprecedented-‐‑‒year-‐‑‒over-‐‑‒year-‐‑‒growth

6. ⾼高品質なアプリを提供するのが、なぜ難しい？
• ほとんどの問題は、デバイスのスペッ
クに起因する。
• ユーザーが持っている実デバイスと同
じものでテストしなければならない。
• 市場には多くのデバイスとOSバー
ジョンの組み合わせがある。
• ⼤大量量のデバイスを備えたテストラボを
維持するのは、⾼高コストで複雑である。
• ⼿手作業によるテストは遅い。
Open Signal -‐‑‒ Android Fragmentation Visualized (2014/8)
http://opensignal.com/reports/2014/android-‐‑‒fragmentation/

7. デバイス／OS の置き換えは加速している
• ユーザーが持っている Android デバ
イスの種類は前年年 11,868 に対して、
2014 年年 8 ⽉月では 18,796 に増加し
ている。
• Android ユーザーの 38% は Jelly
Bean, 39 % は KitKat, 12% は
Lolipop, 10% はまだ Gingerbread
と Ice Cream Sandwich を利利⽤用して
いる。
Open Signal -‐‑‒ Android Fragmentation Visualized (2014/8)
http://opensignal.com/reports/2014/android-‐‑‒fragmentation/
Android Developers (2015/6)
http://developer.android.com/intl/zh-‐‑‒CN/about/dashboards/index.html

8. テストにかかるコストと複雑さは増加している
• エンタープライズ IT テストと QA 予算の
全体⽐比率率率は 2012 年年の 18% から 2014
年年の 26% に増加しており、35% の組織
はこの予算配分に満⾜足していない。
• 10 ⼈人に 4 ⼈人の IT 経営者が、アプリを適
切切にテストする時間がないと⾔言っている。
• 51% の開発者が、コストと時間の制約の
ため、テストできないと⾔言っている。
Capgemini -‐‑‒ World Quality Report 2014-‐‑‒15
https://www.capgemini.com/thought-‐‑‒leadership/world-‐‑‒quality-‐‑‒report-‐‑‒2014-‐‑‒15
77% of Mobile App Purchasers Have Concerns When Buying Mobile Apps -­ Harris (2013/8/20)
http://www.businesswire.com/news/home/20130820006244/en/77-‐‑‒Mobile-‐‑‒App-‐‑‒Purchasers-‐‑‒
Concerns-‐‑‒Buying-‐‑‒Mobile#.Vaz9yaad1N0

9. テストにかかるコストと複雑さは増加している
• 必要なデバイス（メーカー、モデル、
キャリアとOS）の維持コスト
• 各デバイスでのマニュアルテストは
⾮非現実的
• テスト⾃自動化環境の構築とテストイ
ンフラの管理理は複雑で⾼高コスト

10. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

11. Android、iOS、Fire OS アプ
リをアップロードして、テス
ト内容を設定して、デバイス
を選択する。
選択したデバイスをまたいで
並列列にアプリをテストできる。
迅速かつ安全である。
バグ、パフォーマンス、そ
の他の問題を、数分のうち
に詳細にレポートする。
YOU
R
APP
+
AWS Device Farm
AWS クラウドにホスティングされた数多くのスマートフォン、タブレット、その
他の 実デバイスで、迅速かつ安全に Android、iOS、Fire OS アプリをテストし
て品質を向上できる。

12. テストの流流れ
プロジェクトの作成 アプリのアップロード
アプリ情報の確認 テストのアップロード

13. デバイスの選択 環境の設定
テスト内容の確認 テストの実施

14. テスト結果のサマリ テスト結果の詳細
スクリーンショットの確認 パフォーマンスの確認

15. デバイス
• デバイスのプロファイルは、製造メーカー／型＆モデル／OS バージョン／キャリア
の組み合わせである。
• AWS データセンターにホスティングされており、ユーザーの要求に応じてスケール
できる。
• ⼗十分なキャパシティ（多くの同⼀一のデバイスプロファイル）を保有している。
• ルート権限では動作しない。
• 市場情報に基づいてデバイスは⽤用意される。
• 新しいデバイスが発売されたら追加される。
新しいデバイス
最新のデバイスセット
を利利⽤用できる
AWS データセンター

16. デバイス
テストでは、互換性のあるすべてのデバイスから個別に選択できる。もしくは、
利利⽤用したいデバイスを事前に選択しておきデバイスプールを作成することもで
きる。
注意）デフォルトでは数個の試⽤用デバイスしか利利⽤用できない。すべてのデバイスを利利⽤用するには申請が必要。

17. 複数のフレームワークをサポート
テストオートメーションフレームワーク
• Appium（JUnit, TestNG）
• Calabash
• Instrumentation ※Androidのみ
（JUnit, Espresso, Robotium）
• uiautomator
• XCTest(Xcode5〜～), KIF ※iOSのみ
ポイント
• プロジェクトごとに最適なソリューションを使ってテストを作れる。
• 開発チームと QA チームで要件が異異なっても、ひとつの共通プラットフォームに統合できる。
• 新しく出現してくるフレームワークもサポートされることで統合できる。

18. https://github.com/appium/sample-‐‑‒code – AndroidTest.java

19. https://github.com/appium/sample-‐‑‒code – AndroidContactsTest.java

20. http://calaba.sh/

21. ビルトインのテストスイート
ビルトイン Fuzz テスト
Fuzz テストはアプリにランダムなユーザー⼊入⼒力力（タッチ、スワイプ、キーボード⼊入⼒力力）を与
えて UI テストを実施する。イベント数、イベント間隔、ランダムイベントに使われる乱数根
(seed)を設定できる。テストをまたいで同じ乱数根(seed)を利利⽤用すれば、同じイベントの
シーケンスを再現できる。
ポイント
• テストスクリプトを書かずにテストを実施できる。
• 数分で互換性問題を特定できる。
• テストスクリプトは以下の動作をする。
• アプリのインストール
• アプリの起動
• Fuzz テスト
• アプリのアンインストール

22. App Exproler
テストスクリプトを書かずに実デバイス上でAndroidアプリがど
のように振る舞うかについて詳細なテスト可能
• アプリケーションをクロールしてView を解析することでユー
ザが操作するかのようにコントロール
• スクリーンショット、ログ、パフォーマンスデータを⾃自動で
取得
• ネイティブとウェブの両⽅方のコントロールを扱える
• ボタンのタップ、テキストインプットへの⽂文字⼊入⼒力力、メニュー
操作などが可能
• アカウントログインにも対応

23. 並列列実⾏行行
並列列実⾏行行
• 選択したデバイスで並列列にテストを実施できる。
• ⼗十分なキャパシティ（多くの同⼀一のデバイスプロファイル）を保有している。
• デバイスプロファイルの利利⽤用が満杯になると、デバイスごとにキュー待ちになる。
• テストが完了了したらデバイスごとに結果を得られる。
ポイント
• オートメーションテストを⼀一⽇日何回も実施するような場合に有効。
• ⾃自前のオートメーションソリューションで、⼤大量量のデバイスで並列列実⾏行行できるようなイン
フラを構築することは、複雑で技術的なチャレンジであるが、 AWS Device Farm であ
れば簡単に実現。

24. 実世界のシナリオを再現するために環境を設定できる
実世界のシナリオを再現するためにデバイスの状態を設定できる。
• ⾔言語／地域の選択
• 位置情報（経緯度度）
• ネットワークの状況
-‐‑‒ WiFi、Bluetooth、GPS、NFC
• 追加のデータ
• 他アプリのインストール

25. レポート
レポートは、各デバイスごとの詳細情報だけでなく⾼高度度な結果を含んでいる。
• 成功／失敗の情報
• クラッシュレポート
• テストログ
• デバイスログ
• スクリーンショット
• パフォーマンス情報

26. レポート – 原因調査
個々の問題を掘り下げて調査できる。

27. レポート – スクリーンショット
テストでキャプチャされたスクリーンショットを取得できる。

28. レポート – パフォーマンス
テストにおけるパフォーマンス（CPU、メモリ利利⽤用、スレッド数）を調査できる。

29. レポート – ログ
テストで作成されたログなどのファイルを取得できる。

30. 開発／テストのワークフローと統合
• AWS マネージメントコンソールから利利⽤用できる。
• Jenkins プラグインを利利⽤用して Jenkins CI サーバーから利利⽤用できる。
• その他ワークフローのためにフル機能の API を利利⽤用できる。
• テストのセットアップ、テストの開始、テスト状況の取得
• レポーティング情報のダウンロード

31. Jenkins プラグイン
Jenkins CI サーバーと AWS Device Farm を機能的に連携するプラグイン
AWS Device Farm Jenkins Plugin
https://github.com/awslabs/aws-‐‑‒device-‐‑‒farm-‐‑‒jenkins-‐‑‒plugin

32. Jenkins プラグイン
テスト結果（スクリーンショット、ログなど）をダウンロードすることも可能。

33. セキュリティ
• AWS Device Farm とのすべての通信は SSL コネクション上で⾏行行われる。
• テストが終われば、インストールされたアプリはすべてアンインストールされる。
• 電話番号、追加アカウント、外部データを含むデバイス上のすべてのデータは削
除される。
• AWS 上に⼀一時保存されたアプリとファイルは⾃自動的に 30 ⽇日経過すると削除され
る。
• テスト中、各デバイスはユーザーに専有される。
• デバイスは他のデバイスから独⽴立立しており、WiFi、Bluetooth、その他のワイヤ
レステクノロジーは他のデバイスにアクセスできない。
• 外部ネットワーク接続はインターネットに限定されており、他のデバイスへ接続
できるネットワークはない。
• すべてのデバイスを利利⽤用できるように認証がとれるまでは、数個の試⽤用デバイス
の利利⽤用のみに限定される。（すべてのデバイスを利利⽤用するには要申請）

34. • アップロードできるアプリは最⼤大 4GB まで。
• 利利⽤用できるデバイス数に上限はないが、並列列実⾏行行数は最⼤大 5 （緩和可）
• WiFi によるインターネット接続ができるが、キャリアのコネクションは持っ
ておらず、電話の発信や SMS メッセージの送信はできない。
• フロントおよびリアのカメラで写真を撮影できるが、デバイスが設置されて
いる環境に依存して暗くピンぼけした写真となる。
• Google Play サービスはインストールされておりサポートされているが、ア
クティブな Google アカウントは持っていない。
• 製造メーカーやキャリアによる最低限のアプリのみプリインストールされて
いる。
• PhoneGap, Titanium, Xamarin, Unity, その他フレームワークで作成されたハ
イブリッドアプリもサポート。
その他

35. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

36. ユースケース
エンタープライズ／⼤大規模のビジネス
• ⾃自前でオートメーションソリューションを構築／運⽤用しなくてよい。
• いままで利利⽤用したことのないデバイスも利利⽤用できる。
⼩小／中規模のビジネス
• いままで所有できなかったデバイスを利利⽤用できる。
• ⼿手作業ではリソースを限定していたが、⾃自動化することで効率率率的にテストできるようになる。
Sier/コンサルティングパートナー
• ⾃自社サービスを提供するために、プラットフォームを活⽤用できる。
• ビジネスを横展開するために、再利利⽤用できる技術と資産を作ることができる。

37. ⾃自前のソリューション
初期投資／運⽤用が⾼高コスト
新しいデバイスの追加とOSバージョンの
アップデートは⼀一⽇日仕事である
いつでも利利⽤用できるようにデバイスをオンラ
インに保たなければならない
並列列実⾏行行、データ収集、レポーティングなど、
オートメーション機構を構築することは⼤大変
⾃自前のソリューションとの⽐比較
AWS Device Farm
従量量課⾦金金により低コスト
ユーザーが利利⽤用しているデバイスとOSバー
ジョンに遅れをとらない
AWS データセンターにホスティングされた
デバイスの⾼高い信頼性と可⽤用性
⾼高品質なアプリを提供することに集中できる

38. 導⼊入に際して
• すでにテストオートメーションを利利⽤用もしくは計画している。
• もっと多くのデバイスを利利⽤用したい。
• ⾃自前でデバイスやインフラを管理理したくない。
→すぐに AWS Device Farm に置き換え可能
• まだテストオートメーションを利利⽤用していない。
• テストスクリプトを作成するリソースが⾜足りない。
• テストを実施するリソースが⾜足りない。
→まずは Fuzz テストから

39. 事例例

40. IHS Sphera® First Report™
• 安全上のインシデントやニアミスの情報をレポート
• オフライン利利⽤用可能
• カメラで撮影した画像の添付に対応
• Android/iOS

41. なぜモバイルテストを⾃自動化するか
• 限られたQAリソース
• マニュアルテストでのミス防⽌止
• OSバージョンの互換性問題
• 後⽅方互換性を維持するにはさらなるコードが必要
• デバイスの互換性問題
• Android 4.0以降降が稼働するデバイスだけでも約7000種類ほ
どある

42. Development/testing process
Develop SCM
commit Automated
build
trigger Automated
UI test
(simulators)
always
Is
milestone
?
no
Beta deploy
to
manual testers
Automated
UI test
(Device Farm)
yes

43. Development/testing process
Develop SCM
commit Automated
build
trigger Automated
UI test
(simulators)
always
Is
milestone
?
no
Beta deploy
to
manual testers
Automated
UI test
(Device Farm)
yes
PMease QuickBuild
• Javaベースのクロスプラットフォームな⾃自動ビルドサーバ
• AndroidとiOS向けの⾃自動ビルド
• HockeyAppとTestFlightを通じたベータ配布
• シミュレータに対するAppium UI テストの実⾏行行
• マイルストーンビルドはAWS Device Farmへ送付

44. Development/testing process
Develop SCM
commit Automated
build
trigger Automated
UI test
(simulators)
always
Is
milestone
?
no
Beta deploy
to
manual testers
Automated
UI test
(Device Farm)
yes
Appium
• 各種⾔言語で書かれたテストを実⾏行行可能なフレームワーク
• Ex: Ruby, Python, Java, JavaScript, PHP, C#
• 各⾔言語のテストランナーを利利⽤用
• Ex: JUnit for Java, NUnit for C#
• 既存のネイティブアプリ向けUIテスト⾃自動化フレームワークを利利⽤用
• UIAutomation – iOS
• UIAutomator – Android
• テストのための特別なビルドが不不要であり、テストしたビルドをそのまま出せる

45. Development/testing process
Develop SCM
commit Automated
build
trigger Automated
UI test
(simulators)
always
Is
milestone
?
no
Beta deploy
to
manual testers
Automated
UI test
(Device Farm)
yes
HockeyApp
• Android、iOSとWindowsへのベータ配布
• iOS – プロビジョニングプロファイルが必要
TestFlight
• iOSへのベータ配布

46. Development/testing process
Develop SCM
commit Automated
build
trigger Automated
UI test
(simulators)
always
Is
milestone
?
no
Beta deploy
to
manual testers
Automated
UI test
(Device Farm)
yes

47. Etsy

48. Etsy
• iOS, Android向けに4つのアプリを提供
• アプリ開発の専任チームなし
• 2週間に⼀一度度のリリース
• 2⼈人のリリースマネージャと8⼈人のQA
スタッフ（Web＋Mobile）

49. 既存のCI環境
• 10〜～20ジョブを並列列実⾏行行
• build, lint, ユニットテスト, ファンクショナルテストを実
施
• ビルド時間は8〜～10分
• オンプレのビルドマシン
• iOS: 50 Mac mini / MacBook Pro
• Android: 26 Linux containers

50. ⼈人/シミュレータによるテスト
⼈人間によるテスト
• 従業員によるnightly buildのドッグフーディング
• Adminローテンション時の従業員ボランティアによるテスト
• プレリリース検証時のプロダクトクオリティチームによるテス
ト
シミュレータ
• Android Espresso + Genymotion
• KIF(iOS)
• simulator/emulatorごとに1つのビルドジョブ
• Build Flow Pluginを利利⽤用したジョブの並列列実⾏行行

51. 物理理デバイス上でのテスト
• AWS Device Farm
• テストジョブのスケジュール化とテスト結果収集のためにJenkins
pluginを使⽤用
• 30分毎にスケジュールされたテスト実⾏行行
• Espresso（Android）とKIF（iOS）を実⾏行行
• デバイス上でのパフォーマンスメトリクス収集⽤用にファンクショナ
ルテストを使⽤用

52. 対象デバイスの選択
Google Analyticsを利利⽤用してよく利利⽤用されるdevices、OS、
解像度度を確認

53. デバイス選択
AWS Device Farm プールからマッチするデバイスを選択
してDevice Poolを作成

54. テスト結果の可視化
• ⼤大量量のテスト結果（4アプリ × 10デバイス × 30分ごと）
• pass/failの結果そのものではなく、トレンドをモニタ
• アラート
• 特定デバイス上で繰り返された失敗
• 全デバイスで発⽣生した失敗
• 内製ツールのJumbotronを利利⽤用

55. AWS Device Farm and Etsy
> Device Farm tests results visualization

57. デバイス上でのパフォーマンスモニタリング
• デバイスログにメトリクスをログ出⼒力力
• APIを利利⽤用してログを収集
• ログをパースし、graphiteへ連携し、パフォーマンスグ
ラフを⽣生成

58. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

59. 利利⽤用料料⾦金金
従量量課⾦金金
-‐‑‒ テストを実⾏行行するのに必要となった Device Minutes によって
つまり、デバイス数×時間(分) によって計測される。
• 無料料枠は： 250 Device Minutes
• 以後は ： 1 Device Minute あたり 0.17 ドル
定額オプション
-‐‑‒ １デバイスあたり⽉月額 250 ドル
• 定額でデバイスを利利⽤用できる。
• サブスクリプションを変更更しなくても、いつでも数多くの Android デ
バイスから必要なデバイスを選択できる。

60. ２デバイスの定額オプションを契約した場合
並列列度度
時間
１
２
３
４
従量量課⾦金金
⽉月額250×2=$500

61. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

62. • クラウドにホスティングされた数多くの Android, iOS、Fire OS の実デバイ
スでテストを実施できる。
• 複数のフレームワークを利利⽤用できる。
• テストスクリプト不不要のビルトイン Fuzz テストを利利⽤用できる。
• テストを並列列実⾏行行でき、数分で結果を得られる
• 実世界のシナリオを再現するために、テスト環境を設定できる（⾔言語、ロ
ケーション、デバイス状態など）
• テスト結果をすぐに取得できる（スクリーンショット、デバイスログ、パ
フォーマンスデータなど）
• Jenkins など継続的インテグレーション（CI）や他ワークフローの⼀一部とし
てテストを実施できる。
AWS Device Farm のポイント

63. アジェンダ
• 解決したい課題と背景
• AWS Device Farm の紹介
• ユースケース
• 利利⽤用料料⾦金金
• まとめ
• Q&A

64. Thanks