2015/07/20 にザワット株式会社本社オフィスにて行なわれた「DevOps勉強会＠東京 #2 爆速アプリ開発を実現する継続的インテグレーション編（CI）」で発表したスライドです。

1. AWS
Device
Farm
を
Jenkins
CI
から叩いてみ
た
Tatsuya
YAMAMOTO
(ymt2)
Developer
@
Zawatt
Inc.

2. お前誰よ？
ザワット株式会社
エンジニア（創業者）
担当領域
サーバサイドアプリケーション
インフラまわり（リアルもクラウドも
Android
アプリケーション
受賞歴
2011年9⽉、世界中のハッカー800組がサンフラン
シスコに集結し、
⼀晩でアプリケーションを開発
し勝敗を競うエンジニアの祭典『TechCrunch
Disrupt
SF
Hackathon』にてスポンサー賞を受賞。
弊社鈴⽊とともに、⽇本⼈エンジニアとしては初
の登壇となった

3. ref1
"We
also
have
a
plugin
for
Jenkins"
Amazon
Web
Services
ブログ
より:ref1
“
We
also
have
a
plugin
for
Jenkins,
with
connections
to
other
CI
(Continuous
Integration)
systems
in
the
works.
”
https://aws.amazon.com/jp/blogs/aws/aws-device-
farm-test-mobile-apps-on-real-devices/

4. めっちゃ便利やん！！
via.
http://www.ign.com/wikis/e3/E3_2003

5. ref2
現実
Amazon
Web
Services
ブログ（翻訳版）
より:ref2
“
また、Jenkins
のプラグインを提供し、
その他のCI（Continuous
Integration）
システムと連携することを計画してい
ます。
”
http://aws.typepad.com/aws_japan/2015/07/aws-
device-farm-test-mobile-apps-on-real-devices.html

6. まだないっぽい
via.
http://www.ign.com/wikis/e3/E3_2004

7. 待ってられないので
API
を叩くことにした

8. AWS
Device
Farm
API
で
できること（Actions）
Create
シリーズ
CreateDevicePool
/
CreateProject
/
CreateUpload
プロジェクト（テスト定義の集合）を作ったり、
APK
やテストコードをアップロードする際に利⽤

9. AWS
Device
Farm
API
で
できること（Actions）
GET
シリーズ
GetDevice
/
GetDevicePool
/
GetDevicePoolCompatibility
/
GetJob
/
GetProject
/
GetRun
/
GetSuite
/
GetTest
/
GetUpload
種々の定義や実⾏ステータスを取得する際に利⽤

10. AWS
Device
Farm
API
で
できること（Actions）
List
シリーズ
ListArtifacts
/
ListDevicePools
/
ListDevices
/
ListJobs
/
ListProjects
/
ListRuns
/
ListSamples
/
ListSuites
/
ListTests
/
ListUniqueProblems
/
ListUploads
定義やジョブのリストを取得する際に利⽤
たいてい
GET
シリーズを叩く準備に必要となる

11. AWS
Device
Farm
API
で
できること（Actions）
ScheduleRun
これを叩くとテストを⾛らせることができる
その名の通り、テスト実⾏を予約するだけなので即時
実⾏されるとは限らない
こいつを
Jenkins
CI
から叩けばよさそう

12. やりたいこと
コミットがあったら
apk
をビルド
apk
を
AWS
Device
Farm
にアップロード
テスト定義を作成
テスト実⾏
テスト結果を受け取って
Slack
に通知

13. 課題たち
テストが即時実⾏されないので
wait
したい
テスト結果を参照しやすくしたい
Jenkins
CI
上でタスクを
fail
させる
テスト結果は
API
経由で取れるので
exit
1
すれ
ばいい
Slack
からテスト結果への参照をつける
AWS
マネジメントコンソール
の
URL
は
API
か
ら取得不能だが⽣成可能

14. 実装してみる

15. AWS
Device
Farm
API
を
利⽤した処理のフロー
Jenkins CI Client API S3
launch
CreateUpload w/ Proj
ectArn
UploadArn, UploadUrl
POST apk to UploadUrl
Wait for apk to be fully uploaded
ScheduleRun w/ Proje
ctArn, UploadArn, Dev
icePoolArn
Wait for test to be co
mpletely ran
return url

16. 事前準備
AWS
マネジメントコンソール
にて
設定しておくもの
プロジェクト（ProjectArn）
テストする対象のアプリ名などで作成
この中にテスト履歴が残る
DevicePool（DevicePoolArn）
テスト対象のデバイス⼀覧の定義
任意のデバイス群を作成できる

17. 事前準備
AWS
マネジメントコンソール
にて
設定しておくもの
テストコード
今回は
AWS
Device
Farm
ビルトインの「Built-in:
Fuzz（適当に操作するだけのいわゆるモンキーテ
スト）」を利⽤
テスト対象のアプリ

18. 事前準備
CLI
から使ってみる
amazon
linux
インスタンスにて
$ yum update aws-cli
$ aws devicefarm help
usage: aws [options] <command> <subcommand> [parameters]
aws: error: argument command: Invalid choice, valid choices are:

19. 事前準備
aws
cli
から使ってみる
実装が…ない！！！！
@
2015/7/16
現在

20. 事前準備
boto3
から使う
$ pip install boto3
$ python
>>> import boto3
>>> import botocore
>>> session = botocore.session.Session(profile='profile')
>>> boto_session = boto3.Session(botocore_session=session, region_n
ame='us-west-2')
>>> client = boto_session.client('devicefarm')
>>> client.list_projects()
{'ResponseMetadata': {'HTTPStatusCode': 200, ...

21. 事前準備
boto3
から使う
動いた！！
boto3
は
API
の定義を
JSON
で落としてくる実装に
なっているので対応が早かった模様
⾃動⽣成なクライアントのため
wait
したりなどは⾃
前で実装する必要があった

22. 動いているところ

23. 動いているところ
を、お⾒せしたいところでしたが、思いの他時間がかか
るのでのちほどお声がけくださいませ
（ちゃんと動いてます！！

24. AWS
Device
Farm
API
w/
boto3
のハマりどころ
テストパラメータの渡し⽅がどこ
にも記載されていない
端末の⾔語設定や緯度経度も設定できるはずだが渡し
⽅の記載なし
数値パラメータであっても
String
で渡す必要あり
「Built-in:
Fuzz」固有の設定値は渡すことができる
'event_count':
'1000'
#
テスト中に操作する回数
'event_throttle':
'100'
#
操作ごとの間隔（ms）
'randomizer_seed':
'seed'
#
操作箇所を指定する際
のランダムシード（指定すると操作箇所を固定で
きる）

25. AWS
Device
Farm
API
w/
boto3
のハマりどころ
APK
のアップロードが煩雑
API
で
S3
の
URL
を⽣成・取得し、そちらに
PUT
す
る必要がある
PUT
後も
AWS
Device
Farm
上のステータスが
SUCCEED
になるまで
wait
しないと
ScheduleRun
で
コケる

26. Jenkins
CI
から呼び出す
ことによるメリット
ソースコードのコミットに連動してすぐテストできる
テスト実⾏までの⼿数が最⼩限となる
「同じテストをもう⼀度」というのが
AWS
マネジ
メントコンソール
からかんたんにできない
ログに残すことでテストパラメータをあとから確認で
きる
AWS
マネジメントコンソール
からでは
logcat
し
かできず、テスト実⾏時の⾔語設定などが後から
確認できない

27. つかいどころについてな
ど
いわゆるブルー・グリーン・デプロイメントには向い
ていない？
テスト実⾏まで待たされる
/
テストが実⾏完了しな
いことがある（内部でエラーが出ている？）
いつまでもデプロイできない可能性あり
⽇々の回帰テストあたりが妥当では

28. お約束⾏っときましょう

29. 弊社、積極採⽤中！！
最新サービスにつっこんで⾃爆するような⼈柱エンジ
ニアも歓迎します（募集はしていません
ザワットのエンジニア⽂化を⼿中に納めるのはあなた
かもしれない！？

30. おしまい