Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
iOSDC 2017
2017/09/16 (Sat)
前⽥隼輔
SWETグループ
DeNA Co., Ltd.
iOSで利⽤できる
デバイスファーム...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
n前⽥隼輔
• @duck8823
• 所属
• DeNA SWETグループ テスト基盤チーム
⾃⼰紹介
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイス管理がつらい
• iPhone
• iPhone Plus
• iPhone SE
• iPhone X 🆕
• iPad
• iPad mi...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファーム
そこで...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファームとは
• デバイスを(物理的に)集中管理
• WebブラウザやAPIを介して特定の端末を操作
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
メリット 😄
• 開発マシンに物理的に接続する
必要がない
• 複数⼈が利⽤する場合も
貸出管理の必要なし
• CI/CDとの連携も楽になる
デメリッ...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファームの種類とかかるコスト
• パブリッククラウド
• 時間的コスト(デバイスの競合)
• プライベートクラウド
• ⾦銭的コスト
• オン...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファームの種類とかかるコスト
• パブリッククラウド
• 時間的コスト(デバイスの競合)
• プライベートクラウド
• ⾦銭的コスト
• オン...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
アプリのテストに着⽬
• マニュアルテスト
• ブラウザで端末の画⾯をみながら操作
• ⾃動テスト
• サポートするテスティングフレームワーク
• X...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファーム
AWS Device Farm Xamarin Test Cloud Testdroid TestObject
マニュアルテスト あ...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
AWS Device Farm
⾃動テスト • 対応FWが豊富 😄
• XCUITest, Appium ( Java, Python ), Cala...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
Xamarin Test Cloud
⾃動テスト • Xamarin.UITest に対応
• Xamarin.UITest (C#), Calaba...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
Testdroid
⾃動テスト • 対応フレームワークは多い
• XCUITest, Appium, Calabash
• オプション
• 追加データ...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
TestObject
⾃動テスト • Appium (Client) のみ
提供するテスト Quality Report ( インストールと起動 / ...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
結局どれ使えばいいの? 🤔
• それぞれ⼀⻑⼀短なので要件から考えよう
• 例.
• Appium RSpec で書いた資産を流⽤したい
👉 Appi...
Copyright	©	DeNA Co.,Ltd.	All	Rights	Reserved.
デバイスファームを利⽤する際は
• 無料枠(無料期間)で必ず試そう
• 要件を満たすかどうか確かめよう
• ハマりポイントは多い
Upcoming SlideShare
Loading in …5
×

iOSで利用できるデバイスファームのメリット・デメリットの紹介

2,973 views

Published on

iOSで利用できるデバイスファームのメリットとデメリットについて

Published in: Technology
  • Be the first to comment

  • Be the first to like this

iOSで利用できるデバイスファームのメリット・デメリットの紹介

  1. 1. Copyright © DeNA Co.,Ltd. All Rights Reserved. iOSDC 2017 2017/09/16 (Sat) 前⽥隼輔 SWETグループ DeNA Co., Ltd. iOSで利⽤できる デバイスファームの メリット・デメリットの紹介
  2. 2. Copyright © DeNA Co.,Ltd. All Rights Reserved. n前⽥隼輔 • @duck8823 • 所属 • DeNA SWETグループ テスト基盤チーム ⾃⼰紹介
  3. 3. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイス管理がつらい • iPhone • iPhone Plus • iPhone SE • iPhone X 🆕 • iPad • iPad mini • iPad Pro
  4. 4. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファーム そこで...
  5. 5. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファームとは • デバイスを(物理的に)集中管理 • WebブラウザやAPIを介して特定の端末を操作
  6. 6. Copyright © DeNA Co.,Ltd. All Rights Reserved. メリット 😄 • 開発マシンに物理的に接続する 必要がない • 複数⼈が利⽤する場合も 貸出管理の必要なし • CI/CDとの連携も楽になる デメリット 😩 • コスト... デバイスファームを利⽤する...
  7. 7. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファームの種類とかかるコスト • パブリッククラウド • 時間的コスト(デバイスの競合) • プライベートクラウド • ⾦銭的コスト • オンプレミス • 管理コスト(サーバー・デバイス)
  8. 8. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファームの種類とかかるコスト • パブリッククラウド • 時間的コスト(デバイスの競合) • プライベートクラウド • ⾦銭的コスト • オンプレミス • 管理コスト(サーバー・デバイス) 試してみた
  9. 9. Copyright © DeNA Co.,Ltd. All Rights Reserved. アプリのテストに着⽬ • マニュアルテスト • ブラウザで端末の画⾯をみながら操作 • ⾃動テスト • サポートするテスティングフレームワーク • XCUITest ( Apple 公式 ) • Appium (Server) : テストコードをアップロード • Appium (Client) : デバイスファームが提供するAppiumサーバーにアクセス • デバイスファームが提供するテスト • テストコードなしでランダムな動作確認をしてくれる
  10. 10. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファーム AWS Device Farm Xamarin Test Cloud Testdroid TestObject マニュアルテスト あり なし あり あり ⾃動テスト • 対応FWが豊富 😄 • 豊富なオプション😄 • Xamarin.UITest ( C# ) • Calabash • XCUITest • Appium ( Java ) BETA • 対応FWが豊富 😄 • Appium サーバー • Appium サーバー Appium Server あり あり あり なし Appium Client なし なし あり😄 あり 提供するテスト Built-in Fuzz ログインなし なし AppCrawler ログインあり😄 Quality Report インストール・起動・ ストレステスト 使ってみた ハマリポイントと 良かったポイント ( 個⼈の感想 ) Xcode8.3系でビルドした XCUITest が実⾏されない 😩 従量課⾦😄 XCUITest / Appium が 公式サイトで影が薄い 🤔 ロケールを⽇本に設定し たがアプリが英語で起動 された😩 Appium テストのアップ ロードの準備が⾯倒 🤔 ログが⾒やすい 😄 テスト結果は各⾃で集計 or テストコードを改変 🤔 公式FWが使えない😩
  11. 11. Copyright © DeNA Co.,Ltd. All Rights Reserved. AWS Device Farm ⾃動テスト • 対応FWが豊富 😄 • XCUITest, Appium ( Java, Python ), Calabash, UIAutomation ) • 豊富なオプション😄 • ロケーション / ロケール / 追加アプリ・データ / ネットワークスピード 提供するテスト Built-in Fuzz (ログインなし) 使ってみた ハマリポイントと 良かったポイント ( 個⼈の感想 ) Xcode8.3系でビルドした XCUITest が実⾏されない😩 ( Amazonフォーラムでも) 従量課⾦😄
  12. 12. Copyright © DeNA Co.,Ltd. All Rights Reserved. Xamarin Test Cloud ⾃動テスト • Xamarin.UITest に対応 • Xamarin.UITest (C#), Calabash, XCUITest, Appium (Java: JUnit ) • オプション • ロケール 提供するテスト なし 使ってみた ハマリポイントと 良かったポイント ( 個⼈の感想 ) iOS 11 が選択できた😄 ( 2017/09/16 現在) XCUITest, Appiumが公式で影が薄い🤔
  13. 13. Copyright © DeNA Co.,Ltd. All Rights Reserved. Testdroid ⾃動テスト • 対応フレームワークは多い • XCUITest, Appium, Calabash • オプション • 追加データ / テスト終了時のWebhook 提供するテスト AppCrawler ( ログイン情報⼊⼒可能 😄) 使ってみた ハマリポイントと 良かったポイント ( 個⼈の感想 ) Appium (Server) / Appium (Client) の両⽅を利⽤可能😄
  14. 14. Copyright © DeNA Co.,Ltd. All Rights Reserved. TestObject ⾃動テスト • Appium (Client) のみ 提供するテスト Quality Report ( インストールと起動 / ストレステスト ) 使ってみた ハマリポイントと 良かったポイント ( 個⼈の感想 ) ⽐較的⾼い😩
  15. 15. Copyright © DeNA Co.,Ltd. All Rights Reserved. 結局どれ使えばいいの? 🤔 • それぞれ⼀⻑⼀短なので要件から考えよう • 例. • Appium RSpec で書いた資産を流⽤したい 👉 Appium Clientモードがある TestObject or Testdroid • たまに(リリース前に)試したい 👉 従量課⾦がある AWS Device Farm • ログイン認証があるアプリで、テストコードもない 👉ログイン情報も設定できる Testdroid • うちのチームでは Xamarinも使ってる 👉 Xamarin Test Cloud
  16. 16. Copyright © DeNA Co.,Ltd. All Rights Reserved. デバイスファームを利⽤する際は • 無料枠(無料期間)で必ず試そう • 要件を満たすかどうか確かめよう • ハマりポイントは多い

×