ディープラーニングとAppiumでモバイルテスト自動化

735 views

Published on

第4回Seleniumユーザーコミュニティ勉強会の発表スライドです。 https://seleniumjp.connpass.com/event/45208/

Published in: Internet
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
735
On SlideShare
0
From Embeds
0
Number of Embeds
432
Actions
Shares
0
Downloads
3
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

ディープラーニングとAppiumでモバイルテスト自動化

  1. 1. ディープラーニングとAppiumで モバイルテスト自動化 2016.12.18 第4回Seleniumユーザーコミュニティ勉強会 伊藤望 (TRIDENT)
  2. 2. About Me p 伊藤 望 p 株式会社TRIDENT 代表取締役 n テスト自動化の支援を行うベンチャー n www.trident-qa.com (技術ブログあり) p 執筆
  3. 3. About Me 「Sahagin」 p WebDriver / Appium / Gebのレポートツール(OSS) p ダウンロード数
  4. 4. About Me 「Selenium Boot Camp」 p Seleniumについて、1日で基礎から学ぶ講座(有料)
  5. 5. Appium x ディープラーニング
  6. 6. 自動テストのつらいところ - Selenium IDEの場合 - p 操作記録で簡単にスクリプト作成 p つらいところ n テスト内容がよくわからない n メンテナンスがつらい
  7. 7. 自動テストのつらいところ - Appium Inspectorの場合 - p 操作記録と要素調査 p つらいところ n いろいろ使いにくい
  8. 8. 自動テストのつらいところ - WebDriver/Appiumの場合 - p コードを書いて、なんでも自由自在 p つらいところ n コード書くのが大変 n 単調なプログラミング作業…
  9. 9. ディープラーニング p 今話題の人工知能(AI)技術 https://papers.nips.cc/paper/4824-imagenet-classification-with- deep-convolutional-neural-networks.pdf http://jacobsschool.ucsd.edu/news/news_releases/release.sfe?id=1883 高精度な物体認識 自動運転でも活躍
  10. 10. Appium x ディープラーニング p ディープラーニングの画像認識を、コンポーネン ト認識に利用 p 「誰でも」「すばやく」読みやすいスクリプトを作成 できるように
  11. 11. そして生まれたのが Magic Pot
  12. 12. コンセプト動画 https://www.youtube.com/watch?v=UEQrIsndFpc
  13. 13. デモ Yahoo!乗換案内 Jenkins +
  14. 14. デモスクリプト 出発「東京」 到着「新大阪」 出発時刻「12/31 12:00」 検索結果の1行目は 「12:00」発の電車
  15. 15. デモスクリプト 「出発地」 を指定する画面 「時刻」 を指定する画面 タップ 「到着地」 を指定する画面タップ タップ
  16. 16. デモ https://www.youtube.com/watch?v=bdF2k-1miD4
  17. 17. 実装 -テストを作成する- ①画像解析 (ディープラーニング) ②選んでテスト作成
  18. 18. 実装 -テストを実行する- ③unittestのコードに変換 ④コマンドラインから実行 ④CIで実行
  19. 19. 実装 -テストを実行する- ⑤実行時に再度画像解析 ⑥対応するAppium要素を取得 UIATextField[1] ⑦Appiumで実行
  20. 20. 実装 -テストを実行する- ⑤実行時に再度画像解析 ⑥対応するAppium要素を取得 UIATextField[1] ⑦Appiumで実行 「名前」入力エリア UIATextField[1] の対応はキャッシュし、 2回目からは高速に動作
  21. 21. システム構成 CIツール クラウド環境 Webサーバ スクリプトDB ユーザ環境 Magic Pot クライアント 端末 ①開始 ②スクリプト 取得 ③テスト 実行
  22. 22. よくありそうなQ&A Q: クラウドサービスなの?ライブラリなの? A: クラウド + クライアントライブラリの組み合わせです Q: 有料なの?無料なの? A: 無料版と有料版両方を提供する予定です Q: いつから使えるの? A: クローズドβ開始まであと少し!
  23. 23. 今後もまだまだバージョンアップ! p Webでも使えないの? p プログラム書かないと辛い時はどうするの? p UIが変わった時のメンテナンス性ってどうなの? p AIが誤認識した時はどうするの? ちゃんと考えてますので、乞うご期待!
  24. 24. お知らせ① pβユーザー先行登録受付中
  25. 25. お知らせ② p 近々改名します! p 「Magic Pot」=>「Magic Pod」
  26. 26. ありがとうございました!

×