![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行](https://image.slidesharecdn.com/jasst20170623-170703125418/75/UI-AI-AI-18-2048.jpg)
![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行
「名前」入力エリア UIATextField[1]
の対応はキャッシュし、
2回目からは高速に動作](https://image.slidesharecdn.com/jasst20170623-170703125418/75/UI-AI-AI-19-2048.jpg)
「UI自動テストツールとAI」〜AIを使った自動テストの「今」と「未来」〜
- 1.
- 2. About Me p 伊藤望 p 株式会社TRIDENT 代表取締役 n テスト自動化の支援を行うベンチャー p コミュニティ運営 n 日本Seleniumユーザーコミュニティ p 執筆
- 3. 今日のお話 1. AI技術を使った自動テストサービス 「Magic Pod」 2. Magic Podの仕組み 3.Magic Pod自身のAIエンジンのテスト 4. AI自動テストの今後の可能性
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. Magic Pod p AIを活用した自動テストWebサービス n ディープラーニングなどの機械学習技術などを活用 n現在はモバイルアプリ向けのみ p 旧「Magic Pot」から改名
- 10.
- 11.
- 12.
- 13.
- 14. p 2通りの方式がある 1. テスト実行時検索方式 n画面キャプチャだけでテストを作成 2. テスト作成時検索方式 n もう少しシステム情報を活用した方式 n 画像解析が間違っていたら手直しできる n 実運用ではこちらをメインに使ってもらっている テスト作成・実行エンジンの仕組み
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. 1. 人間のように賢そうなプログラムをAIと呼ぶケース 2. 機械学習を使ったプログラムを指すケース nデータを学習させる作業が発生 n 学習データによって挙動が変わる AIって何?
- 27. p 学習データの一部をテストデータとして使い、正答率で エンジンの性能を測る (交差検証) p機械学習エンジニアは、大抵このテストをしている 機械学習エンジンのテスト テストデータ ①学習させる エンジン 学習データ ②テストする ③正答率が低いとNG
- 28. p 正答率の数字だけでは気づかないこともある p 例： 1.学習データを増やした 2. その結果、正答率が96% => 98%にアップ 3. だが、これまで「ボタン」と認識できていた画像が認識できな くなった 機械学習エンジンのテスト
- 29. p どう学習されたかは、人間にはブラックボックス n 意図せぬ結果が時々起きる p学習ロジックの中に、ランダム処理がある(ことが多い) n 例：確率的勾配降下法：学習データの偏りをなくすため、毎回 データをランダムに選んで学習 n 「データもロジックも変えてないのに、学習し直したら結果が 変わった！」みたいなことが.. 原因
- 30. p 正答率を見る + きちんと動作して欲しい基本テストケー スを自動テスト化 p開発中もこまめにテスト Magic Pod開発ではどうしているか
- 31. p 失敗することはあるか n わかりやすいアイコン等の識別は、通常失敗しない n人間も判断に困るような際どいデータの判定は、学習ごとに 結果が変わりがち p 失敗した時の対策 n 対策1：間違えたデータを学習データに加える n 対策2：とりあえず再学習 n 対策3：諦める n 対策4：機械学習ロジック自体の改良 基本テストケースが失敗したら
- 32. p 現状世の中で機械学習が使われているところ 1. 不安定さを許容できる処理 n投稿写真のタグ付け n チャットボット n 商品のレコメンド 2. 人間より精度が良い処理 n 工場の不良品検出 n 病気の原因診断 そんな不安定で大丈夫か?
- 33. p Magic Podは? n 不安定さを許容できる部分に機械学習を使っている n画像解析結果は、間違えてもユーザーが直せる n テスト実行には、現状機械学習エンジンを使っていない p 自動運転は? n 画像認識の精度はすでに人間と同レベル? n センサーなど、非機械学習技術と併用? そんな不安定で大丈夫か?
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42. 行間を読んで自動展開 - アイデア 1.Magic Podで、共通関数機能を提供 メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン ユーザーが、好きな名前で 共通関数を作成できる
- 43. 行間を読んで自動展開 - アイデア 2.共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 44. 行間を読んで自動展開 - アイデア 2.共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.