summarize test automation knowledge when start automation.

1. Test Automation Journey 2023
Jan. 1st , 2024
Emura Sadaaki

2. 前提
 WEBサービスのUIテストの自動化を対象とする
 テスト自動化の（たぶん）一般論がメインです
 技術的なことは含まれていません
 テスト自動化を導入、振り返りに役に立てればと思います

3. Agenda
1. テスト自動化の目的は明確にする
2. テスト自動化の特徴を知る
3. テスト自動化の実装法を検討する
4. テスト自動化は立ち上げ時より、導入後が大変になる
5. テスト自動化の見える化をする

4. 1. テスト自動化の目的は明確にする

5. 1. テスト自動化の目的は明確にする
目的に合わせて、テスト自動化の戦略が決まる
 自動化は手段であって、目的ではないはず。
 コスト削減は目的にはなるが、具体性がない。
 目的は？ リグレッション、スモークテスト、新規機能テスト、テストサポート（データ作成）、負荷試験
 マニュアルテストとのすみわけは？
 実行頻度は？ Deploy後、毎日、任意
 アプリケーションの更新頻度は？ ２週間、毎月、半年

6. テスト自動化の目的は？
①
②
Product
New function Regression / smoke (some function)
1) Regression affected by new project (spec change)
2) New function

7. テスト実行頻度
execution execution execution execution
t
deploy deploy deploy deploy

8. アプリ更新頻度
Script
Update
Script
Update
Script
Update
Script
Update
t
Project 1 Project 2 Project 3 Project 4
2 weeks

9. それはテスト自動化の目的？
Manual test
Test automation
Test reputation
cost
Cost
目的
テスト自動化は x回以上実行すると、マニュ
アルテストのコストより下回る！
• 自動化の使い方次第で運用コストが発生
します！
• もとが取れるから自動化ってそれでいい
の？

10. それはテスト自動化の目的？
理論
テスト自動化は、仕様変更によって修正コストが発生する
なので、UI等の修正が発生しにくいところを自動化するとよい
• 本来、テスト自動化にテストしてもらいたいところはどこ？
• 修正コストを意識して、本来の品質を上げたいことをやっているのだろうか？

11. 2. テスト自動化の特徴を知る

12. 2. テスト自動化の特徴を知る
 テスト自動化のメリット
 一貫性
 マニュアルでは厳しい複雑なテスト実施
 高速FeedBack、大量実行、四六時中実行、そして人が暇になる
 テスト自動化のデメリット
 決められた手順しかやらない（探索テストはしない）
 新規性のバグを見つけるのは困難（上記、同じテストを繰り返し実施するだけなので）
 機械で判別できる基準が必要（“UIがくずれている“というvalidationは厳しい）
 きわどいタイミング要求、手動操作を介在するテストは不向き（完全自動化にはならない）
 新規シナリオのテスト自動化の開始時期は遅くなる（安定したテスト対象がないと、実装が厳しい）
テスト自動化は銀の弾丸ではない。
マニュアルテストとテスト自動化、それぞれの特徴を知ったうえで、テスト自動化の使い道を設計する

13. 新規シナリオのテスト自動化の開始時期は遅くなる
Ex. Waterfall model
requireme
nt
Design coding test release
Class, id 設計する？
何時、テスト環境できる？
何時、安定する？
実質、自動化実装
はここから？

14. 3. テスト自動化の実装法を検討する

15. 3. テスト自動化の実装法を検討する
 誰が初期実装するか？
 マニュアルエンジニア？アプリケーションエンジニア？テストがわかる自動化エンジニア？
 誰がどのように利用するのか？
 QAの中で実施する？開発のdeployと連動する？
 プロダクトのリリースサイクルは？
 テスト自動化の品質（テスト自動化はアプリである）
 アプリと同じ、コーディングルール、テスト基準の検討
 実装はシンプルに
 誰がコードを見るか、実行するかを考えた実装（マニュアルエンジニアがシナリオを読む？）
 データ駆動、キーワード駆動の検討
 必要な付加サービス
 クロスブラウザ、最新OSの追従スピード
 レポート（スクショ、動画、調査に必要なその他情報、メトリックス）

16. テスト自動化ツール
https://www.veriserve.co.jp/asset/approach/column/ai/advanced-tech-ai04.html
AIとソフトウェア品質技術 (access in 2022/02/01)
OR

17. テスト自動化の粒度（基準）
 各レイヤーの責任範囲は？
 UIテストはどこまで細かくテストをする？
https://katrinatester.blogspot.com/p/testing-in-devops.html

18. データ駆動、キーワード駆動
Open browser
Go To Top
Click My Page
Input ${ID} & ${Password}
Click Login
Validate ${UserName}
Click Logout
Close browser
3回 loopする
データ駆動 キーワード駆動
Open browser
ログインする
単勝を１チケット購入する
購入処理をする
Close browser
1. Go to top
2. Click my page
3. Input
ID&Password
4. Click login

19. 4. テスト自動化は立ち上げ時より、
導入後が大変になる

20. 4. テスト自動化は立ち上げ時より、導入後が大変になる
 要因
 プロダクトの仕様変更にテスト自動化が追従
 テスト自動化はFragile
 テスト自動化実行してエラー発生時、その調査（マニュアルテスト以上に時間がかかるかも）
 テスト自動化のパフォーマンス劣化の対応
 ブラウザ、OS、テスト実機などの最新化への対応
「テスト自動化は作ってしまえば、あとはお金かからないんでしょ？」
いえコストはかかります！

21. テスト自動化はFragile
 Networkの瞬断
 テスト環境のサーバースペック不足
 テスト環境へのDeploymentと被った
 UIが描画完了せずに処理を進めようとして失敗した
 テスト機のパフォーマンスが悪化した
 ブラウザがメモリを枯渇した
 サードパーティー（API、CDN等）の障害
 ブラウザ・アプリが意図しないポップアップ・警告・通知を出した

22. エラー発生時の調査
manual automation
1. テストする
2. バグを見つける
3. バグチケットを上げる
1. Jenkins が失敗する
2. 失敗レポートで原因を分析する
3. Local で実行してみる
4. バグチケットを上げる
V.S.
Issueが起きたと
きの対処に時間
がかかる！

23. 5. テスト自動化の見える化をする

24. 5. テスト自動化の見える化をする
 テスト自動化のアクティビティを可視化
 プロセス（運用、マニュアルテストとの連携方法等）
 テスト自動化のテストケース
 内外へのレポート
 プロダクトの品質を可視化
 カバレッジ
 テスト結果サマリ
 テスト自動化の品質を可視化
 信頼性（自動化要因による失敗率、偽陰性、擬陽性等）
 テストリソースのパフォーマンス（実行速度、使用率・混雑状況）
 テスト失敗時の分析（すべてがバグではないでしょ？）
 テスト自動化の運用の効率化
 上記可視化の仕組化
 テスト自動化の運用の仕組化

25. テスト自動化の品質を可視化
テスト成功率
テスト実行履歴
テスト失敗時の分析
テストリソースのパフォーマンス、混雑状況

26. Thank you for listening!