Download as PDF, PPTX
Uploaded bySatsuki Urayama
テスト自動化の現場から~テスト自動化の保守の話~
自動化したテストは一度作ったら終わりではなく、テスト対象への仕様追加や仕様変更、テスト環境の変化などに適応していかなければなりません。この発表では、実際の現場で起きた自動化の失敗例や、成功例をご紹介します。
テスト自動化の現場から~テスト自動化の保守の話~
- 1.
- 2.
- 3. 自己紹介 浦山 さつき 仕事 エンプラ・金融系システムのテスト テスト設計、テスト自動化、マネジメント、教育 所属コミュニティ テスト自動化研究会 しなてす 書籍 『システムテスト自動化標準ガイド』共訳 登壇 WACATE2015夏 CEDEC2014 JaSST ’14 Tohoku JaSST ’13 Tokyo 他
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. 顧客満足度を上げるための様々な施策 例 新規登録・更新 反映 各コンテンツの機能障害検知、速度調査 施策 •機能障害を検知する 仕組みの導入 • 障害の定義 • 許容時間の定義 店舗 クレーム 店舗情報 ポータル サイト
- 11.
- 12. 自動化の背景 0.0 0.5 1.0 1.5 2.0 2.5 2011 2012 20132014 2015 倍 ユニークユーザー数 有料加盟店舗数 5万件 を突破
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. 自動テストのスコープ ①199X年 新規開発 ⑤サービス終了 ②設計 影響調査 ③修正の実施 ④-1 ユニットテスト ⑥201X年 システム刷新 サービス追加要件 リリース ④-2 統合テスト ④-3システムテスト ④-4 受入れテスト ④-3 システムテスト
- 20.
- 21.
- 22.
- 23.
- 24. 事象 急に動かなくなる自動テスト • ある朝、いつも通り出勤したら、 定期実行しているテストに大量のエラーが！！ •品質管理チームを介さないリリースが入っていた＞＜ 事例1
- 25. 対策 伝達体制の強化と回避策の規定 • 伝達体制の強化 •把握できていない箇所で問題が起きた時の 回避策を用意 いつまでに報告が必要か確認 手動実行でかかる時間を予め算出 報告しなければならない時間から逆算し、修正にかけられ る時間を算出 修正が間に合わない場合は手動で実行 事例1
- 26. 事象 チケットの後回し • 不具合の報告をしたが、いつまで経っても改修され ない。 •他のチームが報告した不具合は着手されているよう だ。 事例2
- 27. 対策 有力者に協力を仰ぐ • 上層部からの連携 •認知されている部署への協力を仰ぐ 事例2
- 28.
- 29. 事象 修正が追いつかない • 影響範囲が大きすぎて、修正が追いつかない！ •似たようなスクリプトが多すぎる！！ Test1 Test2 Test4Test3 事例1
- 30. 対策 スクリプトの構造化 • スクリプトの構造化が有効。 レベル１Linear Script Frameworks レベル２ Data-driven Frameworks Functional Decomposition Frameworks レベル３ Keyword-Driven Frameworks Model-based Framework TABOK Segment 2: Macroscopic Process Skills Skill Category 4: Test Automation Frameworks
- 31. 対策 スクリプトの構造化 例 Classサービス設定画面 Function ユーザー名(Name) TextBox(“UserName”).Type Name Function ログイン Button(“Login”).Click Class 検索画面 Function 検索(id) TextBox(“UserId”).type id Button(“Serch”).Click Function 種別選択(item) SelectBox(“UserId”).select item パラメタ なにを順番どこに どうする スクリプトスクリプトスクリプト 事例2 操作順 操作画面 値 1 検索 A 2 種別選択 変更
- 32. 対策 スクリプトの構造化 例 パラメタ なにを順番どこにどうする スクリプトスクリプトスクリプト 操作順の変更操作対象の変更 設定値の変更 変更箇所が 見つけやすい 事例2
- 33.
- 34. 事象 画面キャプチャでログサーバーがパンク • 保守し続けて半年、見たことのないエラーが出た。 •ツールの初期設定のまま実行していたら、ログの容 量でパンク！！ 事例2
- 35. 対策 キャプチャ取得や保存タイミングの整理 • エビデンスやログの解析に不要な画面キャプチャの 削除 •過去ログの保存ルールを決定 事例2
- 36.
- 37.
- 38. 対策 テストの草刈り • テストを自動化して満足することなかれ。 •テスト自身の保守も忘れずに。 テストケースの追加と削除 修正に伴う自動テストのテストも忘れずに。 事例2
- 39.
- 40.
- 41. 事象 主担当者が抜けたら自動テストが回らない • 数年来の自動化担当が抜けた •次の担当者が決まらない • 上層部への一時的な引き継ぎによって、自動化が 途絶える 事例2
- 42. 対策 担当者同士での引き継ぎをしよう • 後継者と十分な引き継ぎ期間が必要 •学習コストを下げる工夫をする 不必要な作り込みをしない 秘伝のタレを作らない ドキュメントは定期的に更新する 事例2
- 43.
- 44. 参考 テスト自動化標準ガイド 7章 保守性の高いテストを構築する 7.2テストメンテナンスの要因 テストケースの数 テストデータの量 テストデータの形式 テストケースの実行時間 テストケースのデバッグ能力 テストの相互依存性 命名規則 テストの複雑性 テストドキュメンテーション
- 45.
- 46.