EMTEを使って自動化の費用対効果をわかりやすく表現する

EMTEを使って自動化の費用対効果を
わかりやすく表現する
RUEY JYE
芮杰 (ゼイジェ)

© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。2
アジェンダ
• 自己紹介
• EMTEとは
• 自動テストの評価指標
• 実際のプロジェクトでの検証、測定
• EMTEを使うメリット
• まとめ

自己紹介

自己紹介
Ruey Jye
芮杰
(ゼイジェ)
台湾出身のSET (Software Engineer in Test)
呼び方：ゼイさん、Jさん
経歴：
2016 (来日) LIFULL(新卒) 品質管理グループ
2018 LIFULL SETグループ
2020 LIFULL クオリティエンジニアリンググループ
資格
• ISTQB CTFL (Foundation Level)
• ISTQB CTAL-TAE (Advanced Level
Test Automation Engineer)
テストプロバイダ経由し
て、日本のテストセンタ
ーで試験受けました。

EMTEとは

みなさんはEMTEを聞いたことありますか？

EMTEとは
EMTE (Equivalent Manual Test Effort)
テストを手動で実行する工数
参考：ISTQBの用語集
https://glossary.istqb.org/jp/search/EMTE

EMTEとは
例：
テストを手動で実行する工数：120分
そのテストを自動化したときの実行時間：30分

EMTEとは
例：
テストを手動で実行する工数：120分 ➡︎ 1 EMTE
そのテストを自動化したときの実行時間：30分 ➡︎ 0.25 EMTE
EMTEは時間単位と変換ができます！

なぜEMTEに変換するのか？

EMTEの効果
手動実行で消費した時間と相対的にできる
手動実行時間自動実行時間
その他の工数
自動テスト実行 0.25 EMTE
(テスト実施者は手動実行の
1/4だと直感的に判断できる)

自動テストの評価指標

なぜ自動テストを評価するのでしょうか

目的の達成を確認するためです

• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥によるケース失敗率)
– Time to execute automated tests (自動テストの実行時間)
– Number of automated test cases (自動テストのケース数)
– Number of pass and fail results (自動テストのケース成功/失敗数)
– Number of false-fail and false-pass results (自動テストの結果誤判定数)
– Code coverage (自動テストのカバレッジ)
• Internal TAS metrics
– Tool scripting metrics (分析ツールの結果メトリクス)
– Automation code defect density (自動テストのコードの欠陥密度)
– Speed and efficiency of TAS components (自動テスト各コンポネートの効率)
参考：ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html
補足：TASはTest Automation Solutionの略語です

工数系の指標のみ紹介します

• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥よるのケース失敗率)
シラバスによるとこれらの指標は
EMTEに変換して表現できることも
記載されています
参考：ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html

• 自動テストの構築工数
自動テスト環境構築、テストケース設計、テストケース実装などの初期コスト
• 自動テストの結果分析工数
自動テスト実行後の結果確認、不安定なテストの再実行、
デグレーションが発生の確認などの運用コスト
• 自動テストのメンテナンス工数
テストケースの修正やテストデータの整備などの運用コスト

実際のプロジェクトでの検証、測定

検証したプロジェクト概要

検証したプロジェクト概要
Tチームの自動テストを構築しました
対応した内容：
• 自動テスト環境構築
• テストケース設計、実装
• 実際の運用サポート

集計結果

実際の数字 - 実行時間
• 全ケースを手動で行う時間
1時間34分10秒 ➡︎ 5650秒
• 自動テスト実行時間
531秒
※計算しやすくするため、秒単位で表しています

実際の数字 - 評価指標
97時間 ➡︎ 349200秒
30分 ➡︎ 1800秒
30分 ➡︎ 1800秒
※計算しやすくため、秒単位で表しています

EMTEで変換

実際の数字 - 評価指標
349200秒 ➡︎ 61.81EMTE
1800秒 ➡︎ 0.32 EMTE
1800秒 ➡︎ 0.32 EMTE
• 全ケースを手動で行う時間
5650秒 ➡︎ 1 EMTE
• 自動テスト実行時間
531秒 ➡︎ 0.094 EMTE

わかったこと

わかったこと
• 自動テストの実行効率がいい
自動実行 = 0.094 EMTE (手動の10倍ぐらい早い)
• 運用作業を含めても自動テストのコストは高くない
手動実行 > ( 自動実行 + 分析 + メンテナンス )
➡︎ 1 > ( 0.094 + 0.32 + 0.32 ) (手動実行時間内に収まる)

わかったこと
• 構築工数を還元するまでの期間
自動化で節約出来た時間
= 手動実行 - 自動実行
= 1-0.094 = 0.906 EMTE
構築工数を還元するまでの回数 (※仮に毎回の実行で分析、メンテナンスが発生しない場合)
= 構築工数 / 自動化で節約出来た時間
= 61.81 / 0.906 ≒ 68回

EMTEを使うメリット

メリット
時間より、効果がわかりやすい
手動実行時間 1時間34分10秒
自動テスト
実行時間
8分51秒
自動テスト
結果分析工数
30分
自動テスト
メンテナンス工数
30分
自動テスト
構築工数
97時間
手動実行時間 1 EMTE
自動テスト
実行時間
0.094 EMTE
自動テスト
結果分析工数
0.32 EMTE
自動テスト
メンテナンス工数
0.32 EMTE
自動テスト
構築工数
61.81 EMTE

工数と節約の費用対効果

費用対効果（運用コストなし）
初期コスト = 61.81 EMTE (1回のみ)
節約した工数 = 0.906 EMTE/回
68回自動テストを回すことで
初期コストの元が取れる！

費用対効果（運用コスト込）
初期コスト = 61.81 EMTE (1回のみ)
運用コスト = 0.64 EMTE/回
節約した工数 = 0.906 EMTE/回
233回自動テストを回すことで
初期コスト+運用コストの元が取
れる！

補足情報

補足情報
• EMTEはただの単位変換
時間単位のままでも計算出来ます
• EMTEは工数の指標のみ
他の自動テスト指標は別集計が必要
• 節約は必要な自動テストのみ有効になります
1リリースサイクルで1回自動テストを実行するのであれば、
そのサイクルにある自動テストの実行のみ効果があります

まとめ

まとめ
EMTEは手動で消費した時間と相対的に比較できます
EMTEは効果をわかりやすく表現できます
テストの目的と合わせて、必要な指標も測りましょう

ご清聴ありがとうございました

EMTEを使って自動化の費用対効果をわかりやすく表現する

EMTEを使って自動化の費用対効果をわかりやすく表現する

Recommended

More Related Content

What's hot

What's hot(20)

Similar to EMTEを使って自動化の費用対効果をわかりやすく表現する

Similar to EMTEを使って自動化の費用対効果をわかりやすく表現する(20)

Recently uploaded

Recently uploaded(7)

EMTEを使って自動化の費用対効果をわかりやすく表現する