Download to read offline
Testing processqualifylevel 2009
- 1. ソフトウェアテストを外部組織に お願いするときに満たして欲しい水 準 @snsk 11/06/2009
- 2. 目次 1. テスト設計品質水準 2. テスト実装品質水準 3.テスト実行品質水準 4. 不具合レポート品質水準 2
- 3. テスト設計品質水準 網羅性と高検出率を出来るだけ少ないテストケース数で確保 する事を基本方針とする • 優先度は 網羅性 >> 高検出率 > 省テスト • 網羅性は テストタイプ毎に設定された観点に基づく • 仕様ベースなら仕様記述の網羅、パフォーマンスなら効率性観点の 網羅 要件の内容を正確に把握し、テスト可能性の観点から曖昧な 点が無い状態である事 実装 / 実行フェーズに向けた自動化案 / 業務効率化案が考慮 されている事 機能要求についてはトレーサビリティが確保されている事 非機能要求の特に効率性については具体的な計測機構が想定 できている事 3
- 4. テスト実装品質水準 フレームワークに確実に準拠している事 設計に沿った妥当なテストケース＆コンテンツである事 • 設計とトレーサビリティが取れるようなプロセスが望まし い テストケースはそれぞれ何を確認しているのか明白である事 テストケースの手順が明確である事 ( 最短 且つ 誤解を与えな い記載 ) テストケースの期待動作が明確である事 テストケースは原則として 1 件で 1 つの確認である事 テストコンテンツはテストアイテムの環境に極力依存しない 事 テストコンテンツのコードは必要最小限である事 テスト対象外のテストケースには必ず対象外理由がある 事 4
- 5. テスト実行品質水準 テスト実行ルールが一貫して守られていること •結果判定のポリシー • コメントの記入 • 保留 /SKIP の扱い FAIL であればインシデントレポートを起票すること • 原則として PASS 以外の結果には必ずコメントを残すこと テストが完了したら結果をサマライズし、総体的にどのよう な結果に終わったのかを端的に報告すること ( リーダー ) 試験手順や期待動作、コンテンツの不備などがあれば逐次報 告を行う事 ( 修正方針など同時に出せると望ましい ) 広大な範囲がブロックされる、またはプロジェクトのスコー プ達成に直接影響を及ぼすような不具合が発見された場合は 即時報告を行う事 5
- 6. インシデントレポート品質水準 何が問題なのか明確である事 •ex: 「正しく動作しない」は何が正しいのか不明なので NG • 要約は「何をどうするとどうなってその何がどう悪いのか」 を端的に記載する。長くなってもかまわない 再現手順が最短、確実、明確である事 期待動作の根拠が示されている事 • クラッシュ、フリーズなど明らかなものを除く 旧バージョン、他類似製品での再現性など原因特定に役立つ 情報を記載する事 • 旧バージョンは明らかな不具合のとき、他ブラウザ再現性は仕様変更 を検討する際に有用 現象が再現する限り最も小さい形まで絞り込んだ再現コンテ ンツを用意する事 • これを作る過程で得られた原因特定に役立つ情報を記載する事 描画系不具合の場合、レポートにはスクリーンショットを添 付する事 6