STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023

© NEC Corporation 2023
テストケースの自動生成に生成AI導入を検討してみた
202３年12月0９日
日本電気株式会社
坂下聡
ソフトウェアテスト自動化カンファレンス202３

 はじめに
 テストケースの自動生成について
 テストケース生成における生成AIの可能性
 今後に向けて
本日の発表

3
自己紹介
坂下聡（さかしたさとし）
日本電気株式会社
ソフトウェア＆システムエンジニアリング統括
部
スペシャリスト
テストソリューション、テスト自動化推進担当
 経歴
 1993年入社
 システムコンサルティングやインフラ構築、テ
スト自動化ツールの開発や導入を経て、現在は
テスト全般のソリューション提供とテスト自動
化技術の普及活動を担当

4
はじめに
 近年、テストにおいて、ChatGPTを用いた生成AIをどのように活用できるのか、
多方面で検証された情報が公開されはじめています
 そこで、以前作成した設計書からテスト仕様書を作成し、テストスクリプトを出
力するツールの一部に、生成AIの機能を取りこむことができないかを検討しまし
た
 本日は、現時点での試行錯誤状況をお話しします

5
（参考）テストケースの自動生成について
 6年前に作成したツールの仕組み
 このツールの既存課題
 機能設計書の処理仕様が日本語の文章で記載されている場合、機械的に記載内容を判断してテ
ストケースを生成することができない（言語処理が必要）
機能設計書
（Excelで記載）
テスト仕様書
（キーワードドリブン形式）
テストスクリプト
確認＆追記
解析＆変換解析＆変換
今回の検証ターゲット

6
テストケース生成における生成AIの可能性
 処理仕様の解読について
 表形式のExcelシートをChatGPT-4に読み込ませて解読
 処理仕様の中で、詳細が記載されている部分が判別しやすいように、記載範囲をセル名で指定
 空白行があると、次の行が無いと判断してそこで解読を終了するため、空白行を削除
 解読における工夫点
 ChatGPT-4の実施時点の解析能力を確認するために、機能設計書そのものを読み込ませてどの
シートにテストケースを生成するための情報が記載されているかを判断させてみる
 機能設計書に記載されていない内容を含めてChatGPT-4はテストケースを生成するため、テス
トケースを生成するために必要な記載がされている部分を指定し、必要が無い記載の部分を除
外するようにあらかじめ指定する
 機能設計書に記載が不足している人間の「暗黙知」を前提条件として記載する

7
検証例
 インプットとなる機能設計書

8
検証例
 ChatGPT-4での解釈

9
検証例
 ChatGPT-4で作成されたテストケース
テストケーステストステップキーワード期待結果変数の値
初期処理システム起動システム起動システムが起動し、初期画面が表示されるなし
予約処理ログイン状態確認ログイン状態チェックログインしていない場合、ログイン促進メッ
セージ表示
ログイン状態=未ログイ
ン
予約処理日付入力チェック日付入力 3か月以内の日付であれば次へ進む、そう
でなければエラーメッセージ表示
宿泊日=2023/12/01
予約処理必須項目入力チェック必須項目チェック全ての必須項目が入力されていれば次へ
進む、そうでなければエラーメッセージ表示
宿泊人数=2, 宿泊数=3,
連絡先=メール
予約処理予約内容確認とページ遷移ページ遷移「予約内容を確認する」ボタンをクリック後、
宿泊予約画面（SHP0103）へ遷移
なし
このままだと、テストスクリプトに変換するときに再度
処理ステップにあわせたキーワードに分解する必要があ
るので、この時点でテストスクリプトに変換しやすい
キーワードにしておきたい

10
検証例
 ChatGPT-4に指定したキーワードで作成したテストケース
キーワード
文字列入力
画面入力
アイテム選択
クリック
文字列確認
キー押下
マウス移動
待機(対象が現れるまで)
待機(対象がなくなるまで)
待機(時間指定)
文字列取得
テストケーステストステップキーワード対象変数の値期待結果
初期処理システム起動時の初期化処理の確認文字列確認メニューログインシステムが正常に起動し、初期画面が表示される
予約処理ログイン状態の確認文字列確認ログイン状態表示領域ログインログインしていない場合、ログイン促進メッセージまたは
画面が表示される
予約処理必須項目の入力確認文字列入力必須項目フィールド必須項目の状態必須項目がすべて入力されている
予約処理宿泊日入力確認文字列入力宿泊日入力フィールド宿泊日=2023/12/01 宿泊日が正しく入力される
予約処理「このプランで予約」ボタンのクリッククリックこのプランで予約ボタンクリック後、次のステップへ進む
予約処理タイトル確認文字列確認タイトル宿泊予約タイトルが「宿泊予約」であることを確認
予約処理「予約内容を確認する」ボタンのクリックと
ページ遷移の確認
クリック「予約内容を確認する」ボタンなしボタンをクリックすると宿泊予約画面（SHP0103）へ正常
に遷移する

11
（参考）Bing ChatでExcelシートの記入例を聞いてみる
Bing Chatの指示通りに記載したExcelファイルを
ChatGPT-4に読み込ませると、「Excelのファイル
形式に問題があるため、解析できなくなりまし
た。」と言われてしまいました。。。

12
この時点での課題
 一つの処理仕様に対し、テストスクリプトに変換可能な表現にする場合は、複数
のステップに分解して処理仕様に記載された状態を変換する必要がある
 分解するルールが一定の法則を持つようであればよいが、表現によっては人が理
解したうえで言い換える必要がある
 ChatGPT－４でテストケースを作成した際の課題
 ログイン有無の条件分岐が解釈できないので、書き方を考える必要あり
 入力チェックのチェック項目は、全部バラバラに記載する必要あり

13
再検証
 どんなExcelファイルが読み込めないのかを確認
考えられるのはこの2点
２．データの整理
４．データの構造
この2点を下記のように対応することにした
２．データの整理
別シートを参照しているセルが複数あったので、
参照後に表示される値に修正する
４．データの構造
プロンプトの指示で空白行と空白列を対象外と
するように追記する

14
再検証
 読めそうなシートから「このシートは読み込めますか？」と順に聞いてみる

15
再検証
処理仕様の条件による記載も空白行と空白列を対象外に
する指示をするだけで反映されるようになった！
テストケースID テスト項目キーワード変数実施するテスト期待される結果
TC-01 ログイン有無チェック文字列確認ログイン状態: ログオフログイン状態で画面を表示氏名の項目に会員名が表示される
TC-02 ログイン有無チェック文字列確認非ログイン状態: ログイン非ログイン状態で画面を表示氏名の項目に何も表示されない
TC-03 日付チェック文字列確認明日の日付: YYYY/MM/DD 画面を開いた際に宿泊日を確認宿泊日の項目に翌日の年月日が表示されている
TC-04 入力チェック文字列入力宿泊日宿泊日に3か月以内の日付を入力正しい日付が受け入れられる
TC-04 入力チェック文字列確認宿泊日宿泊日に3か月以内の日付を入力正しい日付が受け入れられる
TC-05 入力チェック文字列入力宿泊日宿泊日に3か月を超える日付を入力エラーメッセージが表示される
TC-05 入力チェック文字列確認宿泊日宿泊日に3か月を超える日付を入力エラーメッセージが表示される
TC-06 入力チェック文字列入力各項目各項目に適切な文字を入力入力した文字が受け入れられる
TC-06 入力チェック文字列確認各項目各項目に適切な文字を入力入力した文字が受け入れられる
TC-07 入力チェック文字列入力必須項目必須項目を空白で入力エラーメッセージが表示される
TC-07 入力チェック文字列確認必須項目必須項目を空白で入力エラーメッセージが表示される
TC-08 ボタンクリック処理クリック予約内容を確認するボタン「予約内容を確認する」をクリック宿泊予約画面（SHP0103）へ遷移する

16
AI-Readyなデータを準備することが活用促進のカギ
今後に向けて
 仕様書をAI-Readyなデータとして準備
 シート間の連携情報は事前に学習
 自己学習機能の追加は必要
 方眼紙のような仕様書もチャレンジ

STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023

STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023

Similar to STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023 (20)

STAC2023 テストケースの自動生成に生成AI導入を検討してみた STAC2023