Recommended
More Related Content
What's hot
What's hot (20)
Similar to ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
Similar to ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入 (20)
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
- 2. ©AIQVE ONE Inc. - 2 - 設立：2021年2月 ※QA事業は2018年6月開始 代表取締役会長 新堀義之 代表取締役社長 山崎太郎 取締役 本城嘉太郎 資本金：1億円 従業員数：166名 （2021年9月現在） 事業内容： AI技術や自動化・ツール等を活用した ソフトウェア品質保証事業 会社紹介
- 3. 自己紹介 喋る人 島澤 友希 Shimazawa Yuki 中嶌 涼輔 Nakajima Ryosuke 南 美穂 Minami Miho 自動化プランナーその１ 自動化エンジニア 自動化プランナーその２ 資料作成その他もろもろをお手伝いしてくれた人
- 6. 大まかな体験談時系列 2020～2021年 4月〜 非常に曖昧な要件を元に進行 7月〜 十分な引き継ぎが無いまま案件リーダーが変更 8月〜 後任のリーダーと擦り合わせ出来ずトラブルに 9月〜 クライアントと認識擦り合わせで自動化に対する認識の不一致に気づく 10月〜 自動化導入を新しく入ってきた実行者がなんとか着地させた
- 14. 3.後任のリーダーと擦り合わせ出来ずトラブルに 8月～ 自動化の進行管理が宙ぶらりんになり、 後任リーダー と 自動化エンジニアのどちらが管理するかでトラブルに発展。 後に新しく入ってきたテスターがやっていくことに。 結局…
Editor's Notes
- これより「ぼんやりとした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入」についてセッションを始めさせていただきます。
- まずは軽く会社紹介と喋る人の自己紹介から 弊社AIQVE ONE株式会社と申します。 AI技術やテスト自動化導入・ツールなどを活用したソフトウェア品質保証事業をおこなっている会社で、主にスマホのアプリゲームを中心にテストをおこなっております。
- その中で自動化チームとしてお仕事をしています、島澤が今回お話しさせていただきます。
- まず前提といたしまして、弊社のテスト自動化に関して少し説明させていただきます。 弊社の自動化エンジニアは残念ながらあまり人数がおりません。 そのため、基本的には1人で複数の案件を横断的に受け持っており、その案件専任でアサインすることがほとんどありません。 図のように自動化チームとして受け持っているのはスクリプトの作成までとなっており、基本的に現場のテスターさんが自動化オペレータとして 作成されたスクリプトを実行して、その結果をケースに反映させていくといった方式を取っております。
- 続いて、本セッションについてのご説明です。 今回お話しするテスト自動化導入の対象はスマホのRPGゲームになります。 当初は手動実行するテスターさんの人数を減らしてコスト削減をしたいを目的としており、本導入後に動作が安定した段階で現場のテスターが自動テストの実行を引き継ぎ、自動テストを実行・確認する予定で進めていました。 ここでゲームの自動化の特徴についてご説明いたしますと、 ・1番目はイベント毎にアセットに使われるフォントや色味、画面自体のUIの更新が発生する。 ・2番目はテストサイクルが非常に短く、データ更新が短いものだと週に1度、隔週更新でデータ更新が発生する。 ・3番目はゲーム自体のテスト要件の精査が出来ていないとテストのうまみがない ・4番目は2番目、3番目の特徴に付随しますが、保守作業する機会が頻繁にあるため、要件に根差したスクリプト構造ではないとスクリプトがスパゲティコードになり、保守しにくい構造になりやすい。 といった特徴があります。 もう十分に大変そうだなと思われるゲームテストの自動化導入ですが、その中で自動化エンジニアが「実際に体験した地獄のような自動化導入の体験談」をお話しいたします。
- まずは何があったのか…大まかな時系列がこちらになります。 この表だけでもヒヤッと感じられるかもしれません…ひとつずつ何が起こっていたのかご説明いたします。
- 4月頃は、当時の案件リーダーがなんと、非常に曖昧な要件をもとに自動化導入を進行していました。 案件の要件は手動テストの実行よりも工数を削減させることです。 自動化させる対象はRPGゲームの新規ガチャ、ストーリーといった新規で実装されるイベント施策の確認で、 当時、案件リーダーは「ソーシャルゲームの構造って大体同じだから、この案件もスクリプトが使いまわせるよ」や
- 「手動以上にテスト自動化の実行が早く完了しないと<<自動化の意味がない>>から凄く速く操作するように作成してください！」といった、結構な無茶振りかつ疑問に思う内容で進んでいました 当時、自動化エンジニアが疑問に思ったのなら、その時点でツッコミすればよかったのでは？と思う方もいらっしゃるかと思いますが、 当時の案件リーダーは開発経験者であったことから、自動化についてもそこそこ理解があるだろうという思い込みによりそのままスルーしてしまった感じです
- ここでツッコミ云々以外で何が問題だったかといいますと、 「スクリプト使いまわせるよ」は流用できたとしても、それぞれのゲームアプリで細かい挙動が異なるので、いくら構造が一緒でも流用は一部分に限定されることが多いです。 また、「手動よりも実行が早く終わらないと自動化の意味がない」は、手動で確認している各要素の確認作業を無視した操作になりますので、逆に無意味なテスト自動化になります。 テスト自動化は継続することで初めて利益が得られるテストであるため、「手動テストよりも自動テストが実行が早く完了しないと自動化の意味が無い」なんてことはありません。
- 当たり前の話ですが、要件定義はテスト自動化の特徴についてよく理解していない人のみで行うのは危険であることや テスト自動化の特徴や導入することによる効果を最初にクライアントに具体的に提案・説明をし、合意を取るべきだったのですが、 これを当時の案件リーダーが遂行できなかったため、担当の自動化エンジニアは地獄を味わうことになりました
- そんなこんなで時は過ぎまして、 7月に入り、なんと突如案件リーダーが案件から離れることになり、後任への引き継ぎが始まりました
- しかし、引き継ぎの内容が不十分すぎて自動化に関する引き継ぎ資料・作業がほぼなく、自動化は「工数削減する」という名目だけが引き継ぎ内容になりました。
- 自動化チーム内でも別途で資料を作成していればよかったのですが、自動化を実装するにあたっての要件・依頼が案件リーダーからの口頭伝達だったため、 引き継ぎできるものがありませんでした…
- そしてそのまま8月になり、自動化実装のスケジュール管理は誰も担当しなくなり、宙ぶらりんに… スケジュール管理は後任リーダーと自動化エンジニアのどちらが管理するかなどでトラブルに発展し、 結局こちらはのちに新しくジョインしたテスターさんが管理することになりました
- そして9月に入り、改めてこの案件についてすり合わせを行いましょうということでクライアントも交えてミーティングを開催したのですが、そこで関係者から4月のこの話が出てきました…
- 再度すり合わせということで、まずは自動化に対する認識などの確認を行ってみたところ、 クライアントは最初の案件リーダーからこちらに伝わっていたよくわからない要件そのままの内容で、 表のように認識の齟齬がかなりあったことが今更ながらに発覚。
- ４月頃の問題がここにきて爆発し、地獄がまみえた瞬間でした…
- なんとか状況を打破しようと、自動化についての認識を再度説明し、 幸いクライアントにもご理解・合意を得られたのですが、このようなやりとりがありました。 元々のスクリプト要件にあった「手動テストより実行工数を少なくする」が満たせなくなる可能性が高いですが、問題ないですか？とお聞きしたところ、 「とりあえず、自動化が導入できればOKです。工数は二の次で！」という返答が返ってきたのです。
- この時、「自動化導入」をして目的である「工数削減」を達成するはずだったのが、逆に「工数を犠牲」にして「自動化導入」を達成するという目的に変わってしまいました。 当時目指していたテスト自動化案件は「失敗」という形になってしまったのですが、新たに「テスト自動化をテスト実行に導入する」目的に変わったため、案件は続行となりました。
- 結局、この案件はどうなったといいますと、クライアントとのすり合わせの後、 後任の案件リーダーはテストリーダーの業務が厳しく、余裕がない状態。 チームメンバーは手動実行が忙しすぎて余裕がない状態。 と誰も自動化導入、自動テストの導入時に回せる余裕がなかったので、結果的にメンバーが増員されました。 そこで新しく入ってきたテスターさんが案件の仕様把握や、あふれそうな手動テストを行いながら、自動化の学習をしていただき、クライアントからの自動化実装に対する要望と、 テストエンジニアの実装要件やそもそもの可否などの伝達、自身で行えそうな部分のスクリプト改修などテストに関わっている方々との調整をなんとか上手く行い、 結果として、自動化導入が当初の目的から見ると「失敗」という状態だったところから、翌年である2021年の1月に本導入まで漕ぎつけ、現在まで運用できている状態まで持ってきました。 9月に変わってしまった「テスト自動化をテスト実行に導入する」目的という意味では、「成功」という形で着地した…といえるのかなと思います。
- こんな感じで地獄を体験した自動化エンジニアからの教訓として、 ・要件の根幹をなす目的と役割を決めておく ・自動化のメリット・デメリットを把握して、自動化を行う箇所の切り分け、精査を行えるようにする ・自動化はあくまで目的を達成するためのツール、手段であるという認識 大事なのは自動化を導入した後、ちゃんと運用できるかどうかで効果が発揮される/されないが決まることをクライアントに 最初から合意を取ること そして、今回のお話はスマホゲームの案件についてでしたが、 どんなテスト案件でも基本に忠実じゃないと大炎上の可能性が高いということを一番お伝えしたいです。 一番最初にスマホゲームの自動化の特徴についてお伝えしました。 その特徴からしてスマホゲームの自動化は難しいと言われておりますが、 それ以上に基本に忠実じゃないと大炎上しやすいことが難易度を上げているのかもしれません…
- ということで、以上で本セッションを終了いたします。 ご清聴ありがとうございました！