Download to read offline
デバイスファーム 「AirLab」 による 自動QAテストの実績と機械学習が拓く次世代QAの可能性
- 1. 自動QAテスト の実績と機械学習が 拓く次世代QAの可能性 デバイスファーム 「AirLab」による 許 信勇 加納 基晴 KLab株式会社
- 2.
- 3.
- 4.
- 5.
- 6. 6 KLab株式会社について 「エンターテインメントで、世界中のユーザーをひとつにつなげる」 をビジョンに掲げ 世界中の人々にワクワクしてもらえるサービスや技術を創造しています。 設立 2000年8月1日 資本金60億5,207万円（2024年7月末現在） 株式公開市場 東京証券取引所･プライム市場（3656） 代表者 代表取締役社長CEO 森田 英克 代表取締役副会長 五十嵐洋介 所在地 本社（東京都港区、六本木ヒルズ森タワー） 大阪事業所、福岡事業所 主要関連会社 可来软件开发（上海）有限公司 （KLab China Inc.） 株式会社グローバルギア グループ従業員数 502名（2024年6月末現在） 主力事業：ゲーム事業 世界中で人気の高いアニメ、コミックな どのIPを原作としたモバイルオンライン ゲームを国内外に展開。 現在155の国と地域で配信 その他： スマートフォン関連のアプリケーショ ン、サービス及びサーバーインフラの 企画、開発、提供、新規事業開拓など
- 7.
- 8. 8 ● 昨年から進化した AirLab ●QA自動テストの実績 ● 機械学習による自動テストツール「ゴリラテスト」 ● まとめ ● 質疑応答 本日の講演内容
- 9.
- 10.
- 11. 11 直面している課題 ● 多種多様な端末、OSの組み合わせでテストする必要 ● 短いサイクルで既存の機能と新機能をテストする必要 ●言語、画質などユーザー設定によるテストケースの増加 品質を担保するためなるべき網羅的にテストしたいが、 全て手動でやるとコスト面から考えると非現実 デバイスファーム導入の背景
- 12. 12 ● 自前の端末で社内にプライベートのデバイスファームを構築できる仕組み ● NetEase社が長年社内運用したデバイスファームを外販したサービス ●端末格納用ラック、制御用ハードウェア、専用ソフトウェア等で構成 AirLabとは ソフトウェア ハードウェア AirLab = + ※エンタープライズ版 その他ツール
- 13.
- 14. 14 AirLabのハードウェア構成 (イメージ) AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP ● 端末格納用ラック ● 端末制御用PC (DeviceHub) ● 端末電源管理用スマートプラグ ● 端末管理サーバー (DeviceKeeper) ● 端末通信用無線AP
- 15. 15 AirLabのハードウェア構成 (イメージ) ● 端末格納用ラック ●端末制御用PC (DeviceHub) ● 端末電源管理用スマートプラグ ● 端末管理サーバー (DeviceKeeper) ● 端末通信用無線AP AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP
- 16. 16 テスト実行 /管理用PC(サーバー)追加 ● 端末格納用ラック ●端末制御用PC (DeviceHub) ● 端末電源管理用スマートプラグ ● 端末管理サーバー (DeviceKeeper) ● 端末通信用無線AP ● テスト実行/管理用PC AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … テスト実行 /管理用PC 端末管理サーバー DeviceKeeper 無線AP
- 17. 17 管理用PCでテストを全自動化 ● 共有で使用できるテストサーバー ● テスト端末の数はこのPC次第 AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP テスト実行 /管理用PC(サーバー)追加 テスト実行 /管理用PC スクリプト テストの前準備 テストの後片付け テスト
- 18. 18 ラック2台を繫げると AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP AirLabのラック (iOS用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … テスト実行 /管理用PC 無線AP
- 19.
- 20.
- 21.
- 22. 22 AirtestMultiRunとは ● AirtestIDE Enterprise版にある複数端末並行テスト機能のCLIバージョン ●configファイル(json)を使ってテストの条件やパラメータを細かく指定 ○ configの自動生成やランタイムで修正して利用することも可能 ○ 追加情報を記入することも可能 ● コマンド一行で実行複数の端末でテストを開始できる ○ ./AirtestMultiRun.exe run config.json まとめてAirtestMultiRunに任せる
- 23.
- 24.
- 25. 25 AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP 全自動テストで同時に使用できる端末の上限は テスト実行/管理用PC AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP このPCのスペック次第➡
- 26.
- 27.
- 28. 28 AirLabのラック … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP 同時に12台の端末でテストの内訳 テスト実行/管理用PC ● 機械学習によるテスト ○ 端末8台 ○ 負荷：非常に高い ● QAスクリプトテスト ○ 端末4台 ○ 負荷：相対的に低い
- 29. 29 改善策 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP AirLabのラック (iOS用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … テスト実行 /管理用PC 無線AP
- 30. 30 改善策 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP AirLabのラック (iOS用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … テスト実行 /管理用PC 無線AP CPUが強い テスト実行 /管理用PC
- 31. 31 改善策 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP AirLabのラック (iOS用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用 PC DeviceHub 端末 … 無線AP CPUが強い テスト実行 /管理用PC CPUが強い テスト実行 /管理用PC
- 32.
- 33.
- 34.
- 35. 35 Airperfを使った性能計測 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP テスト実行 /管理用PC AirperfのClient(アプリか python)をテスト実行PCに配 置 Airperfの Server(python)を DeviceHubにイン ストール
- 36. 36 Airperfを使った性能計測 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP テスト実行 /管理用PC 対応するプラットフォーム iOS、Android (Windowsも) 計測したいメトリクスは需 要に応じて簡単に調整で きる
- 37. 37 Airperfを使った性能計測 AirLabのラック (Android用) … スマートプラグ 端末制御用 PC DeviceHub 端末 … スマートプラグ 端末制御用PC DeviceHub 端末 … 端末管理サーバー DeviceKeeper 無線AP テスト実行 /管理用PC 計測結果json形式で ローカルに保存 Airperf Clientアプリで 確認できるし、再加工 も簡単 例えばGCPにアップロードし て、BigQueryに流す
- 38.
- 39.
- 40.
- 41. 41 ● 数字でわかる QA自動テストの実績(2023年度) ● テストの自動化に対して意識したこと ● 効果的だった施策 QA自動テストの実績
- 42.
- 43. 43 ● 数字でわかるQA自動テストの実績(2023年度) ● テストの自動化に対して意識したこと ●効果的だった施策 QA自動テストの実績
- 44. 44 費用対効果 テストの自動化にかかるコストは主に2つ ● スクリプトの初期作成：導入コスト ● 機能変更後のスクリプトの修正：運用コスト(修正コスト✖修正頻度) 技術的に実現できるかどうかではなく、 手動テストと比べてどれぐらい費用対効果を高める テストの自動化に対して意識したこと
- 45. 45 ● 数字でわかるQA自動テストの実績(2023年度) ● テストの自動化に対して意識したこと ●効果的だった施策 QA自動テストの実績
- 46. 46 ● テストの自動化で費用対効果を高める ○ 回帰テスト ○時間がかかる再現テスト ● Airtestのコストを劇的に下げる施策 効果的だった施策
- 47.
- 48. 48 あるプロジェクトではチュートリアルを始め各種基本機能の動作確認を毎日行う ● 前日のコミットによる既存機能の劣化があるかどうかを確認 ○ 何か問題が発生した場合、前日の変更による問題の可能性が高い ●毎日実施することで、発生頻度が低いバグも検知できる テスト対象となる機能変更はあまりないため、運用コストはほとんどかからない 退屈な手作業をせず、低コストで高頻度で長く運用することで費用対効果が高い KLab社内の回帰テストを自動化する事例
- 49.
- 50. 50 グラフィックの質を向上するため、レンダリングオプションの変更 ● アプリ全体に影響を与える ● 変更後にクラッシュは微妙に増加気味 ●クラッシュはランダムでかつ発生率低い KLab社内の事例
- 51. 51 レンダリングオプションの変更によるクラッシュの増加を証明 端末4台でオプション のオンとオフ以外全く同じバイナリでテスト KLab社内の事例 オプションオン オプションオフ テスト時間(時間) 491 445 クラッシュ回数 (回) 41 13 クラッシュ回数 / 時間 0.0835 0.0292 手動の場合のコスト試算：2,340,000円 実際にかかったコスト：200,000円 (工数から換算)
- 52. 52 自動テストツールといえば、Airtest Airtestといえば、スクショベーススクリプト ● スクショを取りながらスクリプトを作成 ● 画像認識でスクショと画面を比較 メリット ●着手しやすい ● Airtest単体で使用可能 Airtestのコストを劇的に下げる施策
- 53. 53 デメリット ● 多言語対応のテストに弱い ○ 言語ごとにUIが異なるため、スクリプトを複数用意する必要 ●見た目の変化に弱い ○ 見た目が少し変わるとスクリプトを修正 ● 修正するときは手間 ○ 該当する箇所まで操作してスクショを取り直す必要 ● 端末解像度依存でスクリプトの汎用性が低い 業務レベルになると
- 54.
- 55.
- 56.
- 57. 57 あるプロジェクトの回帰テストで ● 4つの端末で4ヶ国語で毎日テスト ○ スクリプトを4つ用意し、メンテナンス ○解像度依存問題より端末は固定 ● テスト対象の仕様変更でメンテナンスが頻発 ○ 1箇所変更されたら、スクショ4枚を取り直す ○ 実施頻度かなり下がった せっかく自動化にしたのに、コストは手動テストとあまり変わらない 過去社内でスクショベースを運用した例
- 58. 58 Pocoとは？ Airtestと同じくNetEaseが開発した自動テストフレームワークの一部 ● 複数のゲームエンジンに対応し、Airtestをサポート ● プロジェクトに組み込んだ部分は通称PocoSDK ●ゲーム内オブジェクトのツリー構造を取得し、Airtest側で利用 Pocoに切り替えることを決定
- 59.
- 60. 60 スクショベース VS Pocoベース QAチームの情報によると、Pocoに切り替えた後、 スクショベースの10%以下のコストで運用できた スクショベース Pocoベース 着手しやすさ SDKが不要 Airtest単体で使える PocoSDKを プロジェクトに導入する必要 作成コスト 言語ごとに複数作成する必要 解像度は端末依存で汎用性低い 1回作るだけで 多言語と全端末対応 修正コスト (頑健性) 操作対象が少し変わると 修正することが多い 操作対象の変更に強く、 多くの場合修正が不要
- 61.
- 62.
- 63. 63 ● ゴリラテストの概要 ● 機械学習によるUIパーツ検知技術の説明 ●社内でのプロジェクト導入事例 機械学習による自動テストツール「ゴリラテスト」
- 64. 64 ● 機械学習/AIによる自動UIテストツール ○ 端末のスクショからUIを認識して効率的に操作するテストツール ○「ゴリラテスト」ツール名で、モンキーテストを賢くしたUIテストという意味で ”ゴリ ラ” テストと名付けている ゴリラテストの概要
- 65. 65 ● 人工知能学会(2022)で研究論文が大会優秀賞を受賞 ○ ガンバトニャムフー, 濱田 直希, 山崎 大地, 下斗米 貴之, 高田 敦史, ゴリラテ スト. In 人工知能学会全国大会論文集 第 36 回 (2022) 受賞歴
- 66. 66 モンキーテスト ● ランダムにタップやスワイプなどを行い操作 ● 良い点 ○実装やメンテナンスのコストが小さい ● 弱点 ○ UIを正確に操作する頻度が低く、効率や網羅性が悪い 既存の自動テスト手法
- 67. 67 スクリプトテスト ● シナリオテストをスクリプト化して操作 ● 良い点 ○意図通りの操作が可能・効率が良い ● 弱点 ○ 大量にスクリプトを作成するには時間がかかる ○ 大幅なアプリの改修に合わせてメンテが発生する 既存の自動テスト手法
- 68. 68 ゴリラテスト ● 機械学習(AI)でUIの位置・種類を認識して操作 ● 事前知識は必要なし・テスト中のスクショのみで動作する ●良い点 ○ 機械学習によってUIを高い確率で操作できる ○ アプリの改修が入っても、メンテなしで運用を継続できる ● 弱点 ○ 設計上ランダムテストなので、意図通りの操作はできない ゴリラテストの特徴
- 69. 69 他テスト手法との比較 モンキーテスト ゴリラテスト スクリプトテスト 効率性★ ★ ★ ★ ★ ★ ★ ★ 網羅性 ★ ★ ★ ★ ★ ★ 実装・メンテナンスコスト ★ ★ ★ ★ ★ ★ ★ ★ ★ ゴリラテスト はテストの効率性・網羅性 を保ちながら 継続してランダム操作の自動テストが可能
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77.
- 78. 78 ● ゲームUIはタイトル独自のデザインが多く、認識が困難 ● 操作もタップだけでなく、スワイプも必要 ●グレーアウトされたUIの除去も必要 機械学習による UIパーツ検知技術
- 79. 79 https://github.com/Megvii-BaseDetection/YOLOX/tree/main ● 物体検知とは ○ 画像から物体を認識して、その位置と種類を 特定する機械学習手法 ●YOLOX (物体検知モデル) ○ 高速に実行が可能 ○ 商用利用可能なモデルが公開されている 機械学習の物体検知を応用 YOLOXの実行結果
- 80. 80 ● YOLOXのモデルはUIパーツに対する学習が行われてない ● UIパーツ用にモデルを独自に学習させる必要が出てきた ●モデル開発で重要な点 ○ 大量のデータで学習を行うと汎用性や精度が上がる ○ 今回の場合、複数タイトルで正確にUI検知ができる ● 一方、大量のデータを収集するには課題がある ■ データを学習用に処理するコスト ■ 権利的なリスク 独自UIパーツ検知モデルの開発
- 81. 81 加納基晴・下斗米貴之 , 2-055: 擬似ゲーム画面による UI検出モデルの学習データ生成 ,情報論的学習理論ワークショップ , 2023-10. ● ゲームUI画面を自動生成してデータセット を構築 ● ゲームUI画面生成アルゴリズム ○ 画像生成AIで作った背景画像に、オープンな アイコン画像を配置 ○ 半透明のマスクをかけて、グレーアウトも再現 ● 10万枚の擬似ゲーム画面データを生成 独自UIパーツ検知モデルの開発
- 82. 82 赤:タップ、緑: スワイプ、灰色: グレーアウト ●赤枠がタップ・緑枠がスワイプのUIと認識された箇所 ● UIらしい位置に枠線が付けられている ● スワイプの箇所も正確に分類して認識ができている 独自UIパーツ検知モデルの実行結果
- 83. 83 赤:タップ、緑: スワイプ、灰色: グレーアウト ●灰色の枠線がグレーアウトUIと認識された箇所 ● グレーアウトされたUIの分類もうまくできた 独自UIパーツ検知モデルの実行結果
- 84. 84 赤:タップ、緑: スワイプ、灰色: グレーアウト ●実行速度は0.2秒未満(CPU実行) ● 複数のゲームタイトルで使える汎用的な能力を獲得 独自UIパーツ検知モデルの実行結果
- 85. 85 ● 社内運用プロジェクトで毎日10時間テストを行っている ○ 8月現在、3プロジェクトに対して ○Android: 12台・iOS: 4台に導入 ● 運用フロー 社内プロジェクトへの導入事例 プロジェクト ビルドサーバー AirLabのラック 管理用PC テスト実行 … スマートプラグ DeviceHub DeviceKeeper 無線AP テストリクエスト テストリクエスト受付 ゴリラテストの ロジックを実行
- 86.
- 87.
- 88.
- 89.
- 90.
- 91. 91 社内３プロジェクトにおいて運用中 10時間の実行で、エージングテストの効果も得られた 2024年6月の運用実績 プロジェクト 端末数 テスト数総テスト時間 ユニークエラー数 A 8 (Android:4, iOS:4) 134 1270 (h) 50 (内2件がクラッシュ ) B 4 (Android:4) 68 630 (h) 622 C 1 (Android:1) 21 171 (h) 28
- 92.
- 93. 93 KLabでは ● AirLabをテスト自動化の基盤として、継続的に安定と強化を追求 ● QAの費用対効果を意識しながら、積極的にテストの自動化を使用 ●ゴリラテストで機械学習による、スクリプトなしの自動テストを実現 まとめ
- 94.
- 95.