Download as PDF, PPTX
AirLab導入でテストコストの大幅削減と品質向上！ 数十台の端末を一斉に全自動テストできる社内DeviceFarmについてご紹介
- 1. 村上 雅裕 許 信勇 河村新太郎 KLab株式会社 数十台の端末で一斉に全自動テストができる 社内デバイスファームのご紹介 AirLab導入でテストコストの大幅削減と 品質向上！
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 7 KLab（クラブ）株式会社について 「エンターテインメントで、世界中のユーザーをひとつにつなげる」 をビジョンに掲げ 世界中の人々にワクワクしてもらえるサービスや技術を創造しています。 設立 2000年8月1日 資本金 54億5795万円（2023年7月末現在） 株式公開市場東京証券取引所･プライム市場（3656） 代表者 代表取締役社長CEO 森田 英克 代表取締役副会長 五十嵐洋介 所在地 本社（東京都港区、六本木ヒルズ森タワー） 大阪事業所、福岡事業所 主要関連会社 株式会社グローバルギア 株式会社BLOCKSMITH&Co. 海外拠点 可来软件开发（上海）有限公司 （KLab China Inc.） グループ従業員数 正社員 516名(2023年6月末時点) 主力事業：ゲーム事業 世界中で人気の高いアニメ、コミックな どのIPを原作としたモバイルオンライン ゲームを国内外に展開。 現在155の国と地域で配信 その他： スマートフォン関連のアプリケーショ ン、サービス及びサーバーインフラの 企画、開発、提供、新規事業開拓など
- 8.
- 9. 9 ● デバイスファーム導入の背景 ● AirLabとは？ ●AirLabが導入できるまでの秘話 ● 使ってみて初めてわかったAirLabのすごさ ● QAテストの変貌 ● 今後の展望 本日の講演内容
- 10.
- 11. 11 多種多様な環境でプレイ ・多くの端末(500機種以上) / OSバージョン(20種類以上) ・国によって言語/ コンテンツが異なる ・アプリのバージョンによってUIが異なる 様々な条件でのテストが必要 短いリリースサイクル ・2週間に1回のコンテンツ配信 ・1ヶ月に1回のアプリのアップデート テストを頻繁に実施する必要あり ゲームのリッチ化 ・複数のグラフィック品質(高/中/低など) が存在 ・グラフィックス品質= 表現方法 / FPS / 演出 など ユーザー設定によるケース数の増大 モバイルゲームのテストにおいて考慮すべき観点 品質を担保するために様々な端末での挙動や性能を 網羅的かつ継続的に確認する必要性
- 12. 12 テストパターンの組み合わせ爆発問題 ● グローバルで広く成功するには様々な環境で快適に遊べることが重要 ● 開発を効率的に進めるには不具合・品質劣化を早期検知しておきたい ●しかしサポートする端末・OSのすべての組み合わせを手動でテストするの はコスト的に非現実的 ● 実態としては端末・OSの組み合わせを限定して確認 ○ 概算：4 * 300 = 1200 ケース/日 ■ 実施端末数：4端末 (iOS/Android合算) ■ シナリオテスト：300ケース
- 13. 13 ● KLabでは以下の特徴を持つ自動テスト環境を構築 ○ 大量の端末を集中管理し、テストの同時実行を行うためのデバ イスファーム ■→NetEase社のAirLabを導入 ○ テストシナリオ不要のAIを利用した自動テストツール ■ →AIテスト(ゴリラテスト)を自社開発 ■ https://www.klab.com/jp/blog/tech/2022/jsai-award.html 課題解決へのアプローチ 本日はここの話をします
- 14.
- 15. 15 ● 自前の端末で社内にデバイスファームを構築できる仕組み ● NetEase社が長年社内運用したデバイスファームを外販したサービス ●端末格納用ラック、制御用ハードウェア、専用ソフトウェア等で構成 ● 日本国内におけるAirLabの導入はKLabが初 AirLabとは？ ソフトウェア ハードウェア AirLab = + ※エンタープライズ版
- 16. 16 ● 中国の大手ゲーム開発・パブリッシング会社 ○ data.aiが発表した「TopPublisher Award 2023」で世界5位 ● 荒野行動、アイデンティティVなど日本でも有名なタイトルを多数リリース ● 多数のスタジオを持ち一定規模以上のプロジェクト全てでAirLabを導入 NetEase社とは？
- 17. 17 なぜAirLabを選んだのか？ 利用時間、テスト実行時間が無制限 ● クラウド型のデバイスファームによくある制限 プロジェクトの需要に応じてラックに設置する端末を変更可能 ● 不具合の出やすい端末、スペック別に揃えるなど 端末へのアプリのインストールやテスト実行などの自動化がしやすい ● デバイスファームによっては自動化ができないものも存在 社内ネットワークで完結するため情報漏洩の心配が少ない ● IPの情報漏洩にはセンシティブにならざるを得ない
- 18.
- 19. 19 ● 2020年末、某大手中国国内動画サイトを 運営する会社がAirLabを導入 ● 近年の業務拡大によって、動画アプリから ゲーム分野に進出 ●第一弾として700台の端末を格納できる ラックを設置 ● 主にスモークテスト、リグレッションテストで の利用 ● QA側のコスト削減や作業の効率化ができ ている AirLabの導入実績 ※某社のAirLab専用ルーム
- 20. 20 AirLabのラック … スマートプラグ 端末制御用PC 端末 … スマートプラグ 端末制御用PC 端末 … テスト実行/管理用PC 端末管理サーバー DeviceKeeper 無線AP ● 端末格納用ラック ● 端末制御用PC(DeviceHub) ● 端末電源管理用スマートプラグ ● 端末管理サーバー (DeviceKeeper) ● 端末通信用無線AP ● テスト実行/管理用PC AirLabのハードウェア構成
- 21.
- 22.
- 23. 23 ● コロナ禍の中、私事で帰省(10ヶ月) ○ 上司の許可を得て、KLabChina(KLab上海支社)からリモートワーク ●KLabChinaの同僚との雑談でAirLabの情報を入手 ○ 初見の感想は「これ、私たちでも作れそう」 ○ しかし、冷静に考えると ■ 作ったら終わるのではなく、作ってからがスタート ■ 後は新規実装、バグ調査/修正、メンテナンス/保守に追われる日々 ● せっかくなので、NetEaseの担当者と接触して、情報入手 ○ エンジニア視点で様々な質問をした ○ 得た情報を文章でまとめて、(本社)社内で共有 AirLabとの出会い
- 24.
- 25. 25 両社とも輸入輸出周りが専門ではないため、調査することは山ほど...特に ● 法律面 ○ 社内の法務グループを通して電気、輸入専門の先生に問い合わせ ■理由を説明してNetEaseにAirLabの部品一覧を取得 ■ AirLabの輸入は法律で制限されていないのを確認 ● 安全面 ○ 電源改造を避けるようお願い ○ 日本の電気用品安全法(PSEマーク)を取得するよう交渉 ○ その他の災害防止についてたくさんのやりとり たくさんの調査と交渉を重ねた結果 PSEマーク(丸)があって、電源改造不要の日本仕様AirLabを作ってくれるように 導入にあたって苦労したこと
- 26. 26 ● 円安により予算オーバーしそう ○ FXはやらないのに為替レートをチェックする日々😱 ○ギリギリセーフで着地、再稟議せずに済んだ 外貨で支払う場合、為替市場の変動に結構影響受けるので気をつけるべし ● コロナ禍でコンテナ不足と上海ロックダウンによる大遅延 ○ 越境EC気分で総重量300kg超える機材を運ぶのはのんきすぎ ○ ロックダウンが解除された頃コンテナ不足問題も消えた ○ 3ヶ月以上遅延したせいで、プロジェクト側への導入も遅れた 国を跨いだ場合、不測の事態を考慮して、もっと余裕をもった方がいい その他の教訓
- 27.
- 28.
- 29. 29 手を加えた部分 AirLabにはパワフルなAPIとツールが揃っている ● 以前KLab社内試作したDeviceFarmで諦めたiOS端末のサポートも充実 ○ 例えば、ipaのリモートインストール ●Pythonスクリプトでラップしてより高度/複雑な機能を実現 AirLabのすごさ① 全自動テストスクリプト テストの前準備 テストの後片付け テスト DeviceKeeperのAPI API_A API_B API_C … airtestのAPI API_A API_B API_C … func_a func_b func_c func_d func_e … module devicekeeper iOS_helper android_helper
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50. 50 端末の集中管理で安心安全 ● ラックに端末を集中することで管理やメンテナンスしやすい ○ DeviceKeeperを見れば、端末の状況が一目瞭然 ■温度センサーやメール警報機能も搭載 ○ 施錠することで、不慮の紛失や破損を予防 ○ 定期的に人手で点検を行い、バッテリー膨張の有無など確認 ● 毎日定時に充電の自動On/Off ○ 充電しっぱなしによるバッテリーの劣化を軽減 ○ 手動でDeviceKeeperのGUIを使うのも十分便利だが ■ 充電を管理するスクリプトを書いて ■ 管理用PCのWindowsスケジューラーに丸投げ AirLabのすごさ②
- 51.
- 52. 52 リモートワークの長期化による端末の共有問題をリモートアクセスで解決 「端末の受け渡しだけの出社」という無駄な時間とストレスを解消 ● AirtestIDE Enterprise版 ○主にスクリプトを使ってテストするケースが多い ● CloudDeviceと呼ばれるDeviceKeeperの拡張機能 ○ アプリの起動や画面確認に最適 ○ ブラウザだけで使える ○ タブレット端末と併用すると操作が楽 AirLabのすごさ③
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60. 60 QAテストの変貌 AirtestIDEのEnterprise版が使用できるようになりました ● AirLab接続端末へのリモートアクセスとテスト実行機能を提供 ● 無料版AirtestIDEの機能全部使える ● 複数端末でパラレルテストが可能 (Enterprise版のみ)
- 61.
- 62. 62 QAテストの変貌 自動テスト準備作業を行わなくて良くなった ● 以前は業務で使用するPCで自動テストを行っていた ○ 業務終了後は端末の電源をOFFにする ○端末を接続したままにできない（バッテリー膨張を懸念） ○ 端末の接続～アプリのインストール、自動テスト準備作業が必要 ● AirLab導入後 ○ DeviceKeeperが端末を制御（端末接続ON/OFF） ○ 端末へのアプリのインストール～自動テスト開始までを自動化 何も作業をしなくても、自動テストが開始できる環境が構築された
- 63.
- 64.
- 65. 65 メリット①：テストコスト削減 人力では250万円かかるテストを自動で実施 AirLabの活用でテスト端末が増えた事で効果が倍増 自動テストの運用コスト： 20万円 ～40万円程度 AirLab導入前後でコストは変わらず 実施端末は増えるが、DeviceKeeperなどのソフトウェアで 端末管理が簡略化したため、コストは増えずに効果が増えた
- 66.
- 67.
- 68.
- 69. 69 QAテストで役立った具体例 バグの発見、修正確認テストでAirLabが活躍 現象： ● 特定箇所でアプリがフリーズする 発生条件： ● アプリ新規開始後、1時間の箇所でのみ発生する ●デバッグ機能を使用しない ● 特定の端末でのみ発生する 多くの機種で回帰テストを行っていたため発見できた
- 70. 70 デバッグ機能を使わないというのが非常に厄介 しかも、発生箇所はアプリ新規開始後1時間の箇所 ● 再現確認 ● 影響範囲確認 ●原因調査 ● 修正確認 全ての作業に1時間のゲームプレイが必要 発生頻度の確認や、修正確認は 5回 実施が必要 影響範囲確認のため複数端末で実施が必要 バグの修正・確認に多大なコストが必要になる
- 71. 71 AirLab + 自動テストで作業を効率化 発生端末で 1時間ゲームプレイ 発生しない端末で 1時間ゲームプレイ 発生端末で 1時間ゲームプレイ 修正確認 修正確認 影響確認 バグの発生箇所まで自動テストで進める+ 複数端末同時実行で効率UP 自動テスト中は他の作業ができる
- 72.
- 73.
- 74. 74 社内全タイトルへの導入 ● 新規・運営含めた社内全タイトルへのAirLabの導入 継続的なパフォーマンスの計測の実現 ● 自動テスト実行時にパフォーマンスを計測し性能劣化の早期検知 長時間稼働によるエージングテストの実現 ●数十時間のエージングテストの基盤としての利用 実プロジェクトでシフトレフト（工程前倒し）の実現 ● プロジェクトの早いフェーズからAIテスト(ゴリラテスト)をAirLabで回し、初回の手動 テストのNG率 / ブロック率を改善 ○ AIテスト(ゴリラテスト) = 内製のスマートなモンキーテストツール 今後の展望
- 75. 75 ● 本日、ポータブル版のAirLabを持ってきました ● 気になる方は「Askthe speaker」にて話しましょう 最後に
- 76.