Robotium を使った UI テストとレイアウト確認の効率化

Robotium を使った UI テスト
とレイアウト確認の効率化
2015/02/28
最新事例から学ぶ！モバイル向けテスト手法勉強会
Sansan株式会社辰濱健一
form 徳島サテライト会場（リモート発表）

Agenda
 自己紹介
 Robotium で UI 自動テスト
 デモ
 Robotium でレイアウト確認効率化
 【おまけ】これからやりたいこと（実験中の内容）

自己紹介
 Sansan 株式会社 Sansan 開発部所属
 神山ラボ勤務（徳島現地採用）
 アプリチームリーダー（メンバーは東京）
 Android 版 Sansan アプリ実装担当
 趣味
 音楽
 トランペット … 徳島の吹奏楽団で週末に吹いています
 エレクトーン … 3歳から始め今も現役
 旅行
 黒部立山アルペンルートがお気に入りスポット
 小笠原諸島が最近気になっている

テストの自動化との関わり
 前々職で、正確さとパフォーマンスが求められる表計算ソフトの
UIテストの自動化＆高速化を担当
 高速化したは良いが、影響はないか？
 本当に速度は速くなったか？
 他者の修正でまた遅くなっていないか？
 表示結果は期待通りか？
 CPPUnit で見切れない UI の動作は OK か？
などを日々計測・監視するツールを作成
 前職では、Android, iOS, Windows8（C#）のスマホ・タブレット向け
アプリ開発に従事
 前々職＆前職のスキルを活かし、
スマホアプリでUIテストの自動化！

Sansan神山ラボ
 築70年の木造古民家（３棟）
 略歴
 2010年設置
 〜2013/11：合宿所
 2013/11〜：常駐メンバーのいる開発拠点に
 家具家電あり、畑付き、風呂トイレセパレート
 家賃：数万円 / 月
 インターネット接続：あり
 最寄り（道の）駅：「温泉の里神山」徒歩15分
 改装OK物件

神山での開発（良いこと）
 静かで広々していて、高いパフォーマンスの状態で仕事に
集中できる
 Github や Skype などのツールの利活用で、実務における
チーム内コミュニケーションは意外と何とかなっている

神山での開発（難点）
 ネットワーク状態にコミュニケーションが左右される
 開発チーム外の人に直接話しかけられない
 視察・取材など開発以外の業務も伴う
 自然環境との戦い（虫、カビ、寒さ、…）

端末操作を自動化するライブラリ
 Android専用
 Robotium
 monkeyrunner
 Espresso
 など…
 iOS専用
 KIF
 Kiwi
 など…
 ハイブリッド
 Appium
 Calabash
 MonkeyTALK
 など…

なぜ Robotium？
 メリット
 数年前に調査して慣れていた
 Android 実装と同じ Java 言語で記述
 アプリケーション内部のオブジェクトが参照できる
 細かいところまで手が届く
 テストケースや期待値の動的生成ができる
 デメリット
 リリースビルドでは使えない
→ 別途 Appium を調査中
http://www.slideshare.net/kenichitatsuhama/rubyui

UI自動テスト実装ポリシー
 浅く広くから！
 あきらめも大事
 ライブラリ関数を直接叩かず、ラップして抽象化する
 極力 SLEEP は使わない。wait* 関数で！
 ローカライズ対応

ポリシー：浅く広くから！
 主要画面に遷移し、基本機能１パスだけの確認
 いわゆる、リグレッションテスト
 主要機能のデグレードを早期検出することが目的
 1,000 文字制限の所に 1,001 文字入れたときにエラーが
出るかでないかは、ここではどうでもいい
（※これは、狭く深いフルテストでやろう）
 運用例
 テストレベルを設定して、このテストをスモークテストにする
 【スモークテスト】：最初の簡易テスト
 スモークテストはコミット毎に実行
 フルテストは深夜に実行

ポリシー：あきらめる
 メールに表示されている URL をクリックして…
 メールアプリ起動して操作？？
 アプリを終了させて再起動したときに…
 どうやってアプリを起動する？？
 通信が途中で切れたときの動作
 etc…
頑張ればできるかもしれない。。。
（Appiumなどのシステムテスト）
でも、調査に時間が掛かりそうであれば、手動で確認しよう！

ポリシー：ライブラリ関数のラップ
 テストコードの可読性を上げ、手順書代わりにしたい！
 将来テストライブラリを変更する（かもしれない）場合に備え、
ライブラリとテストコードの結合度を下げておく
 ライブラリにない拡張機能を仕込みやすい
 実行時ログ
 エラーログ
 テスト失敗時にスクリーンショットを残しておくのはオススメ！

ポリシー：極力SLEEPは使わない
 つい使ってしまいがち…
 でも、実行環境によって必要な SLEEP 時間は違う
 → wait* 関数を使おう（作ろう！）
 ライブラリ関数の例
 waitForActivity
 waitForFragmentByTag
 waitForLogMessage
 自作例
 waitHideProgress // ぐるぐるが消えるまで待つ
 自作関数や、ライブラリのラッパー関数内でSLEEPを使う
のはアリと考えます。

自作 waitHideProgress
 アプリ内の Activity基底クラスに「ぐるぐる」表示中かどうかの関数を追
加
 一定時間毎に↑の状態をチェックする

ポリシー：ローカライズ対応
 端末の言語設定によらず同じ結果になるように！
 ×：clickOnText(“送信”);
 ○：clickOnText(R.string.send);
 言語環境によって動作が違う場所はテストコードも切り分けよう
 If (isJapan) {
// 日本語のときの動作確認
}else {
//
}
 実機でも、エミュレータでも問題なく通るように
 エミュレータでカメラがなければ、カメラ系のテストはスキップする。

Sansan アプリ
リグレッションテスト項目（抜粋）
 Sansan アプリとは…？
 「スマホで社内の名刺を一括管理」
 ざっくり言うと、Eight 法人版のイメージ
 同僚が持っている名刺も
閲覧・検索できる機能がある
 リグレッションテスト項目
 ログインできること
 同僚一覧で自分をタップすると、自分の名刺一覧が開くこと
 名刺一覧の名刺をタップすると、名刺詳細画面が開くこと
 など…

サンプルコード（Android）
 ログイン処理
 メールアドレス入力欄を取得
 パスワード入力欄を取得
 メールアドレスを入力
 パスワードを入力
 ログインボタンを押す
ラップしてるから読みやすい！

リグレッションテストのデモ
 2014/11 時点の動画です
 http://youtu.be/scY_RPgfxeY
 4分ぐらいありますが、発表時間の都合上ちょっとだけ…

UI自動テストを導入してみた効果
 デグレードの早期発見・防止につながった
 実際に開発中のミスを検出し、デグレードを未然に防いだ
 開発サーバの異常を検出した
 大規模な修正も行いやすくなった
 何度でもテストを簡単に実行できる
 作業効率UP
 離席中・昼食中・ミーティング中にでもテストができる
 テストに割く時間を開発に充てることができる
 新しい OS が出てもテスト工数を割かなくて良い

とはいっても…
 リリース前の本番バイナリは手作業でテストしています。
（機械を過信しない。目で確認すると安心）
 色んな施策で、画面遷移の動線が変わるとテストコードのメンテが大変
 前提条件（この画面にいること）の造り出しに工夫が必要
 setUp() でログイン、tearDown() でサインアウトなど
 導入に当たっては、
 費用対効果の高いところから
 仕様変更がなさそうな基本機能
 直近リファクタリングしたい箇所
など、から着手するのが良いと感じています。
（後述のスクリーンショット収集は自動化テスト入門として最適かも…）

スクリーンショット
 テスト実行中に必要に応じて撮影している
 → レイアウト確認に利活用できる！

Robotium で
レイアウト確認効率化

スクリーンショットの活用
 Robotium でスクリーンショットを撮る
 画面遷移してスクショを撮るだけのテストケースを作成＆実行
 このテストケースを言語設定を動的に切り替えて実行
 スクショを端末名フォルダに集める
 一覧View を作る（ツールを Ruby で作った）
 結果確認は目視！
 機械的には完全一致は容易だけど、正当な差分と意図しない
差分をプログラムで認識するのは至難の業

テストコード（抜粋）

スクリーンショットの活用の全体像
デザイン指示画像スクリーンショット
html 生成ツール
スクリーンショット

スクショ一覧のhtml
画面名→
画面名→
画面名→
Nexus4 Nexus5 デザイン指示画像（期待値）
各画像をクリックすると、
原寸大で表示される
※元サイズが違うけど、
今は同じサイズで
表示されている
目で比較する！
デザイナにはこの
html を含む zip を
提供するだけ。

スクショ一覧の効果
 デザイナーに apk 作って提供
↓
色んな動作確認端末にもインストール
↓
手で操作して、その画面に遷移して動作確認
↓
フィードバック＆修正
 ↑を何度もする必要はなくなり、
開発者＆デザイナー双方に効率化をもたらした！
（最終的には apk を渡して実機で見てもらいます）
 Robotium は画面遷移とスクショ撮影しかしていないので、
iOS や他プロダクトでのこのツールの使い回しが可能！

これからやりたいこと

Robotium に限らず、アプリ開発テストで…
 テスト実行ごとにもっと色んなデータを収集・集積・分析していく
 処理時間の推移
 ClientAPI の呼び出し回数
 メモリ使用量のモニタリング
 ※計画段階で、まだまだ検証段階です

処理時間（推移）
 パフォーマンス改善の結果確認、性能デグレの検出ができ
るかも？
 通信状態やサーバ状態に大きく左右される気がする…
0
2
4
6
8
10
12
ログイン処理
初回同期
名刺画像送信
詳細データ取得
高画質画像データ取得
手動同期処理

ClientAPI の呼び出し分析（１回）
 呼び出し毎に API名と実行時間を csv ファイルに出力
 Excel のピボットテーブルで集計
 iOS / Android で同じ仕組みを入れれば、
同じ操作で API 呼び出しの違いがわかる！
そんなに呼び
出す必要ある
の…？
サーバ負荷削減のためのボトルネック分析が容易になる
Excelマクロ

ClientAPI の呼び出し分析（推移）
 さっきのデータを実行毎に集計する
呼び出し回数削減施策導入

メモリ使用量（１回）
 ユーザトラッキングイベント発生時にメモリ使用量を記録
→ どの操作以降メモリ使用量が急上昇するかわかる
0
10000
20000
30000
40000
50000
60000
[prelogin]Startup
apps
[prelogin]View
SplashtourSigninpage
[app]Startup
w
hile
Loggedin
[prelogin]Tap
Signin
bu
on
[prelogin]Com
plete
Signin
[app]StartSync
[app]Com
plete
Sync
[app]View
Rem
indFirstInvite
Dialog
[app]Tap
nexton
Rem
indFirstInvite
Dialog
[app]Open
InviteDialog
[app]View
Im
portContactDialog
[app]Tap
Send
on
InviteDialog
[app]View
InvitesuccessDialog
[app]Tap
Useascanneron
Scanm
enu
[app]Tap
M
yteam
on
Tabbar
[app]Tap
M
ycontacton
M
yteam
[app]Tap
Contacton
M
ycontact
[app]StartSync
[app]Com
plete
Sync
[app]Tap
Signouton
Accountse
ng
系列1

メモリ使用量（推移）
 GCがいつ起きるかまちまちで微妙かも…

アプリ開発チームの今期の取り組みに、
これらを盛り込んでいるので、
何ヶ月後かにはこれらが実現できてる見込みです。

アプリエンジニア募集中！
 対象：iOS or Android エンジニア
 勤務地：東京本社 or 神山ラボ

Robotium を使った UI テストとレイアウト確認の効率化

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Robotium を使った UI テストとレイアウト確認の効率化

Similar to Robotium を使った UI テストとレイアウト確認の効率化 (20)

More from 健一辰濱

More from 健一辰濱 (20)