Awsで実現するseleniumテスト高速術

AWSで実現するSeleniumテスト高速術 Fumiaki Inoue Shanon Inc. / QA Manager Jenkinsユーザ・カンファレンス2012東京

自己紹介井上　史彰 1981年生まれ　30歳仕事株式会社　シャノン開発エンジニア → 開発マネージャー → QAマネージャー開発言語 Perl

アジェンダ製品紹介システムの構成開発体制各種メトリクス自動テスト強化での様々な課題 Jenkins, Selenium, AWS の組み合わせではまった点などまとめ 3

BtoBマーケティングを支援するWebアプリケーション2006年3月頃リリース 5

導入企業 http://www.shanon.co.jp/case/ 6

構成構成 Apache, FastCGI, Postgresql 言語 Perl 機能数約400 – 500機能 + API 関連アプリ数内部的には約10個のアプリケーションがAPI連携して動作 7

開発体制 Scrum スプリント期間は1ヶ月 7人くらいのチームが2つ開発 : QA = 2 : 1 毎月4週目にバージョンアップ前月に開発した機能をリリース 8

シャノンの自動テストツール Selenium テストスイート数: 270, テストケース数: 約3500 FirefoxのIDEで作成/メンテナンス。一部スクリプトも独自テストツール API, CSV/XLS, HTMLテンプレート変数, メールテンプレート変数 Jmeter AppScan 9

Seleniumのテストスイート数 10

全テスト実行時間の合計 11

自動テストの機能カバー率 12

自動テストの機能カバー率 13

バージョンアップ後のデグレードバグ数 14

Seleniumテストでの様々な課題 15

ゴール？機能を追加しつつも不具合を最小限に！！ POINT ・価値を生み出すことに集中・ソフトウェアの規模拡大につれてテスト工数は増加・自動化できるところはしっかり自動化する・品質向上させるためにユーザー感覚でブラウザを操作するSeleniumは効果的 16

Seleniumテスト実行環境クライアント側サーバー側 https://aaa.mp. jp https://bbb.mp .jp https://ccc.mp. jp 17

Seleniumテスト実行の流れデータの初期化(サーバー側) 関連アプリのデータを初期化設定や各種データの登録テスト実行(クライアント側) ブラウザ起動、画面操作、レポート出力 18

課題1テストの定期実行と結果の見える化 19

Jenkinsの導入いつテストが実行されたか分からないテスト実行にはWindowsPCにログインして手動で実行誰かが使ってると他の人は使えない → 取り合いにテストが成功したか分からないテスト結果もPCにログインして結果のレポートを確認する必要があった POINT ・最新ののソースコードでテストが実行され、早く開発にフィードバックすることが大事！　Jenkinsを導入したことで、毎日定期的にテストを実行することが可能に 20

課題2テストの安定化 21

テストケースの量産 22

Seleniumはなぜ安定しない？How to Lose Races and Win at SeleniumSelenium tests often fail because they’re too fast.Where a user might wait for a page to loadfor a few seconds and then click on a link,Selenium will interact with a page at the speed of code,before the page is ready.The way to fix this is to have Selenium repeat its actionsand assertions until they work.If you don’t, Selenium races your browser.http://sauceio.com/index.php/2011/04/how-to-lose-races-and-win-at-selenium/ 23

spin asserts def spin_assert(self, msg, assertion): for i in xrange(60): try: self.assertTrue(assertion()) return except Exception, e: pass sleep(1) self.fail(msg) POINT ・HTMLスイートを直接SeleniumRCサーバー内で実行する方法だと安定しない 24

Exporting the Test for Junit テストスイートをチェックアウトリポジトリからHTMLスイートをチェックアウト Junit形式にエクスポート Seleniumにあるエクスポート機能を利用 Rhinoを使ってJavaのコードから呼び出す (今だったらnode.jsでもいいかも) Javaテストケースのコンパイルテスト実行、レポート出力 25

レポートの拡張エラー発生時の画面キャプチャ Junit Attachments プラグインでもできるみたい 26

レポートの拡張実行時の変数表示レスポンス時間表示 startCommand("verifyTextNotPresent","NG", "", "n"); assertFalse(selenium.isTextPresent("NG")); endCommand("verifyTextNotPresent", "NG", "", "n"); startCommand("verifyTextNotPresent","ERROR", "", "n"); assertFalse(selenium.isTextPresent("ERROR")); endCommand("verifyTextNotPresent", "ERROR", "", "n"); 27

WebDriver/Selenium2 　private static WebDriver getDriver(String driverName) { 　 if (Strings.equals(driverName, "firefox")) { 　 return new FirefoxDriver(); 　 } else if (Strings.equals(driverName, "chrome")) { 　 return new ChromeDriver(); 　 } else if (Strings.equals(driverName, "ie")) { 　 return new InternetExplorerDriver(); 　 } else if (Strings.equals(driverName, "safari")) { 　 return new SafariDriver(); 　 } 　} 　WebDriver driver = getDriver(args[0]); 　driver.get("http://www.google.com"); 28

各種プラットフォーム/ブラウザでのテスト Windows Linux Mac 　Internet Explorer 6 －－　Internet Explorer 7 －－　Internet Explorer 8 －－　Internet Explorer 9 －－　Firefox 3.x －　Firefox Latest －　Chrome Latest －　SafariPOINT・Javascriptなどブラウザに依存することの確認を行うテストケースを実行 29

課題3テスト実行の長時間化 30

実行の長時間化すべてのテスト1時間くらいで実行したい　1台で同時に5個のテストケースを、さらに10台にすると可能？ 31

テストの並列実行単純にクライアント、サーバーの台数を増加サーバーは社内には置けなかったからAWSへある程度短縮できたが、、、 32

アンチパターンテスト実行ノードを指定 [実行するノードを制限]でノード名を直接指定 → 複数台使用しても負荷を分散できない → サーバーごとに偏りが出てしまうテスト実行開始時間の指定 [定期的に実行]で開始時間をずらして指定していた → 実行がかぶると負荷が高くなり不安定に → テスト待ち時間の無駄 33

対応方針テスト実行ノード実行ノードの直指定は止めるテスト実行時にどこかのノードで実行されるか決める全テストジョブを同時刻に実行開始実行待ちの時間をなくす slaveの[同時ビルド数]で負荷を調整 34

変更後の構成イメージクライアント側サーバー側クライアサーバーントA A クライアサーバーントB BPOINT・すべてのビルドが1つのキューで管理され、順番にどこかのスレーブで実行される・AWSインスタンスは自動ON/OFF　ビルドキューに溜まっているビルド数に応じて自動で起動/終了する 35

ラベル slaveのラベル設定 slaveにはラベル(タグ)を複数設定できるテストジョブの[実行するノードを制限]でラベル式を設定 → 指定したラベルのどこかのslaveでテストが実行されるクライアント側サーバー側クライアサーバーントA A クライアサーバーントB Bサーバー側とクライアント側で負荷のバランスがうまくいかずテストが安定しない。。　サーバー側とクライアント側を1:1にしないといけない？ 36

AWSインスタンスアプリケーションとクライアントを1インスタンスに AWSの1つのインスタンスに・フロントサーバー・アプリケーションサーバークライアント& サーバー・データベースクライアント&サーバーA ・SeleniumRC+Firefox クライアント&サーバーBちょうどよいAWSのインスタンスタイプがなかった　CPU, メモリ, コスト。。。 37

AWS側のアプリ, Seleniumクライアントのスケールクライアント側サーバー側クライアサーバーントA A クライアサーバーントB B POINT ・クライアント側とサーバー側が 1 : 1 でうまくスケールするようにしないと、、 38

解決すべき課題クライアントのPCをどうするか？社内の余ってるPCを使う？ Saucelab (http://saucelabs.com) 　- Seleniumテストをクラウドで(従量課金) 　- Sauce OnDemand というJenkinsプラグイン　- 各種ブラウザに対応　- アプリケーションが社内にあるような場合でも利用できる　- 動画でのテストレポートキューの仕組みをどうするか？ Pluginで使えそうなものはないか？ 39

Clouds お名前.com メリットデメリットコストパフォーマンス良いスケールしない（常時稼動させる場合はAWSの1/10ぐらい違毎回手動でセットアップう）クラスタ構成ができない FWが無いのでiptablesでセキュリティ確保しなければならない AWS メリットデメリット APIによるスケーラブルなサーバ管理常時稼動させるには割高（イメージ管理、バックアップ　等）（リザーブドインスタンスも有るが、インスタンスタイプが固定されてしまう）負荷に応じてスケールアップができる従量課金なので月額利用料の予測が必要（機能増につれてメモリも増加するが、 AWSならボタン一つで対応可能） 40

スペック比較 AWS お名前.com （ミディアムインスタンス）（KVM 2GB） CPU 2 ECU（2 ECU × 1仮想コア） 3コアメモリ 3.75 GB 2GB IO速度 36.5 MB/s 133 MB/s （ddコマンドによる簡易測定） Disk容量 8GB～ 200GB～月額利用料 ¥10,775 ¥1,153 41

Jenkinsプラグイン自分のやりたいことがプラグインとして用意されてなかったら？- 自社サービスに特有のことを設定可能にしたい- テスト結果の集計処理をカスタマイズしたい自分でプラグインを書いてJenkinsを拡張しましょう! 付録B プラグインの開発池田尚史 42

Jenkins plugin作成slaveで種別(クライアント側, サーバ側)を設定テストジョブでも(クライアント側, サーバー側)のどっちで実行するかを設定キューに溜まったビルド数に応じてAWSをON/OFFテスト終了後にAWSの特定インスタンスに復元 43

ビルドをキューへ登録 hudson.model.Queue.QueueDecisionHandler ジョブが実行できるかのチェックするときにフック - ジョブの設定を確認 - 実行中または既にキューに入っていないかの確認 - その他チェック → 特に問題なければビルドキューに入れる 44

キューの実行可否 hudson.model.queue.QueueTaskDispatcher ノードがタスクを実行できるかをチェックするときにフック - ジョブの設定を確認 - ノードの設定を確認 - ノードのステータスを確認(online/offline) - 各ノードで実行中の本数を確認 - 上流のジョブ(初期化処理など)がどのノードで実行されたか 45

AWSのON/OFF キューの状態を定期的に監視するジョブを作成それぞれのノードで - 実行できる本数+いくつか以上の待ちがあると準備済みのインスタンスを起動 - ノードが余っていると終了 AWSのAPIをコールするスクリプトを作成 46

アプリケーションの初期化と復元アプリケーションで使用するすべてのデータを削除、初期化、ダンプ、復元するスクリプトを作成　どのテストジョブでどんな処理が必要かをspreadsheetで設定　　- ドメイン名　　- データベース名　　- 初期化時に使用するダンプファイル　　- 実行するテストスイート名 47

Seleniumテストの実行フロー Jenkins 1. テストジョブの実行 2. 設定情報取得(perl) 2. 設定情報取得(perl) 3. テストケースチェックアウト 3. テストケースチェックアウト 4. セレニウムテストケースの 4. セレニウムテストケースのエクスポート(java) エクスポート(java) jUnit jUnit 5. テスト実 5. テスト実行行 6. ブラウザ 6. ブラウザ起動起動コマンドコマンド実行実行 48

課題4任意のブランチでのテスト 49

Parameterized Trigger Plugin ビルドのパラメータ化テストジョブを[パラメータ付きジョブ]として設定パラメータでテスト実行環境を指定できるように Trigger parameterized build on other projects 上流のテストジョブで指定したパラメータ値を下流のジョブに渡すビルドの実行 50

複数ブランチでのテスト実行 Jenkins HEAD V.2.60.0 V.2.59.0 51

最後に 52

新しく製品の自動テストを作るとしたら？ Seleniumテスト - IDEかプログラムかは製品/機能によって使い分ける　ユニットテストとの切り分けも大事　すべてをSeleniumだけでカバーすることはできない - 1機能に対して1テストケースにして15分以内に抑える - 最初からパラレル実行できる構成を意識テストケース間が依存しないように a. パラレルで実行すれば短時間で終了できる b. 変更の際にメンテナンスしやすい c. テストケースが失敗してもペナルティが少ない http://sauceio.com/index.php/2011/02/speed-up-your-selenium-tests/ 53

まとめ価値のあるソフトウェアをより早く提供自動化された継続的なビルド、テスト、デプロイは非常に重要 Jenkinsは強力な味方まだ使っていない人はさっそく始めましょう 54

Were Hiring!inoue@shanon.co.jp 55

プラチナスポンサーメディアスポンサーシルバースポンサー 56

ありがとうございました 57

http://daipresents.com	3686
http://shanon-tech.blogspot.jp	2351
http://d.hatena.ne.jp	72
http://shanon-tech.blogspot.com	27
http://webcache.googleusercontent.com	14
http://shanon-tech.blogspot.hk	4
http://www.readability.com	4
https://si0.twimg.com	3
http://shanon-tech.blogspot.sg	3
http://shanon-tech.blogspot.fr	2
https://twitter.com	2
http://us-w1.rockmelt.com	2
http://shanon-tech.blogspot.co.uk	1
http://tweetedtimes.com	1
https://twimg0-a.akamaihd.net	1

Awsで実現するseleniumテスト高速術

by finoue on Jul 29, 2012

Accessibility

Upload Details

Usage Rights

15 Embeds 6,173

Statistics

Awsで実現するseleniumテスト高速術 Presentation Transcript