【システムテスト自動化カンファレンス2015】楽天の品質改善を加速する継続的システムテストパターン #stac2015

【システムテスト自動化カンファレンス2015】楽天の品質改善を加速する継続的システムテストパターン #stac2015
楽天の品質改善を加速する継続的システムテストパターン Dec. 13, 2015 Kotaro Ogino, Kikugawa Mariko Development Support Group Service Support Section Group Core Service Department
2 Who am I? 役割責任資格とか発表とか Product & Tech Lead 社内自動化プラットフォーム構築PJの要求管理とアーキテクチャー設計 Senior Test Engineer テストリーダーへのアドバイスやレビュー • JaSST’ Tokyo 2014 • SQiP 2014 Acting QA Manager テスト戦略の策定テストチームの立ち上げ
3 Blog アジャイルテスト検索ウォータースクラムフォール検索
4 本日の発表：継続的システムテスト３部作
5 本日の発表：継続的システムテスト1・2作目単一のプロジェクトでのシステムテスト自動化
6 本日の発表：継続的システムテスト３部作
7 本日の発表：継続的システムテスト３部作・20サービスの共通自動化プラットフォームの構築・異なる文化ソフトウェアテスト・異なるコンテキストでの品質
8 本日の発表：継続的システムテスト３部作・20サービスの共通自動化プラットフォームの構築・異なる文化ソフトウェアテスト・異なるコンテキストでの品質継続的システムテストの一般化
9 本日お持ち帰りいただきたいこと：継続的システムテスト
10 本日お持ち帰りいただきたいこと：継続的システムテスト自動テスト（Product）
11 本日お持ち帰りいただきたいこと：継続的システムテスト自動テスト（Product） Selenium CucumberJenkins
12 本日お持ち帰りいただきたいこと：継続的システムテスト自動テスト（Product） Selenium CucumberJenkins
13 本日お持ち帰りいただきたいこと：継続的システムテスト自動テスト（Product）生産性 -Speed -Cost
14 本日お持ち帰りいただきたいこと：継続的システムテスト継続的システムテスト自動テスト（Product）生産性 -Speed -Cost
15 本日お持ち帰りいただきたいこと：継続的システムテスト継続的システムテスト自動テスト（Product）永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability
16 本日お持ち帰りいただきたいこと：継続的システムテスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability
17 本日お持ち帰りいただきたいこと：継続的システムテスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
18 本日お持ち帰りいただきたいこと：継続的システムテスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture 解決したい課題 (品質) 解決方法 (コンセプト) 実装
19 本日お持ち帰りいただきたいこと継続的システムテストの・解決したい課題（品質）・解決方法（コンセプト）・実装についての・楽天の取り組み・そこから得た知見
20 継続的システムテスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestability Architecture
21 永続性と継続的テスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestability Architecture
22 開発の永続性と継続的テスト・開発の永続性 “Development and Deploy in Facebook”, Facebook, 2013. https://research.facebook.com/publications/247272798756913/development-and-deployment-at-facebook ・継続的テスト “Continuous Testing: The missing link in the Continuous Delivery”, BlazeMeter, 2015. https://blazemeter.com/blog/continuous-testing-missing-link-continuous-delivery-process
23 開発の永続性と継続的テスト・開発の永続性・継続的テスト SCM 時間サービスの成長度ソースコードソースコードソースコードソースコードソースコードソースコードソースコードリリースリリースリリースリリースリリースリリース SCM テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストテストテストテストテストテスト
24 開発の永続性と継続的テスト “継続的システムテストについての理解を理解を深めるための開発とバグのメトリクスの分析”,SQiP 2014. SQiP 2014で、継続的テストにより開発の永続性を担保しているプロジェクトの分析について経験発表
25 永続性と継続的テスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestability Architecture
26 継続的テスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
27 継続的テストの実装継続的テスト (Process) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability CI 継続的フィードバック
28 継続的テストの実装継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability CI 継続的フィードバック
29 永続的開発 Problem ・サービスやプロダクトの永続的な改善が困難 Cause ・要求が適切に優先順位付けされていない・要求と開発要件のトレーサビリティーがない Solution ・バックログの導入・単一のソースコードレポジトリ・バージョン管理
30 永続的開発要求このまま開発するのは難しい
31 永続的開発要求ユーザーストーリーユーザーストーリーユーザーストーリーユーザーストーリーソースコードソースコードソースコードソースコードテストテストテストテスト後から変更しやすいようにトレーサビリティーを確保
32 永続的開発要求ユーザーストーリーユーザーストーリーユーザーストーリーユーザーストーリーバックログソースコード SCM ソースコードソースコードソースコードテストテストレポジトリテストテストテストバージョン管理
33 継続的テストの実装継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability CI 継続的フィードバック
34 継続的テストの実装継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability
35 CI・継続的フィードバック Problem ・継続的な品質のフィードバックが困難 Cause ・継続的にソースコードがコミットされていない・テストの実行時間が長い・品質可視化のコストが高い Solution ・CIの導入・テスト自動実行・品質可視化を自動化
36 CI・継続的フィードバックが開発を強力にサポート “継続的システムテストについての理解を理解を深めるための開発とバグのメトリクスの分析”,SQiP 2014. SQiP 2014での経験発表開発者がコミット直後にバグに気づき修正
37 CI・継続的フィードバック:Jenkinsによる自動テスト実行テストをJenkinsで毎日自動実行毎日実行するので、いつ失敗したか一目瞭然
38 継続的フィードバック:ツールを用いたレポートの自動化機能テストの結果パフォーマンステストの結果 SauceLabsによるブラウザカバレッジの可視化 Screen Cast オンプレミス環境用の Jenkins Plugin レポートも自動で生成されるので品質が簡単にわかる
39 継続的フィードバック:ツールを用いたレポートの自動化静的解析とカバレッジレポートの要約
40 継続的フィードバック:ツールを用いたレポートの自動化 ELKを使って各ツールのレポートを要約プロセスメトリクスもレポートに
41 継続的テストの実装継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability
42 継続的テストの実装継続的テスト (Process) CI in Test 永続性 -Evoluvability -Maintainability
43 Infrastructure as Code Problem ・頻繁なデプロイ・リリースが出来ていない Cause ・手動でのインフラ構築・秘伝の手順書・インフラの構築手順がテストされていない Solution ・インフラ構築の自動化・インフラの設定をSCMで管理・インフラの構築手順もテスト
44 Infrastructure as Code http://blogs.technet.com/b/livedevopsinj apan/archive/2015/10/22/devops-1- devops.aspx
45 継続的テストの実装継続的テスト (Process) CI in Test 永続性 -Evoluvability -Maintainability
46 継続的テストの実装継続的テスト (Process) 永続性 -Evoluvability -Maintainability
47 CI in Test Problem ・頻繁なテスト実行が出来ていない Cause ・テストの継続的な変更と信頼性に問題・問題の切り分けに時間がかかる・テスト設計の変更に時間がかかる Solution ・テストのバージョン管理の導入・開発・テスト・本番環境の構築手順の共通化・テスト設計のRefactorabilityの改善
48 CI in Test:テストのバージョン管理の導入自動テストはソースコードなのでもちろんGitで管理手動テストはTestRail
49 CI in Test:開発・テスト・本番環境の構築手順の共通化 “システムテストの自動化による大規模分散検索プラットフォームの開発工程改善”, JaSST’Tokyo 2014 ・テスト開発環境を提供・テストも、テストしてからコミットする
50 CI in Test:テストのRefactorabilityの改善手順ケース１ケース２ユーザAが登録されていない事を確認 ◯ ◯ 登録ページ（register.xxx.com）を開く ◯ ◯ ユーザ名に”A”を入力 ◯ ◯ パスワードに”a”を入力 ◯ ◯ メールアドレスを”a”を入力 ◯ メールアドレスにa@rakuten.comを入力 ◯ 登録ボタンをクリック ◯ ◯ 登録できましたと表示される ◯ 不正なメールアドレスと表示される ◯ ユーザAを削除 ◯ 操作手順システムの静的な仕様・設計メールアドレスのバリデーションは一般的なテスト観点しかし、再利用が難しいテストと設計がリファクタリングしにくい例事前準備期待値テスト条件
51 CI in Test:Cucumber + PageObject design Feature file: Behaviorを記述 Feature: Validation for registration Page Background: Given the user A is not registered in the system and the end user opens RegistrationPage when the user gives <userName> and <password> <mail> and submit the form then the message shown in the page is <message> Examples: | userName | password | mail | message | | “A” | “a” | “a.rakuten.com” | “registered” | | “A“ | “a” | “a” | “invalid mail address” | Public class RegstrationPage extends WebPageOjectBase { final static public String NAME = “RegistrationPage” public RegistrationPage() { super(NAME, “registration.xxx.com”); addInputElement(“username”,”username”); …. } PageObjectBase テスト観点 file PageObject file: 静的な仕様を記述＊APIやNodeも同じ仕組みで管理操作手順システムの静的な仕様・設計テスト観点事前準備期待値テスト条件
52 継続的テストの実装まとめ継続的テスト (Process) 永続性 -Evoluvability -Maintainability
53 継続的システムテスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
54 生産性と自動テスト継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
56 生産性と自動テスト・自動テストによる生産性改善・テスト実行の効率化（費用対効果）・テスト実行頻度の増加 (CI in Test) ・レポート（CI・継続的フィードバック）の効率化
57 生産性と自動テスト：貯金をする事を考えてみる …１日目 2日目 3日目 N-2日目 N-1日目 N日目プロジェクト： N日でコインを１００枚貯めるオプション１https://pixabay.com/en/piggy-bank-savings- money-bank-coin-621068/ 最後にしかフィードバックが得られない毎日フィードバックが得られる https://pixabay.com/en/atm- machine-symbol-icon-blue-310121/
58 生産性と自動テスト：貯金をする事を考えてみる１回こっきりのテストのイメージ貯金箱を壊して枚数を確認する →足らなかったらわざわざ貯金箱を買ってきていれなおす必要w コインを入れたら、現在の貯金額を教えてくれる → 今日足らなさそうだったら、ちょっと多めに入れてみる自動テストにより継続的にテスト実行するイメージ毎日品質についてフィードバックするツールの一つ
59 自動テストが生産性を向上する例 “システムテスト自動化による大規模検索プラットフォームの開発工程改善”, JaSST’Tokyo 2014 バグを作ってからすぐに修正可能なのでバグの修正日数が早くなる
61 自動テストの実装自動テスト（Product）生産性 -Speed -Cost Testable Architecture
62 自動テストの実装自動テスト（Product）生産性 -Speed -Cost
63 Testable Architecture Problem ・テストの自動化カバレッジが低い Cause ・テストの確認項目がシステムから取得不可・外部サービスとの結合テストが困難・テストデータの作成が困難 Solution ・プロダクトと自動テストの一体化した設計 -テストモード -Mock Internet -本番データからのテストデータのサンプリング
64 Testable Architecture: GTAC 2015で感じたこと https://developers.google.com/google-test-automation-conference/2015/ ・プロダクトと自動テストの一体化した設計 -テストモード -Mock Internet -本番データからのテストデータのサンプリング
65 自動テストの実装まとめ自動テスト（Product）生産性 -Speed -Cost
67 生産性と自動テスト・自動テストは生産性を向上・しかし、自動テストのみでは信頼性や効率性などのテスト自体の品質は担保されない・テストの品質の向上・アジャイルテスター
69 アジャイルテスターの実装アジャイルテスター（People) 信頼性 -Effectiveness -Availability アジャイルテスト４象限スキルセット
70 アジャイルテスターの実装アジャイルテスター（People) 信頼性 -Effectiveness -Availability スキルセット
71 アジャイルテスト４象限 Problem ・バグの見落とし、遅すぎる発見 Cause ・無駄なテスト、重複、遅すぎるテスト実行・~ilityテストの見落とし Solution ・「誰の？」「どんな？」テストの価値を整理・（システムテストのフォーカスを決める）・品質をテストする
72 アジャイルテスト４象限：「誰の？」「どんな？」テストの価値を整理 http://lisacrispin.com/downloads/AdpTestPlanning.pdf
73 アジャイルテスト４象限：「誰の？」「どんな？」テストの価値を整理 http://lisacrispin.com/downloads/AdpTestPlanning.pdf 開発の価値ユーザーの価値
74 アジャイルテスト４象限：テストの価値の受け取り手（楽天の場合） Dev Ops Test Automation Team Business Values Business Requirements https://pixabay.com/en/businessmen-men-people-office-42691/
75 アジャイルテスト４象限：テストの価値の受け取り手（楽天の場合）
76 アジャイルテスト４象限：テストの価値の受け取り手（楽天の場合） http://lisacrispin.com/downloads/AdpTestPlanning.pdf 開発の価値ユーザーの価値運用者の価値
77 アジャイルテスト４象限：システムテスト（レベル/フェーズ）のフォーカスを決める継続的システムテストなので
78 アジャイルテスト４象限：システムテスト（レベル/フェーズ）のフォーカスを決める Commit Stage ・開発者向けの機能テスト Capacity Stage ・運用者向けの性能テスト Pre-Production Stage ・ユーザ向けのβテスト “継続的デリバリー” ・テスト戦略・デプロイメントパイプライン＊注説明のために単純化してますデプロイメントパイプラインシステムテスト？システムテスト？システムテスト？
79 アジャイルテスト４象限：システムテストのフォーカスを決めるシステムテストテストレベル的には、、、システム全体のテストテストフェーズ的には、、、最後のフェーズのテストシステム全体の最終品質がReadyか？
80 アジャイルテスト４象限：楽天での品質のテスト・”Software System Architecture”. Rozanski Woods. http://www.viewpoints-and-perspectives.info/home/perspectives/ ・“System and Software Quality Requirements and Evaluation” http://www.iso.org/iso/catalogue_detail.htm?csnumber=35733 Quality in User Story format Quality Analysis
81 アジャイルテスト４象限：例）オペラビリティテスト運用者にとっての価値：運用を安心して実施できること →運用スクリプトもテストする
82 ちなみにデプロイメントパイプライン
83 アジャイルテスターの実装アジャイルテスター（People) 信頼性 -Effectiveness -Availability スキルセット
84 アジャイルテスターの実装アジャイルテスター（People) 信頼性 -Effectiveness -Availability
85 スキルセット Problem ・テストができる人、やりたい人が少ない Cause ・テスト自動化エンジニアは新しい・トレーニングなどの不足 Solution ・キャリアパスの明確化・スキルセットの定義・新人研修
86 スキルセット：キャリアパスの明確化テスト”だけ”詳しいエンジニアではなく自動化にも、リリースにも詳しいエンジニアを育てるスキルセットの方向性
87 スキルセット：ちなみに最近うちのチームメンバーの一番人気はAutomation Architect Release Automation をやってから Test Automationをやりたいというエンジニアが多かった Chefはいいぞ！とみんな感じている
88 テスト自動化エンジニアはProcess, Product, Peopleに精通継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
89 スキルセット：新人研修
90 アジャイルテスターの実装アジャイルテスター（People) 信頼性 -Effectiveness -Availability
91 まとめ
92 継続的システムテストパターン継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture
93 継続的システムテストパターン継続的システムテスト継続的テスト (Process) 自動テスト（Product）アジャイルテスター（People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバックアジャイルテスト４象限スキルセットTestable Architecture 解決したい課題 (品質) 解決方法 (コンセプト) 実装
94 Continuous System Test loves DevOps

Check these out next

【システムテスト自動化カンファレンス2015】楽天の品質改善を加速する継続的システムテストパターン #stac2015

Recommended

More Related Content

Slideshows for you(20)

Similar to 【システムテスト自動化カンファレンス2015】楽天の品質改善を加速する継続的システムテストパターン #stac2015(20)

Recently uploaded(20)