楽天のレジャー・サービスにおける自動化の取り組みとその効果
•Download as PPTX, PDF•
4 likes•4,563 views
楽天のレジャー・サービスの開発では回帰テストだけではなく作業を自動化することでテスト分析、デザインにフォーカスした品質活動を行っています。 我々が考える自動化の使い所テストデータの作成やレスポンスタイムの計測などその効果について、紹介できればと思います
More Related Content
What's hot
What's hot (20)
Similar to 楽天のレジャー・サービスにおける自動化の取り組みとその効果
Similar to 楽天のレジャー・サービスにおける自動化の取り組みとその効果 (20)
Recently uploaded
Recently uploaded (10)
楽天のレジャー・サービスにおける自動化の取り組みとその効果
- 1. 楽天のレジャー・サービスにおける 自動化の取り組みとその効果 2017年12月10日 楽天株式会社 ライフ＆レジャーテクノロジー統括部 オープンサービスプロダクト部 レジャーサービス開発課 サービス品質保証グループ マネージャー 藤原 史和
- 4. 4 世界と戦うために
- 14. 14 単体テスト実装 開発設計 結合テスト 要求 White Box Black Box 作成 検証 開発フローと組織構成 システムテスト プロダクトマネージャー 開発者 サービス品質 保証グループ
- 20. 20
- 21. 21 自動化の課題: ①QAメンバーのプログラミング知識不足 Reference : システムテスト自動化カンファレンス2015年 アンケート結果 ■Q1. システムテスト自動化の課題 ■Q2. Q1のサポート不足の要因 サポート 不足 リソース不足 スキル不足 品質 不足 ROI 自動化戦略知識 テストアーキテクチャ 設計知識 テストプログラミング知識 ツール 知識 テスト 対象
- 22. 22 自動化の課題: ②そもそものリソース不足 Reference : システムテスト自動化カンファレンス2015年 アンケート結果 ■Q3. Q1のリソース不足の要因 予算 時間 環 境 トレーニング 担当者
- 23. 23 自動化の課題: ③対象サービスやテスト対象が広範囲 Reference : International 2017 State of Testing http://qablog.practitest.com/state-of-testing/
- 24. 24 65%が半分未満 自動化の課題: ③対象サービスやテスト対象が広範囲 Reference : International 2017 State of Testing http://qablog.practitest.com/state-of-testing/
- 26. 26
- 27. 27 無償 VS 有償 VS 無償 有償 1.最小限の知識でかんたんに導入する 2.予算をかけない
- 28. 28 無償 VS 有償 無償 有償 ライセンス ◎ × プログラミン グスキル × (Ruby programmer) ◎ メンテナンス コスト × (Ruby programmer) △ (annual license support) サポート ブラウザ ◎ (IE,Edge,Chrome,FF,SP) ○ (depend on tool) 環境構築 コスト × ◎ 1.最小限の知識でかんたんに導入する 2.予算をかけない
- 29. 29 無償 VS 有償 無償 有償 ライセンス ◎ × プログラミン グスキル × (Ruby programmer) ◎ メンテナンス コスト × (Ruby programmer) △ (annual license support) サポート ブラウザ ◎ (IE,Edge,Chrome,FF,SP) ○ (depend on tool) 環境構築 コスト × ◎ 1.最小限の知識でかんたんに導入する 2.予算をかけない 解決 ⇒ 低プログラミングスキル 導入コスト低
- 30. 30 無償 VS 有償 license Script cost ※3 total 無償 0円 3人月※1 2,100,000円 2,100,000円 有償 698,000円 0.5人月※2 350,000円 1,048,000円 ※1 selenium等の構築等、立ち上げ工数含む ※2 ツールのleaning含む ※3 1人月 = 70万円と仮定 競馬の投票機能を自動化したときの実際の工数 有償ツールとの比較
- 32. 32 取り組み & 効果
- 33. 33 課題①テストデータの作成が大変に対して:取り組み ■テクニック • データドリブン ■作業の特徴 • 会員を1,000個作成する • ルーチン作業 • 個々の会員情報は異なる Data creation
- 35. 35 課題②パターンが複数あり手動テストが大変に対して:取り組み ■テクニック • 各式別、方式で共通化できる • データドリブン ■テスト対象の特徴 • 式別9通り 、方式4通りの組合せ • 馬を1~3頭選ぶ組合せ • 式別⇒方式⇒馬⇒金額入力のSTEP Functional test
- 36. 36 課題②パターンが複数あり手動テストが大変に対して:効果 Delivery Cost manualautomation Test case 647 pattern ※1人月 = 70万円と仮定 1st 2nd~ 80H 40H 1H 1H scripting run scripting 35万 18万 0万 99% CUT 100% CUT
- 37. 37 ■テクニック • データドリブン ■作業の特徴 • 入力フォーム、checkbox等 • 入力文字の制約 • 入力組合せの制約 Data validation 課題②パターンが複数あり手動テストが大変に対して:効果
- 38. 38 文字列 ゼロ・NULL系 NULL 空文字 スペース（半角/全角） バックスラッシュコード ¥n ¥r ¥t など ファイルやフォルダ名に使用できない文字 Windowsでは，¥ / : ; , ! * ¦ “ < > ? 機種依存文字 ㈱ ローマ数字 丸囲み数字 文字化けしやすい文字 ～ 表 予 申 能 など 半角カナ 濁点（ﾞ） 半濁点（ﾟ）だけの文字 数値 ゼロ・NULL系 0 制限値 言語仕様上の上限，下限およびその前後 情報の誤差 丸め誤差 情報落ち 桁落ち 概算 四捨五入 切り上げ 切り捨て 日付 閏日 2004/2/29 存在しない日 2005/2/29 業務上の特殊日 休日・定休日 年末年始・月末月初・四半期末 祝祭日 年によって変わるものは要注意 ・春分/秋分の日 ・ハッピーマンデー 元号の切り替わる前後 1989/01/07（昭和64年1月7日） 1989/01/08（平成元年1月8日） グレゴリオ暦に切り替わる月 1752年9月 西暦2000年問題 1999/12/31 2000/01/01 Data validation example 課題②パターンが複数あり手動テストが大変に対して:効果
- 39. 39 Delivery manualautomation 20H 0.5H 2H run scripting Validation 300 pattern 課題②パターンが複数あり手動テストが大変に対して:効果
- 40. 40 課題③回帰テストに時間がかかり、素早く開発者にフィード バックできないに対して:取り組み 1.Create script Client PC Windows server 2.Copy script in server 3.Setup JENKINS 4. Test run automatically 5.Notify hipchat CI environment
- 41. 41 課題③回帰テストに時間がかかり、素早く開発者にフィード バックできないに対して:取り組み 1.Create script Client PC Windows server 2.Copy script in server 3.Setup JENKINS 4. Test run automatically 5.Notify hipchat CI environment
- 42. 42 課題③回帰テストに時間がかかり、素早く開発者にフィード バックできないに対して:取り組み ■テクニック • 主要機能を定期的に実行させる ■作業の特徴 • レスポンスが遅くなることを検知 Monitoring performance
- 44. 44 ■テクニック • 環境毎で実行 ■作業の特徴 • 実行環境が異なる Cross Browser / device © SHARP CORPORATION © Sony Mobile Communications Inc. © ASUSTeK Computer Inc. © Huawei Technologies Co. © SAMSUNG © Google Inc. © Microsoft © mozilla.org contributors. その他①: クロスブラウザのテスト:取り組み Browser 1 Browser 2 Browser 3
- 48. 48 WE ARE HIRING NOW!! http://bit.ly/RakutenSQA