20180828 subscliption test_solution@Test Engineers Meetup #3

1. Subscription Test Solution FiNC, inc. / Quality Assurance Division Jo Yasuta

2. • 名前 : • 所属 : • QA歴 : 安田譲 (@joe_uragami) 株式会社FiNC QA室アプリチームQAリーダ５年程度(以前はSE、舞台照明関連、AD) →FiNCは約1年、その前は渋谷の某メガベンチャー（業務委託）つい先日、JSTQB Foundation Level受験自己紹介

3. • 趣味的なもの : 特撮が好き・野球観戦が好き →ブログ書いてます「ウラガミ・ライフ」 Pythonそこそこ →10/8(祝)技術書典5で本を出します自己紹介 [か09] Thunder Claw ほぼPythonだけでサーバレスアプリの実装からテストまでする本 http://uragami.hatenablog.jp/

7. • サブスクリプションとは • OSごとのテスト環境仕様 • サブスクリプション課金のテストで気をつけたいこと目次

8. サブスクリプションとは

9. IT用語辞典バイナリサブスクリプションとはサブスクリプションサービスとは、提供する商品やサービスの数ではなく、利用期間に対して対価を支払う方式のことである。多くの場合「定額制」と同じ意味で用いられている。

10. 月額で定期購入すると…… • そもそものサービスが使えるようになる。 • 制限されていた機能が解放される。サブスクリプションとは

11. サブスクリプションとはスマホアプリ PCアプリその他サービス服借り放題ライブ行き放題ラーメン1日1杯食べられる

12. ちなみにFiNCアプリではサブスクリプションとは → 専門家にチャットで相談 → クーポンなどの優待サービス → ポイントがたまりやすい

13. サブスクリプションとは

14. OSごとのテスト環境仕様

15. もちろんスマホアプリの課金なので…… プラットフォームごとの課金システムを使います。 OSごとのテスト環境仕様 iOS : App Store Android : Play Store テストも用意された「Sandbox環境」で行います。

16. 処理の動き OSごとのテスト環境仕様アプリストアアプリアプリ側サーバーストアAPI 1. 決済要求 2. レシート 3. レシート 4. レシート 5. 検証結果 6. 会員登録 7. 購読結果

17. OSごとのテスト環境仕様実施準備編

18. 用意するもの • Sandbox環境用のテストアカウント • Sandbox環境に接続できるテスト用アプリ OSごとのテスト環境仕様

19. OSごとのテスト環境仕様 ~ iOSの場合 iOSの場合

20. Sandbox環境用のテストアカウント OSごとのテスト環境仕様 ~ iOSの場合 • メール受け取りが可能なメールアドレスを用意する • iTunes Connectにて Sandboxテスターとして登録する • エイリアスは使用可能

21. AppleIDを用意してはいけない

22. AppleIDを用意してはいけない OSごとのテスト環境仕様 ~ iOSの場合すでにAppleID登録されたメールアドレスは Sandboxテスター登録ができません。めんどくさい手順を踏んでも全く意味のない作業になります。

23. Sandbox環境に接続できるテスト用アプリ OSごとのテスト環境仕様 ~ iOSの場合 • TestFlightからダウンロードしたアプリ • ストア配信用のAppIDを使って配信したアプリ（念のためアドホック配信しています） →本番環境向け →Staging環境向け

24. OSごとのテスト環境仕様 ~ Androidの場合 Androidの場合

25. Sandbox環境用のテストアカウント OSごとのテスト環境仕様 ~ Androidの場合 • Gmailアカウントを用意する →テスター用グループ登録する →送られてきたメールに沿って登録する

26. 利用可能なクレカを登録する必要がある

27. 利用可能なクレカを登録する必要がある OSごとのテスト環境仕様 ~ Androidの場合テストのため引き落としはされませんが、支払先が登録されていないとテストができません。関係者と相談してリスクの少ないものを登録してください。なお、登録済みの番号は見ることができません。

28. Sandbox環境に接続できるテスト用アプリ OSごとのテスト環境仕様 ~ Androidの場合 • PlayStoreからダウンロードした本番 • PlayStoreからダウンロードしたα版アプリ →本番環境向け

29. Sandbox環境に接続できるテスト用アプリ OSごとのテスト環境仕様 ~ Androidの場合 →Staging環境向けは？？？

30. Staging向けアプリを PlayStoreにアップする

31. Staging向けアプリをPlayStoreにアップする OSごとのテスト環境仕様 ~ Androidの場合正しくα版としてアップできればいいのですが、設定を間違えて本番としてアップするリスクもあります。デプロイ方法など、開発者の工夫も必要かも

32. OSごとのテスト環境仕様テスト実施編

33. OSごとのテスト環境仕様 ~ iOSの場合 iOSの場合

34. AppleIDを普通にサインインできない

35. AppleIDを普通にサインインできない OSごとのテスト環境仕様 ~ iOSの場合設定などでしようとしてもテスト用のIDは弾かれてしまいます。 →どうするのか？？？ここからサインインできません！

36. AppleIDを普通にサインインできない OSごとのテスト環境仕様 ~ iOSの場合課金導線の中でサインイン。 →ややこしい！！

37. テストの実施 OSごとのテスト環境仕様 ~ iOSの場合 AppleIDを登録したら課金導線に進みます。

38. 確認をおこたるとガチ課金

39. 確認をおこたるとガチ課金 OSごとのテスト環境仕様 ~ iOSの場合この表示がなかった場合はガチで課金が発生します。 →ただ支払先登録していないので…

40. 定期購読の有効期間が短い

41. 定期購読の有効期間が短い OSごとのテスト環境仕様 ~ iOSの場合 Sandbox環境の場合はテスト用の時間換算になります実際の設定期間 Sandboxテスト期間 7日 3分 1ヶ月 5分 2ヶ月 10分 3ヶ月 15分 6ヶ月 30分 1年 1時間 →6回更新を繰り返す

42. 定期購読の有効期間が短い OSごとのテスト環境仕様 ~ iOSの場合 1ヶ月設定の場合 5分 × 6回更新 = 30分実際の設定期間 Sandboxテスト期間 7日 3分 1ヶ月 5分 2ヶ月 10分 3ヶ月 15分 6ヶ月 30分 1年 1時間確認事項は30分で終わらす！

43. 任意で定期購読の解約ができない

44. 任意で定期購読の解約ができない OSごとのテスト環境仕様 ~ iOSの場合解約した時の確認はどうするか？？ →時間切れのタイミング = 解約した時の動き

45. 初回無料の確認はできない

46. 初回１ヶ月無料の確認はできない OSごとのテスト環境仕様 ~ iOSの場合どうしてもしたい場合はどうするか？？ →まぁ、初回無料ですから……

47. OSごとのテスト環境仕様 ~ Androidの場合 Androidの場合

48. Gmailアカウントは普通に登録する OSごとのテスト環境仕様 ~ Androidの場合設定で登録します。

49. α版と本番の見分けがつきにくい

50. α版と本番の見分けがつきにくい OSごとのテスト環境仕様 ~ Androidの場合この辺りで見分けますリリースノートバージョン更新日 PlayStore 該当アプリの詳細を見るのところ

51. PlayStoreはキャッシュが効く

52. PlayStoreはキャッシュが効く OSごとのテスト環境仕様 ~ Androidの場合この手順を踏まないとα版がでてこないことがあります。 • PlayStoreのプロセスを切る • PlayStoreを強制停止 • PlayStoreのデータを削除する

53. テストの実施 OSごとのテスト環境仕様 ~ Androidの場合 α版をダウンロードできたら課金導線に進みます。

54. 確認をおこたるとガチ課金

55. 確認をおこたるとガチ課金 OSごとのテスト環境仕様 ~ Androidの場合この表示がなかった場合はガチで課金が発生します。 →支払先登録していますね……

56. 定期購読の有効期間が短い

57. 定期購読の有効期間が短い OSごとのテスト環境仕様 ~ Androidの場合 Sandbox環境の場合はテスト用の時間換算になります実際の設定期間 Sandboxテスト期間 7日 5分 1ヶ月 5分 3ヶ月 10分 6ヶ月 15分 1年 30分 →6回更新を繰り返す

58. 定期購読の有効期間が短い OSごとのテスト環境仕様 ~ Androidの場合 1ヶ月設定の場合、iOSと同じ確認事項は30分で終わらす！実際の設定期間 Sandboxテスト期間 7日 5分 1ヶ月 5分 3ヶ月 10分 6ヶ月 15分 1年 30分

59. Androidだとできること OSごとのテスト環境仕様 ~ Androidの場合初回無料は、3分間つく →3分の間にできることを

60. Androidだとできること OSごとのテスト環境仕様 ~ Androidの場合任意解約はできる →30分待ってもいいし、解約後5分待ってもいい

61. 異常系がテストしづらい

64. 覚えておいてほしいこと • 結構めんどくさい • 結構制約がある • 結構できないこともある • 結構リスクもある OSごとのテスト環境仕様

65. サブスクリプション課金のテストで気をつけたいこと

66. 課金のテストは… サブスクリプション課金のテストで気をつけたいこと 👁 🌞 ← 単体テスト ← 結合テスト ← システムテスト ← マニュアルテスト

67. 課金のテストは… サブスクリプション課金のテストで気をつけたいこと 👁 🌞 ← 単体テスト ← 結合テスト ← システムテスト ← マニュアルテスト ← ココ！！

68. 課金のテストはテストレベルの最高地サブスクリプション課金のテストで気をつけたいこと • 結構めんどくさい • 結構制約がある • 結構できないこともある • 結構リスクもあるカジュアルにできない

69. Sandbox課金のテストは最初の課金の仕組みの実装の時のみサブスクリプション課金のテストで気をつけたいこと

70. カジュアルになってしまう例① サブスクリプション課金のテストで気をつけたいこと「課金済みのユーザアカウントが欲しいんだけど、テストで課金したやつ使えるよね？」

71. OSごとのテスト環境仕様 ~ Androidの場合はい、30分だけ。

72. 課金ユーザが欲しい時サブスクリプション課金のテストで気をつけたいこと課金済みのユーザアカウントに切り替えられるツールを用意しておきましょう。ただし、本番環境の場合はKPIに注意！

73. カジュアルになってしまう例② サブスクリプション課金のテストで気をつけたいこと「課金した後の処理のテストがしたいんだけど、テストのやつでいけるよね？」

74. OSごとのテスト環境仕様 ~ Androidの場合敵が多いよ。

75. 課金絡みの他機能のテストの場合サブスクリプション課金のテストで気をつけたいことアプリストアアプリアプリ側サーバーストアAPI 1. 決済要求 2. レシート 3. レシート 4. レシート 5. 検証結果7. 購読結果 dummy dummy モックを有効的に使いましょう！

76. サブスクリプション課金のテストで気をつけたいこと • 手間のかかるテストなので、有効なテスト計画の中で実施しましょう。 • 開発も手間がかかるので、しっかり認識合わせしましょう

77. https://www.wantedly.com/companies/finc QAエンジニア絶賛募集を開始します！ WANTEDRYで間も無く情報公開！

78. ご静聴、ありがとうございました。

20180828 subscliption test_solution@Test Engineers Meetup #3

20180828 subscliption test_solution@Test Engineers Meetup #3

Recommended

More Related Content

What's hot

What's hot(10)

Similar to 20180828 subscliption test_solution@Test Engineers Meetup #3

Similar to 20180828 subscliption test_solution@Test Engineers Meetup #3(20)

20180828 subscliption test_solution@Test Engineers Meetup #3

Editor's Notes