Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Amebaアプリ QAの歴史(サイバーエージェント関根様)

782 views

Published on

第9回Ques講演資料
Amebaアプリ QAの歴史

Published in: Software
  • Be the first to comment

Amebaアプリ QAの歴史(サイバーエージェント関根様)

  1. 1. Amebaアプリ QAの歴史 株式会社サイバーエージェント メディアQC室 関根 雄飛
  2. 2. 今日お話すること 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  3. 3. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  4. 4. 自己紹介 2012年4月 サイバーエージェントにサーバサイドエンジニアとして入社 2012年8月 『GIRL’S TALK』リリース 2012年11月 『Hey!パイセン』リリース(のちにクローズ) 2013年5月 『おたすけSOS』リリース(のちにクローズ) 2013年9月 『読書のお時間です』リリース 2014年4月 テクニカルサポートに異動 2014年8月 AmebaアプリQA担当 2016年7月 Amebaメディア本部メディアQC室に所属 【好きなこと】 競馬 Ingress
  5. 5. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  6. 6. Amebaアプリの紹介 2010年1月リリース 最新バージョンはiOSが8.0.0 、Androidが10.2.2 「アメブロへの投稿」「人気 ブログの閲覧」「チェックリ ストの閲覧」機能
  7. 7. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  8. 8. 体制図 プロデューサ ディレクター サーバ マーケティングデザイン フロントネイティブ
  9. 9. 体制図 Amebaアプリ メディアQC室 CAアドバンス プロデューサ ディレクター デザイナー エンジニア 関根 リーダー リーダー テスター テスター
  10. 10. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  11. 11. テストフロー 仕様の共有 テスト項目書の作成 テスト端末の選定 テスト実施 不具合の起票・修正確認 リリース後の項目書見直し 上記フローを繰り返し行う
  12. 12. 仕様の共有 仕様の共有会を実施 GitHubEnterprise(以下GHE)上 にIssueを作成 QC室はGHEのIssue上から仕 様の把握を実施 不明点などがあった場合は口 頭やSlack上でやり取り
  13. 13. ここでCheck!! 〜仕様の共有〜 仕様の共有・把握はとても重要 見積もりを誤ってしまうと、テストに影響 実装途中でも良いのでapk・ipaファイルを もらって動作を確認する
  14. 14. テスト項目書の作成 GoogleDocsを使って作成 メイン機能ごとにシート分け 新機能に関しては独立したシ ートを作成 項目書は新しいバージョンに なるたびに作成
  15. 15. ここでCheck!! 〜テスト項目書の作成〜 必ず開発者にレビューしてもらうように体制を見 直し テスト実施前にテスターにも共有 分岐がややこしい場合は必ず資料を作成 iOSとAndroidとで同じものを使用していたが、細 部が異なっているため、ファイルを分割
  16. 16. テスト端末の選定 端末シェアの高いものを選定 アプリのバージョンごとに端末を変えている 新OSが出た場合は、別チームに基本的な機能 の確認をしてもらっている
  17. 17. テスト実施 テストは 本番環境 で実施 Crashlytics・TestFlightを利 用 帯域制限のテストには Charlesを使用 iOS/Androidともに並行して テストを実施
  18. 18. ここでCheck!! 〜テスト実施〜 まずは1端末で新項目→既存の順でテスト 不具合を見つけるのが遅くなるとその分スケ ジュールに影響が出てしまう 開発チームにお願いして工数の節約を実施 再現性がなくても報告する
  19. 19. 不具合の起票修正確認 GHEにIssueをあげる 必要に応じてラベルを付与 修正確認ができたら、DONEラベ ルを付与 修正確認時に再度不具合があった 場合はReOpen アプリが落ちてしまう不具合の場 合はログを添付
  20. 20. ここでCheck!! 〜不具合の起票修正確認〜 リリースに影響があるかどうかの判定 リリース強行などはしないように調整
  21. 21. リリース後の項目見直し リリース後1週間以内を目処に項目の見直し会を 実施 新規項目についてテスト優先度を設定 新機能を各シートへと振り分ける 項目書で気になるところがあればブラッシュアッ プを実施する
  22. 22. ここでCheck!! 〜リリース後の項目見直し〜 KPTの洗い出しを項目見直しと同時に実施 チーム・個人の振り返りに役立つ テスターにも参加してもらう Tryに関しては次回見直し会に必ずどうなっ たかを報告する
  23. 23. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  24. 24. 社内と社外テストの使い分け 多数の端末を使用したテストを短期間に実施したい場 合は、社外にテストを依頼 直近では、ブログ記事のネイティブ化実装時に依頼 社外テスターは、redmineにてチケット管理 redmineのチケットをGHEのIssueにて不具合・質問を 起票
  25. 25. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  26. 26. CAアドバンスとの施策につい て Amebaアプリでは、リーダー1名テスター2名の3名 体制でテストをしてもらっている 仕様書を作成してもらっている メディアQC室の他のPRJも 定期的(月に2回程度)に仕様書のレビューを実施
  27. 27. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  28. 28. 検証における課題 突然の仕様変更 リリース遅延 ログ吐き出しの確認漏れ STG環境での検証
  29. 29. 突然の仕様変更 実装段階で仕様変更が発生してしまう(これはしょうが ない) 情報の共有がチーム全体に行き渡らないことがある その結果、iOS/Androidとで挙動が違ってしまっている( これは問題) GHE上の情報と実仕様が異なってしまうことが多々ある
  30. 30. リリース遅延 アプリチームだけでなく、様々なチームと連携し ているためリリースの遅延が出てしまう 不具合を発見してから、本番環境へのリリースま での時間がどうしても長くなってしまう 連携が必要な箇所に関しては優先してチェックす る体制をつくる
  31. 31. ログ吐き出しの確認漏れ ユーザの動向を把握するために任意のタイミ ングでログを吐き出しているがテストするの が難しい Charlesを使用しての確認は可能だが、そもそ もこれであっているかのどうかの確認が難し い
  32. 32. STG環境での検証 本番環境と異なっている部分があるため、 STG環境では確認しきれない箇所がある その為、一部APIのレスポンスがダミーデー タになってしまっている STG環境の取り合いが発生している
  33. 33. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  34. 34. メディアQC室の紹介 2016年7月より設立 現在8サービスの検証を実施している CAアドバンスや外部会社を使用して検証 を実施
  35. 35. PRJからの評価 いつも細かいところまでチェックいただけて大変助かっている。詳細項目もかなり細か く網羅していただけているので、かなり助かっている。 担当者の変更があったため少し不安視していたのですが、引き継ぎやお休みでも開発側 の足が止まることが一切なく非常に助かっています。 不明な部分は細かく確認して頂けたり、確認に特殊な操作が必要な場合も柔軟に対応し てもらえてテストの質も高く感じている。 投稿周りとか、Amebaログイン、SNSログイン、非ログインで条件がとても複雑にな ってきていて、単体テストで網羅するのが厳しくなってきています。コアな機能に関し てQC室の人が最後にチェックしていてくれるので、いつも安心してリリース出来ます 。
  36. 36. PRJからの要望 CSと連携して、エスカレーションされた問い合わせ の再現条件などを調査して欲しい OSの足切りなどを横軸の知見を活かして提案してい ただけると嬉しいです ユーザ目線で使ってみて使いにくいところとかがあ ったら教えて欲しい
  37. 37. 自己紹介 Amebaアプリの紹介 体制図 テストフロー 社内と社外テストの使い分け CAアドバンスとの施策について 検証における課題 メディアQC室の紹介 今後の検証について
  38. 38. 今後の検証について テスト自動化をしたい 全項目は到底ムリなので一部項目のみ 実施したい Appiumを想定

×