Submit Search
Upload
分析可能なアジャイルQAでの取り組み
•
0 likes
•
441 views
H
Hiroyuki Hanaue
Follow
DMM.com QA部にて行ったアジャイルQAに対する分析の取り組み
Read less
Read more
Software
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 21
Download now
Download to read offline
Recommended
DMMアカウントサービス フロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新
DMMアカウントサービス フロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新
tomohiro odan
アジャイル開発に最適なQA『アジャイルQA』の導入
アジャイル開発に最適なQA『アジャイルQA』の導入
Nobuyuki Kikuchi
テストスイートアーキテクチャへのアーキテクチャ検証手法ATAMの 適用
テストスイートアーキテクチャへのアーキテクチャ検証手法ATAMの 適用
tomohiro odan
Jasst'18 kansai_challenge_to_convincing_test_design_by_test_design_contest
Jasst'18 kansai_challenge_to_convincing_test_design_by_test_design_contest
tomohiro odan
20191122 softec asia2019_report_for_d3 _r04
20191122 softec asia2019_report_for_d3 _r04
tomohiro odan
20191104 na te_samplequestion_r03
20191104 na te_samplequestion_r03
tomohiro odan
自動テストにおけるコードベース戦略とローコード戦略のすみ分け
自動テストにおけるコードベース戦略とローコード戦略のすみ分け
tomohiro odan
An Agile Way As an SET at LINE
An Agile Way As an SET at LINE
LINE Corporation
Recommended
DMMアカウントサービス フロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新
DMMアカウントサービス フロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新
tomohiro odan
アジャイル開発に最適なQA『アジャイルQA』の導入
アジャイル開発に最適なQA『アジャイルQA』の導入
Nobuyuki Kikuchi
テストスイートアーキテクチャへのアーキテクチャ検証手法ATAMの 適用
テストスイートアーキテクチャへのアーキテクチャ検証手法ATAMの 適用
tomohiro odan
Jasst'18 kansai_challenge_to_convincing_test_design_by_test_design_contest
Jasst'18 kansai_challenge_to_convincing_test_design_by_test_design_contest
tomohiro odan
20191122 softec asia2019_report_for_d3 _r04
20191122 softec asia2019_report_for_d3 _r04
tomohiro odan
20191104 na te_samplequestion_r03
20191104 na te_samplequestion_r03
tomohiro odan
自動テストにおけるコードベース戦略とローコード戦略のすみ分け
自動テストにおけるコードベース戦略とローコード戦略のすみ分け
tomohiro odan
An Agile Way As an SET at LINE
An Agile Way As an SET at LINE
LINE Corporation
忙しいテストエンジニアにこそお薦め CodeceptJS
忙しいテストエンジニアにこそお薦め CodeceptJS
ssuserd2c5cd
Ai for software testing
Ai for software testing
真太郎 板垣
組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
gree_tech
LINE のUI自動テスト事例
LINE のUI自動テスト事例
LINE Corporation
APIテスト自動化とテストピラミッド
APIテスト自動化とテストピラミッド
友隆 浅黄
「トピックモデル」を使った「バグチケットの自動タグ付け」
「トピックモデル」を使った「バグチケットの自動タグ付け」
Koichi Tanizaki
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
Satoshi Sakashita
20191029 automation struggle
20191029 automation struggle
Sadaaki Emura
Automation test.ssf alpha
Automation test.ssf alpha
ryuji koyama
心・技・態 -LINEにおける改善の真実-
心・技・態 -LINEにおける改善の真実-
LINE Corporation
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
Yahoo!デベロッパーネットワーク
失敗から学ぶテスト自動化導入で大切なこと
失敗から学ぶテスト自動化導入で大切なこと
sono susumu
テストエンジニアの品格 #automatornight
テストエンジニアの品格 #automatornight
kyon mm
#STAC2014 システムテスト自動化ハンズオン
#STAC2014 システムテスト自動化ハンズオン
kyon mm
QA組織とiOSのテスト
QA組織とiOSのテスト
LINE Corporation
basic of Test automation installation
basic of Test automation installation
Sadaaki Emura
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
keysh2
Q te cc2
Q te cc2
Fujie Teppei
テストマネジメントツールSquash TMを利用した継続的テスト改善
テストマネジメントツールSquash TMを利用した継続的テスト改善
Mizuho Wakai
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
Hiroyuki Hanaue
受託でもデキるアジャイル開発
受託でもデキるアジャイル開発
Yoshiyuki Ueda
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
ques_staff
More Related Content
What's hot
忙しいテストエンジニアにこそお薦め CodeceptJS
忙しいテストエンジニアにこそお薦め CodeceptJS
ssuserd2c5cd
Ai for software testing
Ai for software testing
真太郎 板垣
組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
gree_tech
LINE のUI自動テスト事例
LINE のUI自動テスト事例
LINE Corporation
APIテスト自動化とテストピラミッド
APIテスト自動化とテストピラミッド
友隆 浅黄
「トピックモデル」を使った「バグチケットの自動タグ付け」
「トピックモデル」を使った「バグチケットの自動タグ付け」
Koichi Tanizaki
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
Satoshi Sakashita
20191029 automation struggle
20191029 automation struggle
Sadaaki Emura
Automation test.ssf alpha
Automation test.ssf alpha
ryuji koyama
心・技・態 -LINEにおける改善の真実-
心・技・態 -LINEにおける改善の真実-
LINE Corporation
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
Yahoo!デベロッパーネットワーク
失敗から学ぶテスト自動化導入で大切なこと
失敗から学ぶテスト自動化導入で大切なこと
sono susumu
テストエンジニアの品格 #automatornight
テストエンジニアの品格 #automatornight
kyon mm
#STAC2014 システムテスト自動化ハンズオン
#STAC2014 システムテスト自動化ハンズオン
kyon mm
QA組織とiOSのテスト
QA組織とiOSのテスト
LINE Corporation
basic of Test automation installation
basic of Test automation installation
Sadaaki Emura
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
keysh2
Q te cc2
Q te cc2
Fujie Teppei
テストマネジメントツールSquash TMを利用した継続的テスト改善
テストマネジメントツールSquash TMを利用した継続的テスト改善
Mizuho Wakai
What's hot
(19)
忙しいテストエンジニアにこそお薦め CodeceptJS
忙しいテストエンジニアにこそお薦め CodeceptJS
Ai for software testing
Ai for software testing
組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
LINE のUI自動テスト事例
LINE のUI自動テスト事例
APIテスト自動化とテストピラミッド
APIテスト自動化とテストピラミッド
「トピックモデル」を使った「バグチケットの自動タグ付け」
「トピックモデル」を使った「バグチケットの自動タグ付け」
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
Stac2021 [初学者向け]ローコード開発におけるテストの考え方
20191029 automation struggle
20191029 automation struggle
Automation test.ssf alpha
Automation test.ssf alpha
心・技・態 -LINEにおける改善の真実-
心・技・態 -LINEにおける改善の真実-
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
快適・簡単・安心なアプリE2Eテストの実行環境 #stac2017
失敗から学ぶテスト自動化導入で大切なこと
失敗から学ぶテスト自動化導入で大切なこと
テストエンジニアの品格 #automatornight
テストエンジニアの品格 #automatornight
#STAC2014 システムテスト自動化ハンズオン
#STAC2014 システムテスト自動化ハンズオン
QA組織とiOSのテスト
QA組織とiOSのテスト
basic of Test automation installation
basic of Test automation installation
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
ぼんやりした要件とテストケースから出てくる地獄のようなゲームテスト自動化導入
Q te cc2
Q te cc2
テストマネジメントツールSquash TMを利用した継続的テスト改善
テストマネジメントツールSquash TMを利用した継続的テスト改善
Similar to 分析可能なアジャイルQAでの取り組み
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
Hiroyuki Hanaue
受託でもデキるアジャイル開発
受託でもデキるアジャイル開発
Yoshiyuki Ueda
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
ques_staff
「Qaエンジニアのキャリアについて考える : 急(Q) ~ いろいろな組織でやったこと~」
「Qaエンジニアのキャリアについて考える : 急(Q) ~ いろいろな組織でやったこと~」
久仁朗 山本(旧姓 村上)
20190424 q ameetup-m -publish
20190424 q ameetup-m -publish
Sadaaki Emura
開発レビューで心がけていること
開発レビューで心がけていること
Masato Kataoka
[Biz reach qa meetup] qa team_build
[Biz reach qa meetup] qa team_build
久仁朗 山本(旧姓 村上)
SPI Japan2016発表資料
SPI Japan2016発表資料
Reiko Rikuno
LT.22 機械学習におけるPDCAを回せる環境構築の話
LT.22 機械学習におけるPDCAを回せる環境構築の話
GIG inc.
Msセミナー20170830 slideshare
Msセミナー20170830 slideshare
NHN テコラス株式会社
WACATEにより爆発的に加速した QA歴3ヶ月の新卒のお話
WACATEにより爆発的に加速した QA歴3ヶ月の新卒のお話
ssuserd00212
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
Akira Ikeda
ソフトウェアテストことはじめ2016年ver
ソフトウェアテストことはじめ2016年ver
Kosuke Fujisawa
20140605_じどうかの窓口_ソフトウェアテスト自動化のRoi
20140605_じどうかの窓口_ソフトウェアテスト自動化のRoi
SHIFT Inc.
テクニカルエンジニアリング部_富樫.pptx
テクニカルエンジニアリング部_富樫.pptx
Cybozu, Inc.
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
Sumio Ebisawa
JasstTokyo2017
JasstTokyo2017
Asako Yanuki
テスト観点に関する取り組み事例
テスト観点に関する取り組み事例
NaokiKashiwagura
大規模なリアルタイム監視の導入と展開
大規模なリアルタイム監視の導入と展開
Rakuten Group, Inc.
データ分析チームの振り返り
データ分析チームの振り返り
Satoshi Noto
Similar to 分析可能なアジャイルQAでの取り組み
(20)
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用_slideshare用.pptx
受託でもデキるアジャイル開発
受託でもデキるアジャイル開発
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
「Qaエンジニアのキャリアについて考える : 急(q) 〜 いろいろな組織でやったこと〜」 山本様
「Qaエンジニアのキャリアについて考える : 急(Q) ~ いろいろな組織でやったこと~」
「Qaエンジニアのキャリアについて考える : 急(Q) ~ いろいろな組織でやったこと~」
20190424 q ameetup-m -publish
20190424 q ameetup-m -publish
開発レビューで心がけていること
開発レビューで心がけていること
[Biz reach qa meetup] qa team_build
[Biz reach qa meetup] qa team_build
SPI Japan2016発表資料
SPI Japan2016発表資料
LT.22 機械学習におけるPDCAを回せる環境構築の話
LT.22 機械学習におけるPDCAを回せる環境構築の話
Msセミナー20170830 slideshare
Msセミナー20170830 slideshare
WACATEにより爆発的に加速した QA歴3ヶ月の新卒のお話
WACATEにより爆発的に加速した QA歴3ヶ月の新卒のお話
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
ソフトウェアテストことはじめ2016年ver
ソフトウェアテストことはじめ2016年ver
20140605_じどうかの窓口_ソフトウェアテスト自動化のRoi
20140605_じどうかの窓口_ソフトウェアテスト自動化のRoi
テクニカルエンジニアリング部_富樫.pptx
テクニカルエンジニアリング部_富樫.pptx
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
JasstTokyo2017
JasstTokyo2017
テスト観点に関する取り組み事例
テスト観点に関する取り組み事例
大規模なリアルタイム監視の導入と展開
大規模なリアルタイム監視の導入と展開
データ分析チームの振り返り
データ分析チームの振り返り
分析可能なアジャイルQAでの取り組み
1.
© DMM.com 分析可能なアジャイルQAでの 取り組み テクノロジー本部 QA部 花上
豊幸
2.
© DMM.com 2 自己紹介 名前:花上
豊幸(はなうえ ひろゆき) 所属:テクノロジー本部 QA部 2020年9月入社 勤務先:六本木本社(普段は、神奈川自宅でフルリモート) 【社内】 QA部を横断しての • テスト自動化の推進 • 不具合分析などのデータ分析基盤の構築 を担当しています 【社外】 副業として • QA組織の立ち上げ/改善提案 • テスト自動化の推進 などの業務を請負いをさせて頂いております
3.
© DMM.com 3 目次 ●
背景 ● 分析可能な運用改善 ○ 観点チャーター ● アジャイルQAでの分析 ○ ゾーン分析 ○ メトリクス分析 ● まとめ
4.
© DMM.com 背景
5.
© DMM.com 5 背景 ●
アジャイルQAの取り組みの中で, 開発中での不具合の約9割が探索的テストによる 検出 ● 探索的テストによる課題 ○ 第三者がテストスコープを把握しづらい ○ 属人化が進み他QAメンバーによるフォローやアサイン調整が行いづらい ○ 検出した不具合以外の指標がなく品質状態を判断/分析しづらい ➔「観点チャーター」の導入による分析可能な探索的テストの運用改善を提案
6.
© DMM.com 分析可能な運用改善
7.
© DMM.com 7 分析可能な運用改善_観点チャーター(1/5) ●
チャーターとは? ○ 探索的テストの手法の一つ ■ 「対象」「資源」「情報」を整理したチャーターを作成し, チャーターに基づいて探索的テストを 行う手法 ○ メリット ■ 探索的テストのテストスコープを第三者が把握しやすい ■ チャーターを残して行くことでナレッジの蓄積が可能 ○ デメリット ■ チャーターの作成に準備工数がかかる ■ ナレッジ化したチャーターが形骸化しやすい ➔アジャイルQAでも1度運用し, チャーターの作成を行ったが 運用されない結果となっていた
8.
© DMM.com 8 分析可能な運用改善_観点チャーター(2/5) ●
観点チャーターの説明 ○ 検証観点ベースでのチャーターを作成 ○ 大分類として「機能系」「非機能系」に分けて, 検証対象となる機能や画面, 検証観点などを一 覧として整理する
9.
© DMM.com 9 分析可能な運用改善_観点チャーター(3/5) ●
機能系 ○ 要件や仕様として明確となっている, 機能やデザイン/レイアウトなどの検証対象をベースの観 点に沿って検証観点としてまとめる
10.
© DMM.com 10 分析可能な運用改善_観点チャーター(4/5) ●
非機能系 ○ 要件や仕様として明確に定義されていないが, 一般的に発生しうる操作や環境などによる検証 観点をまとめる
11.
© DMM.com 11 分析可能な運用改善_観点チャーター(5/5) ●
観点チャーターの目的 ○ 観点チャーターから第三者がテストスコープを把握できる ○ 観点チャーターベースでのレビューが可能となる ■ レビュー指摘や開発からの確認依頼等も項目として反映可能 ○ 観点チャーターのテンプレートや参考資料での観点一覧などを作成することでナレッジ化が可 能となる ■ 各観点の不具合傾向などから分析を行い, テンプレートや観点一覧など反映することで, 探索的テストの改善が可能に ➔属人化の軽減につながる
12.
© DMM.com アジャイルQAでの分析
13.
© DMM.com 13 アジャイルQAでの分析_ゾーン分析(1/3) ●
ゾーン分析とは? ○ 「テスト密度」と「バグ密度」から不具合検出の累積グラフを算出し, 不具合検出の推移がグラフ 上のどのゾーンに該当しているかを分析する手法 参照 :https://www.qbook.jp/column/20190417_755.html
14.
© DMM.com 14 アジャイルQAでの分析_ゾーン分析(2/3) ●
アジャイルQAでのゾーン分析 ○ テスト密度の代わりに観点チャーターの検証観点に紐付ける形で不具合検出の累積グラフを 算出 ○ 不具合の見積もり件数からゾーン1(中央)の領域を設定し, どのゾーンに属するか, 不具合が多 く検出された観点などを分析する 不具合の累積 チャーター観点
15.
© DMM.com アジャイルQAでの分析_ゾーン分析(3/3) ● ゾーン分析の仮説 ○
視覚的に検証結果による品質状況が把握しやすくなる ○ 検証の早い段階での仕切り直しなどが判断できる ○ 不具合見積もりにより不具合による想定外の開発工数などを 軽減できる ➔各観点の不具合の検出傾向を分析し, 観点チャーターに反映する ことで探索的テストの改善を行う分析も実施 15
16.
© DMM.com 16 アジャイルQAでの分析_メトリクス分析(1/2) ●
アジャイルQAでのメトリクス分析の取り組み ○ 短いスプリント内では統計的なデータ分析は統計上の性質から現実的ではない ○ スプリントを跨いだ開発規模(コミット差分)や不具合チケットの累積に対して メトリクス分析を実施
17.
© DMM.com 17 アジャイルQAでの分析_メトリクス分析(2/2) ●
メトリクス分析の仮説 ○ 探索テストはプルリクベースで行っているため, 「修 正数(開発量)」と「不具合数」の推移から不具合傾 向や品質状況等が把握できる ■ 修正数に対する不具合数の推移に異常値が ないか ■ 過去と現在で修正数に対する不具合数の推移 に変化があった場合 ○ 不具合の起票とクローズの推移 ➔曲線が開き続けている場合などに,新機能の対応ではなく 不具合改善やリファクタリング等のスプリント計画などを提 案
18.
© DMM.com まとめ
19.
© DMM.com 19 まとめ(1/2) ●
探索的テストによる課題 ○ 第三者がテストスコープが把握しづらい ➔観点チャーターにより第三者でもテストスコープが把握可能に ○ 属人化が進み他QAメンバーによるフォローやアサイン調整が行いづらい ➔観点チャーターをベースにリーダがレビュー可能となるため, フォローやア サイン調整の敷居が低下 ○ 検出した不具合以外の指標がなく品質状態を判断/分析しづらい ➔ゾーン分析/メトリクス分析から品質状態の判断/分析が可能に
20.
© DMM.com 20 まとめ(2/2) ●
今回は取り組みを始めたばかりのため, 具体的な成果としての発表はできなかった ので, 次の機会に成果発表ができるように取り組みを行っていきたい ● 現状では担当者の経験/勘所で判断している品質状態を, 最終的にはデータから品 質状況を判断できるデータ基盤や運用体制を構築したい ● アジャイルの特性上, 完全な属人化解消は現実てきではないため適度な属人化を調 整する必要がある ● 分析可能な体制づくりは属人化の軽減にもつながっているので, 今後も可能な範囲 での改善を行っていきたい
21.
© DMM.com ご静聴ありがとう御座いました! テクノロジー本部 QA部 花上
豊幸
Download now