Data & Metrics
In Agile2018
CyberAgent I. Suyama
2018.08.28
HELLO!
I am Ikuo Suyama
apprentice “Agile Programmer”
Lodeo AdTech Studio
CyberAgent, inc.
@martin_lover_se
2
1.
Retrospective Data & Metrics
In Agile2018
3
About Data & Metrics
4
Agile領域でのデータへの関心の高まり
▸ 2回目のKeynoteがData関連
▸ Data&Metricsカテゴリで6つのセッション
▹ 別カテゴリでMetrics関連セッションもあり
▸ Output vs Outcome
▹ Efficiency VS Effectiveness
▸ でもまだまだ発展途上...?
▹ 可視化してインサイトを得よう!の域を出ない印象
Visualization Agile2018
5
Collaboration Culture & Teams
Enterprise Agile
Data Metrics
POPULAR &
Popular Session
2.
Keynote:
What's the story about Agile data?
6
By Troy Magennis
What's the story about Agile data?
7
By Troy Magennis
What's the story about Agile data?
8
By Troy Magennis
Summary
▸ データは美しい
▸ データは人の問題
▸ 予測可能性の対価
▸ 予測はどのように間違うか
▸ ストーリーポイント vs スループット
▸ 依存性の壊滅的な影響
▸ 大きなチームの可能性
What's the story about Agile data?
9
By Troy Magennis
Data is beautiful
データは美しい
▸ 可視化することでストーリーを見いだす
What's the story about Agile data?
10
By Troy Magennis
Data is a people problem
データは人の問題
▸ 経験だけ -> 認知バイアスで間違う
▸ 過去データだけ -> コンテキストで間違う
▸ Data + Conversation
▹ 対話とともに用いることが大切
What's the story about Agile data?
11
By Troy Magennis
Data is a people problem
データは人の問題
▸ 人にとって
▹ 恥をかかせるような方法
▹ 安全でない方法
▹ バグの数を比べるとか ...
▸ これらがデータを破壊する
What's the story about Agile data?
12
By Troy Magennis
Data is a people problem
データは人の問題
▸ `安全に` データを使う方法を見つけよう
▹ 対話による良質なデータ
▹ Make Data Awesome
▹ 人々を幸せにする
▹ Use Data Safely
What's the story about Agile data?
13
By Troy Magennis
Price we pay for Predictability
予測可能性の対価
1. Output
▹ 進捗管理
2. 優先順位付け
▹ Planning
3. Outcome
▹ 顧客満足度, etc...
1. Outcome
2. 優先度
3. Output
何を `分析` してる?
What's the story about Agile data?
14
By Troy Magennis
Price we pay for Predictability
予測可能性の対価
▸ ビジネス価値があることは不安定
▹ 新しいこと
▹ クリエイティブなこと
▸ 不安定性こそが対価
▸ 予測可能性とバランスをとる必要がある
▸ 新しい情報をより早く取り入れる
What's the story about Agile data?
15
By Troy Magennis
How we got Forecasting wrong
予測はどのように間違うか
▸ GoogleMap から学ぼう
▹ 単数 < 複数の選択肢
▹ 日付 < 期間
▹ 更新し続ける
▸ いつ始めるか?を知るための予測
▹ 納期遅延はいつも
始めるのが遅すぎる
から起こる!!
▸ 間違いを見つけるために予測する
Story points vs Throughput throwdown
ストーリーポイント vs スループット
▸ Item Count(Throughput) がいい場合
▹ 開発時間 < 遅延(依存待ち)
▹ = 依存が多いとき
▸ Story Pointがいい場合
▹ 開発時間 > 遅延(依存待ち)
▹ = 依存が少ないとき
What's the story about Agile data?
16
By Troy Magennis
I'm consultant, so It's
depends!
How much data do I need?
(予測に必要な)データの数は?
▸ 最新の10個のサンプルを使おう
What's the story about Agile data?
17
By Troy Magennis
11人付き合ってその中で最
高の一人と結婚すべし
Devastating Impact of Dependencies
依存性の壊滅的な影響
▸ 「遅れる」「遅れない」の2択を取りうる
⇒依存の数 n とすると、遅れないケースは
(全員「遅れない」が揃うパターン)
▸ 依存を可視化して減らそう
What's the story about Agile data?
18
By Troy Magennis
1 in 2n 遅れない確率
1/128
What's the story about Agile data?
19
By Troy Magennis
Teams could/should be larger
大きなチームの可能性
▸ 戦略が必要
▸ チームを比べる必要がある
▹ 共通の原因 vs 固有の原因
▹ コンテキストの中で比べる
▹ 安全な環境を作る
▸ データは人の問題
20
By Larry Maccherone
3.
Session:
The impact of lean / agile quantified
The impact of lean / agile quantified
▸ パフォーマンスの定量比較
▹ SDPI
▸ Agileチームの条件 => SDPIの応答
▹ 科学的、客観的
▸ Troyのセッションでも引用
21
By Larry Maccherone
22
By Larry Maccherone
SDPI
Software Development Performance Index
1. Productivity / 生産性
▹ Throughput
2. Predictability / 予測可能性
▹ Stability of Throughput
3. Responsiveness / 応答性
▹ Time in Process
4. Quality / 品質
▹ Defect Density
The impact of lean / agile quantified
23
By Larry Maccherone
Iteration Length
The impact of lean / agile quantified
24
By Larry Maccherone
Iteration Length
▸ 2週間がバランスよいパフォーマンス
▸ 長いイテレーション期間は品質と正相関
▸ 短いイテレーション期間は生産性、反応性高
The impact of lean / agile quantified
25
By Larry Maccherone
Controlling Wip
The impact of lean / agile quantified
Little’s law
負荷L = 到着率λ x 平均時間W
26
By Larry Maccherone
Controlling Wip
▸ WIPを最大制限すると...
▹ Time in Processが 1/ 2
▹ 不具合が1 / 4
▹ 生産性は -34%
▸ WIPを減らそう
The impact of lean / agile quantified
27
By Larry Maccherone
Team size
The impact of lean / agile quantified
28
Team size
▸ 小さいサイズ(1 ~ 3)のチーム
▹ 17% 品質低い
▹ 17% 生産性高い
▸ 7 ± 2 人でチームをセットアップしよう
▹ 大きいチームでうまくいっている場合に、サイズダ
ウンしたときの証拠はないので注意
By Larry Maccherone
The impact of lean / agile quantified
▸ 他にも面白い結果が多数
▹ リモート VS オンサイト
▹ 見積もり手法
▹ 結成からの時間
▹ テスター / 開発者
▸ この手の話題が好きな人は要チェック!
29
By Larry Maccherone
https://www.linkedin.com/in/larrymaccherone/
The impact of lean / agile quantified
30
THANKS!
31
Appendix
▸ What’s the Story About Agile Data(Video)
▹ Slide
▹ See Also…
▹ FocusedObjective - GitHub
▹ Doing Team Metrics Right - Focused
Objective
▹ SDPI Cheat Sheet
▹ SDPI Cheat Sheet - Spreadsheet
▹ Metric Driven Coaching
▹ By Troy Mageniss
▹ Twitter
Appendix
32
▸ The impact of lean/agile quantified(Video)
▹ Slide
▹ See Also…
▹ The Impact of Agile. Quantified.
▹ The Seven Deadly Sins of Agile Measuremen
▹ ODIM A framework for choosing the right
metrics
▹ By Larry Maccherone
▹ Twitter
▹ LinkedIn

Data & Metrics in Agile2018

  • 1.
    Data & Metrics InAgile2018 CyberAgent I. Suyama 2018.08.28
  • 2.
    HELLO! I am IkuoSuyama apprentice “Agile Programmer” Lodeo AdTech Studio CyberAgent, inc. @martin_lover_se 2
  • 3.
    1. Retrospective Data &Metrics In Agile2018 3
  • 4.
    About Data &Metrics 4 Agile領域でのデータへの関心の高まり ▸ 2回目のKeynoteがData関連 ▸ Data&Metricsカテゴリで6つのセッション ▹ 別カテゴリでMetrics関連セッションもあり ▸ Output vs Outcome ▹ Efficiency VS Effectiveness ▸ でもまだまだ発展途上...? ▹ 可視化してインサイトを得よう!の域を出ない印象
  • 5.
    Visualization Agile2018 5 Collaboration Culture& Teams Enterprise Agile Data Metrics POPULAR & Popular Session
  • 6.
    2. Keynote: What's the storyabout Agile data? 6 By Troy Magennis
  • 7.
    What's the storyabout Agile data? 7 By Troy Magennis
  • 8.
    What's the storyabout Agile data? 8 By Troy Magennis Summary ▸ データは美しい ▸ データは人の問題 ▸ 予測可能性の対価 ▸ 予測はどのように間違うか ▸ ストーリーポイント vs スループット ▸ 依存性の壊滅的な影響 ▸ 大きなチームの可能性
  • 9.
    What's the storyabout Agile data? 9 By Troy Magennis Data is beautiful データは美しい ▸ 可視化することでストーリーを見いだす
  • 10.
    What's the storyabout Agile data? 10 By Troy Magennis Data is a people problem データは人の問題 ▸ 経験だけ -> 認知バイアスで間違う ▸ 過去データだけ -> コンテキストで間違う ▸ Data + Conversation ▹ 対話とともに用いることが大切
  • 11.
    What's the storyabout Agile data? 11 By Troy Magennis Data is a people problem データは人の問題 ▸ 人にとって ▹ 恥をかかせるような方法 ▹ 安全でない方法 ▹ バグの数を比べるとか ... ▸ これらがデータを破壊する
  • 12.
    What's the storyabout Agile data? 12 By Troy Magennis Data is a people problem データは人の問題 ▸ `安全に` データを使う方法を見つけよう ▹ 対話による良質なデータ ▹ Make Data Awesome ▹ 人々を幸せにする ▹ Use Data Safely
  • 13.
    What's the storyabout Agile data? 13 By Troy Magennis Price we pay for Predictability 予測可能性の対価 1. Output ▹ 進捗管理 2. 優先順位付け ▹ Planning 3. Outcome ▹ 顧客満足度, etc... 1. Outcome 2. 優先度 3. Output 何を `分析` してる?
  • 14.
    What's the storyabout Agile data? 14 By Troy Magennis Price we pay for Predictability 予測可能性の対価 ▸ ビジネス価値があることは不安定 ▹ 新しいこと ▹ クリエイティブなこと ▸ 不安定性こそが対価 ▸ 予測可能性とバランスをとる必要がある ▸ 新しい情報をより早く取り入れる
  • 15.
    What's the storyabout Agile data? 15 By Troy Magennis How we got Forecasting wrong 予測はどのように間違うか ▸ GoogleMap から学ぼう ▹ 単数 < 複数の選択肢 ▹ 日付 < 期間 ▹ 更新し続ける ▸ いつ始めるか?を知るための予測 ▹ 納期遅延はいつも 始めるのが遅すぎる から起こる!! ▸ 間違いを見つけるために予測する
  • 16.
    Story points vsThroughput throwdown ストーリーポイント vs スループット ▸ Item Count(Throughput) がいい場合 ▹ 開発時間 < 遅延(依存待ち) ▹ = 依存が多いとき ▸ Story Pointがいい場合 ▹ 開発時間 > 遅延(依存待ち) ▹ = 依存が少ないとき What's the story about Agile data? 16 By Troy Magennis I'm consultant, so It's depends!
  • 17.
    How much datado I need? (予測に必要な)データの数は? ▸ 最新の10個のサンプルを使おう What's the story about Agile data? 17 By Troy Magennis 11人付き合ってその中で最 高の一人と結婚すべし
  • 18.
    Devastating Impact ofDependencies 依存性の壊滅的な影響 ▸ 「遅れる」「遅れない」の2択を取りうる ⇒依存の数 n とすると、遅れないケースは (全員「遅れない」が揃うパターン) ▸ 依存を可視化して減らそう What's the story about Agile data? 18 By Troy Magennis 1 in 2n 遅れない確率 1/128
  • 19.
    What's the storyabout Agile data? 19 By Troy Magennis Teams could/should be larger 大きなチームの可能性 ▸ 戦略が必要 ▸ チームを比べる必要がある ▹ 共通の原因 vs 固有の原因 ▹ コンテキストの中で比べる ▹ 安全な環境を作る ▸ データは人の問題
  • 20.
    20 By Larry Maccherone 3. Session: Theimpact of lean / agile quantified
  • 21.
    The impact oflean / agile quantified ▸ パフォーマンスの定量比較 ▹ SDPI ▸ Agileチームの条件 => SDPIの応答 ▹ 科学的、客観的 ▸ Troyのセッションでも引用 21 By Larry Maccherone
  • 22.
    22 By Larry Maccherone SDPI SoftwareDevelopment Performance Index 1. Productivity / 生産性 ▹ Throughput 2. Predictability / 予測可能性 ▹ Stability of Throughput 3. Responsiveness / 応答性 ▹ Time in Process 4. Quality / 品質 ▹ Defect Density The impact of lean / agile quantified
  • 23.
    23 By Larry Maccherone IterationLength The impact of lean / agile quantified
  • 24.
    24 By Larry Maccherone IterationLength ▸ 2週間がバランスよいパフォーマンス ▸ 長いイテレーション期間は品質と正相関 ▸ 短いイテレーション期間は生産性、反応性高 The impact of lean / agile quantified
  • 25.
    25 By Larry Maccherone ControllingWip The impact of lean / agile quantified Little’s law 負荷L = 到着率λ x 平均時間W
  • 26.
    26 By Larry Maccherone ControllingWip ▸ WIPを最大制限すると... ▹ Time in Processが 1/ 2 ▹ 不具合が1 / 4 ▹ 生産性は -34% ▸ WIPを減らそう The impact of lean / agile quantified
  • 27.
    27 By Larry Maccherone Teamsize The impact of lean / agile quantified
  • 28.
    28 Team size ▸ 小さいサイズ(1~ 3)のチーム ▹ 17% 品質低い ▹ 17% 生産性高い ▸ 7 ± 2 人でチームをセットアップしよう ▹ 大きいチームでうまくいっている場合に、サイズダ ウンしたときの証拠はないので注意 By Larry Maccherone The impact of lean / agile quantified
  • 29.
    ▸ 他にも面白い結果が多数 ▹ リモートVS オンサイト ▹ 見積もり手法 ▹ 結成からの時間 ▹ テスター / 開発者 ▸ この手の話題が好きな人は要チェック! 29 By Larry Maccherone https://www.linkedin.com/in/larrymaccherone/ The impact of lean / agile quantified
  • 30.
  • 31.
  • 32.
    ▸ What’s theStory About Agile Data(Video) ▹ Slide ▹ See Also… ▹ FocusedObjective - GitHub ▹ Doing Team Metrics Right - Focused Objective ▹ SDPI Cheat Sheet ▹ SDPI Cheat Sheet - Spreadsheet ▹ Metric Driven Coaching ▹ By Troy Mageniss ▹ Twitter Appendix 32 ▸ The impact of lean/agile quantified(Video) ▹ Slide ▹ See Also… ▹ The Impact of Agile. Quantified. ▹ The Seven Deadly Sins of Agile Measuremen ▹ ODIM A framework for choosing the right metrics ▹ By Larry Maccherone ▹ Twitter ▹ LinkedIn