山木隆寛/楽天株式会社 & 原田騎郎/株式会社アトラクタ 2019/7/4に開催したRakuten Tech Meetup #2 データで切り拓くソフトウェア品質の未来の発表資料です。

1. エンジニアチームにとって手の届く を考えて
仕事に取り入れてみた
アトラクタ 原田騎郎さん
Jul 4, 2019
Takahiro Yamaki (Rakuten, Inc.), Kiro Harada (Attractor Inc.)

2. 2
自己紹介
山木隆寛 (Yamaki Takahiro)
• 楽天市場 ECマーケットプレイス開発部 副課長
• 楽天内外のエンジニアにとって魅力的な職場であるるためにはどうしたらいいか、
を日々考えています。
原田騎郎 (Harada Kiro)
• 株式会社アトラクタ Founder & CEO & Agile Coach
2018年11月に社内で実施した勉強会(KPIを考える。原田さん支援)とその後につ
いて、情報共有させていただきます。
みなさんの事例・アイデアを後半の親睦会・ディスカッションタイムで教えてくだ
さい！

3. 3
課題
1. エンジニアチームとして、リードタイムを短くしたい、というゴールは漠然と
持っていましたが
2. 今の自分たちの実力（リードタイム）、どこをどう改善していけばいいのか不
明でした。
3. まずは、チームがいい感じで成長している、自分たちのやってることは間違っ
ていない、と目に見える数字KPIが欲しい！というのがきっかけです。
4. 最終的には、自律自走するエンジニアチームへと成長していきたいです。

4. 4
解決
そうだコンサルタントにお願いしよう！
DevOpsコンサルティング | Attractor Inc. (2019/06/13)
https://www.attractor.co.jp/service/devops_consulting/

5. 5
研修中の様子
Value Stream Mapping (VSM) を使っ
てタスクの入出力、成果物、所要時間、
待ち時間、戻り率、を洗い出している
ところ。
各チェックポイントでのレビューの結
果、手戻りすることが多いように見え
ます。

6. 6
出来上がったもの
Process Artifact
開始 終了

7. 7
出来上がったもの
Shorten the Lead time from Spec to DeliveryKGI
(Key Goal Indicator)
CSF
(Critical Success Factor,
仮説)
KPI
(Key Performance
Indicator)
Safer & Simpler Process
Less Re-Work Less Technical Debt Keep kaizen
Repay Debt
4 Project/Hagire
tickets/Quarter
Monthly Process
Review MTG
• 90%
participation ratio
• 3 hours
• 3 times/Quarter
リードタイム ＜ 50 日
(※ プロジェクトコス
ト ＜ 50万円のもの)
From: プロジェクトの
GOサインがでてから
To: 100% Release(SIN)
Less Return
Due to Known
check points
Better test
cases
<10% Project Draft
Return
<40% Release Judge
Return
(by Mar 2019)
QAバグ率 < 0.5 %
※QAバグ/QAケース

8. 8
数値化されたリードタイム

9. 9
設定された
リードタイム ＜ 50 日 (※ プロジェクトコスト ＜ 50万円のもの)

10. 10
数値化された
今の目標 QAバグ率 (バグ数/ケース数) < 0.5 %

11. 11
その後、毎月開いている、振り返り会にて
• リードタイムが目標を大きく下回っているケースの確認、改善策検討
• 自チームPMが早めに承認フローを回し、長期アイドリング
• → 適切なタイミングで承認フローを回そう！
• 他部署起因による、長期アイドリング。
• → 毎週進捗なしレポートは、いったんキャンセルして忘れよう！
• 突発対応、差し込み対応で後回しに案件があり、エンジニアが足りません。
• → 採用計画の調整！
• QAバグ率が目標を大きく下回っているケースの確認、改善策検討
• 各プロセスでの改善をエンジニア・PM間で建設的に話し合えている！
• 技術負債返済状況の確認、開発計画の見直し、返済
• 運用系の技術負債(e.g. 不要なアラート削除、適切なエラー制御を追加)を返
済し、開発に集中できるよう(リードタイムを短く)、エンジニアからの技術負
債返済の積極的提案が増えている！

12. 12
悩み、これからの課題
• 他にKPIもっと欲しい (QAは毎回やってないので)
• でもKPIは1個のほうがいいらしい
• 月1の振り返りだとちょっと忘れがち。。。もっと普段から意識できるもの？

13. 13
はタダじゃない
注意を払うことになる / You’re paying attention.
注意を払うなら、必要なものに注意を払いたい。
注意を払う必要のあるKPIは何か？
https://commons.wikimedia.org/wiki/File:Flight_engineer_station_of_Boeing_747-200_(PH-BUK)_at_Aviodrome_Lelystad.JPG

14. 14
グッドハートの法則
Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.
計測結果が目標となったら、計測自体が役に立たなくなる。
KPI自体を目標にしてしまったら、KPIは役立たずに
https://en.wikipedia.org/wiki/Boeing_747-8#/media/File:Boeing_747-8_flight_deck_Beltyukov.jpg
※一部トリミングしています

15. 15
いつKPIを止めるか？
KPIの変化、行動の変化、KGIの変化がなくなったとき
 KPI 行動を計測できていない
 KPI が行動の変化を促さない (注意をうばっているだけ)
 KGI が変化しない (仮説の間違い)
KPIの測定 見える化 行動の変化 CSFの達成 KGIの変化

16. 16
最後に
みなさんの事例・アイデアを後半の親睦会・
ディスカッションタイムで教えてください！
（大事なことなので繰返し）