りふ 22/6/17 NINNO Tech Fest #7

1. バグなんて見逃しちゃえ
りふ
22/6/17 NINNO Tech Fest #7
J
S
T
Q
B
テ ス ト の 7 原 則
V 字 モ デ ル
バ
グ
フ
ィ
ル
タ
監 視
可 観 測 性
D
e
v
O
p
s
observability

2. 皆 さ ん 、 シ ス テ ム 開 発 に
詳 し い 前 提 で お 話 し し ま す
N I N N O （ テ ク ノ ロ ジ ー の プ ロ で イ ノ ベ ー シ
ョ ン を 起 こ す 場 ） で す か ら ね

3. こ の 絵 を 見 た こ と あ る 方
い ま す か ？

4. K a t r i n a C l o k i e / B u g F i l t e r
4
🎬後日に翻訳したものを
Y o u T u be を公開！
💡網目が大きくなる 💡バグが成長している

5. で は 、
こ ち ら は い か が で し ょ う ？

6. V 字 モ デ ル
6

7. バ グ は 内 容 に よ っ て 見 つ け る べ き タ イ ミ ン グ が 違 う
 “ バ グ フ ィ ル タ ー ” と ” V 字 モ デ ル ” は 似 て い る
 バ グ フ ィ ル タ ー に は 、 3 つ が 追 加 さ れ て い る （ 後 半 で お 話 し ）
 バ グ フ ィ ル タ ー は 、 上 か ら バ グ を ふ る い に か け て い く
7
メソッドやクラス
画 面 間 の パ ラ メ ー タ 引 き渡 し
ユーザーの導線に着目
後半でお話し

8. バ グ を 見 逃 す と ど れ く ら い コ ス ト か か る
の ？

9. 試 算 し た

10.  I P A が 出 し た シ ス テ ム 開 発 に お け る 1 件 の バ グ の コ ス ト
 工 程 よ っ て バ グ 対 応 の コ ス ト が 違 い 、 基 本 設 計 を 1 と し た ら 何 倍 に な る か
 稼 働 後 の バ グ は 1 件 あ た り 「 2 4 0 万 円 」
「 コ ス ト モ デ ル 」 を 使 っ た 開 発 品 質 ・ 生 産 性 向 上 の 取 組 み
1 0

11. た っ か い （ ワ イ の 年 収 分 や … ）

12. も っ と 怖 い バ グ の コ ス ト が
あ る

13. 社 会 的 信 用 の 失 墜
 コ ス ト 試 算 は 難 し い が 、 大 き い 企 業 だ と 「 億 」 は 超 え る
 シ ス テ ム を 使 お う か な ？ と 思 っ て い た ユ ー ザ ー が 使 用 ぜ す 、 売 り 上 げ を 失 う
 潜 在 顧 客 を 失 う
1 3
社会的信用の失墜
∞
億

14. ど う す れ ば い い の ？

15. J S T Q B
✓テ ス ト の 7 原 則
早 期 テ ス ト で 時 間 と コ ス ト を 節 約

16. ✓ テ ス ト の 7 原 則 早 期 テ ス ト で 時 間 と コ ス ト を 節 約
 早 期 は 、 設 計 工 程 を 含 む
 シ ス テ ム が 動 か せ な い と テ ス ト で き な い は 思 い 込 み
 テ ス ト 手 段 は J S T Q B の シ ラ バ ス へ
1 6
社会的信用の失墜
∞
億
な る べ く 早 く テ ス ト を す る
ここでもテストできる

17. こ わ い な … ち ゃ ん と 全 部 テ ス ト し よ

18. J S T Q B
✓テ ス ト の 7 原 則
全 数 テ ス ト は 不 可 能

19. ✓ テ ス ト の 7 原 則 全 数 テ ス ト は 不 可 能
 す べ て の テ ス ト は す る こ と は 不 可 能 で あ る
 下 の 例 だ と 、 す べ て を 組 み 合 わ せ る と 、 1 2 5 0 通 り
 機 能 は 、 も っ と あ る
1 9
機 能
×
ブ ラ ウザ
×
O S 種類
×
O S v e r
×
画 面 サイズ
ログイン C h r o m e i O S 1 4 4
ログアウト S a f a r i A n d r o id 1 5 4 . 7
作成 F i r e f ox 1 6 5 . 5
更新 O p e r a 8 5 . 8
削除 L I N E 9 6 . 1
1250通り

20. 無 理 や …

21. し か し 、
巧 妙 な バ グ は 必 ず い る

22. 完 璧 な 人 間 な ん て い な い
 あ る 組 み 合 わ せ だ け で 、 発 生 す る 忍 者 の よ う な 巧 妙 な バ グ は い る
 こ れ を 見 逃 す と 、 社 会 的 信 用 の 失 墜 に 繋 が る
2 2
機 能
×
ブ ラ ウザ
×
O S 種類
×
O S v e r
×
画 面 サイズ
ログイン C h r o m e i O S 1 4 4
ログアウト S a f a r i A n d r o id 1 5 4 . 7
作成 F i r e f ox 1 6 5 . 5
更新 O p e r a 8 5 . 8
削除 L I N E 9 6 . 1

23. ど う す る の ？

24. そ ん な の 見 逃 し て く だ さ い
す ま ん な

25. リ リ ー ス し た い v s リ リ ー ス で き な い
 “ 早 く ” リ リ ー ス が で き な い と 、 社 会 的 信 用 の 失 墜 と 同 じ コ ス ト が 発 生 す る
 リ リ ー ス し て い な い 期 間 は 、 そ の 期 間 で 手 に 入 る 売 り 上 げ を 逃 す
 お 互 い に 、 デ ッ ド ロ ッ ク が か か っ て い る
2 5
早くリリースしないと
売り上げを逃がす
ど っ ち が 重 い の ？
いっぱいテストしないと
社会的信用を失墜する

26. ど っ ち が コ ス ト 大 き い の ？

27. 分 か ら な い よ

28. け ど 、 社 会 的 信 用 の 失 墜 を 小 さ く で き る

29. ど う や っ て ？

30. バ グ は 、 す ぐ 見 つ け て
す ぐ 直 す
（ リ リ ー ス 後 で も ）

31. 早 く 見 つ け て 、 早 く 直 す
 社 会 的 信 用 の 失 墜 に も 段 階 が あ る
 バ グ が 影 響 す る ユ ー ザ ー 数 が 小 さ け れ ば 、 コ ス ト は 小 さ く で き る
 ユ ー ザ ー 数 は 、 バ グ が 発 生 し て い る 時 間 に 比 例 す る
3 1

32. ど う や っ て す ぐ 見 つ け る の ？

33. A L E R T I N G

34. こ こ か ら は 後 半 戦
 最 初 に 出 て き た バ グ フ ィ ル タ ー に 話 を 移 す
 話 す ： A L E R T I N G （ ア ラ ー テ ィ ン グ ） 、 M O N I T O R I N G （ モ ニ タ リ ン グ ）
 話 さ な い ： L O G G I N G （ ロ ギ ン グ ）
3 4

35. A L E R T I N G
 A L E R T I N G は 、 想 定 外 の エ ラ ー を 検 知 す る
 テ ス ト 工 程 で 見 逃 し て し ま っ た バ グ を 見 つ け る フ ィ ル タ ー の 役 割
 エ ラ ー 処 理 は 適 切 に
3 5
想定外のエラーを検知
T r y で
C a t c h して
E x c e p tio n を
t h r o w しなよ
な ん か 危 な い よ ！

36. ど う や っ て す ぐ 直 す の ？

37. C I / C D

38. 自 動 化 で き る と こ ろ は 自 動 化
 C I / C D は 定 常 作 業 を 自 動 化 す る こ と が 目 的
 特 に 、 デ プ ロ イ （ リ リ ー ス ） は ヒ ト の 手 だ と ミ ス す る の で 自 動 化 最 優 先
 す ぐ 見 つ け て す ぐ 直 し て も 、 リ リ ー ス す る 時 間 が 長 い と 意 味 が な い
3 8

39. 一 安 心

40. J S T Q B
✓テ ス ト の 7 原 則
バ グ ゼ ロ の 落 と し 穴

41. バ グ に も 色 々 あ る
 バ グ を 発 生 さ せ な い た め に 、 ユ ー ザ ー の 期 待 値 を 下 げ て い な い か
4 1

42. ど う す れ ば 期 待 を 満 た せ る の ？

43. ア ン ケ ー ト
ユ ー ザ ー ヒ ア リ ン グ

44. な る ほ ど 、
ユ ー ザ ー に 直 接 聞 け ば 良 い よ ね

45. が 、 そ れ は ダ メ

46. ユ ー ザ ー は 、 困 っ た ち ゃ ん
 ユ ー ザ ー （ 人 ） は 、 自 分 の 期 待 を 正 確 に は 伝 え ら れ な い
 し か も 、 設 計 書 の 行 間 を 読 ん で ほ し い 、 察 し て チ ャ ン
4 6
言 わ な く て も
分 か る で し ょ
ほ ん と は 、 こ っ ち だ っ た け ど
伝 わ ら な か っ た …

47. ど う や っ て 期 待 を 吸 い 上 げ る の さ ？
（ 察 す る の さ ）

48. M O N I T O R I N G

49. デ ー タ は 嘘 を つ か な い
 M O N I T O R I N G は 、 ロ グ か ら ユ ー ザ ー の 行 動 デ ー タ を 蓄 積 す る
 デ ー タ か ら は 、 ” ユ ー ザ ー が シ ス テ ム を ど の よ う に 使 用 し て い る か ” を 定 量 で 分 か る
 デ ー タ か ら は 、 ユ ー ザ ー の 察 し て … ？ が 分 か る
4 9
ユーザーの行動を蓄積
M e t r i cs
E v e n t s
L o g s
T r a c e s
A / B テスト

50. 可観測性・observability
の 1 つ

51. ま と め
と い う な の 宣 伝

52. J a S S T ’ 2 2 N i i g a t a を 2 0 2 2 年 7 月 8 日 （ 金 ） に N I N N O で 開 催
 テ ー マ は 、 ” 可 観 測 性 ・ o b s e r v a b i l i t y ”
 基 調 講 演 は ” A u t i f y C T O 松 浦 様 ”
 G i t h u b で エ ン ジ ニ ア を 経 験 さ れ て 、 オ ラ イ リ ー の “ 入 門 監 視 ” の 翻 訳 も 手 が け た
 f r e e e の ク ラ ウ ド 障 害 訓 練 の 舞 台 裏 を ” 人 間 性 ” を 交 え て 発 表
 S R E と Q A の 交 わ り 方
5 2

53. 新 人 の 方 へ
（ J a S S T に 参 加 し て ） ち ょ っ ぴ り
テ ス ト の 世 界 を 広 げ み ま せ ん か ？
会 社 の 方 へ
後 押 し し て く れ ま せ ん か ？

54. a p p e n d i x
 h t t p s : / / c h o j u g i g a . c o m /
 h t t p s : / / w w w . i r a s u t o y a . c o m /
 h t t p s : / / l e a n p u b . c o m / t e s t i n g i n d e v o p s
 h t t p s : / / s y s t e m - k a n j i . c o m / p o s t s / v - m o d e l
 h t t p s : / / w w w . i p a . g o . j p /
 h t t p s : / / w w w . i p a . g o . j p / f i l e s / 0 0 0 0 4 9 4 0 4 . p d f
 h t t p s : / / j s t q b . j p
 h t t p s : / / j s t q b . j p / d l / J S T Q B - S y l l a b u s F o u n d a t i o n _ V e r s i o n 2 0 1 8 V 3 1 . J 0 3 . p d f
 h t t p s : / / t o g e t t e r . c o m / l i / 1 7 7 1 4 3 6
 h t t p s : / / n e w r e l i c . c o m / j p / b l o g / h o w - t o - r e l i c / m e t r i c s - e v e n t s - l o g s - a n d - t r a c e s
 h t t p s : / / w w w . j a s s t . j p / s y m p o s i u m / j a s s t 2 2 n i i g a t a . h t m l
 h t t p s : / / w w w . o r e i l l y . c o . j p / b o o k s / 9 7 8 4 8 7 3 1 1 8 6 4 2 /
 h t t p s : / / w w w . i t m e d i a . c o . j p / n e w s / a r t i c l e s / 2 2 0 3 / 1 7 / n e w s 0 3 8 . h t m l
5 4