Download to read offline
感度・特異度・再現率など
- 1.
- 2. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 1 分類・予測 • 検査・分類したい対象がいくつかあって、それらを 簡単に判別・分類したいとします • 分類は「問題なし」と「問題あり」の 2種類とします 特定の病気の、あるいは種類は問わず病気の有無 –良品か、不良品か –本物か、偽物か 辛 たとえば、見た目は 同じなのに「激辛」 が混じっている飴玉
- 3. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 2 たとえば • たくさんのふつうの飴玉の中に、いくつか「激辛」 の飴玉が混ざっているとします 辛 辛 辛 辛 辛 辛 辛 辛
- 4. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 3 たとえば • 見た目ではまったく区別がつきません
- 5. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 4 「予測モデル」 • 何らかの方法 (= 予測モデル) で、飴玉を舐めずに 辛いか否かを推定したとします ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
- 6. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 5 「陽性」「陰性」 • 予測モデルで「辛い」と判定されたものを「陽性」 それ以外を「陰性」と呼びます ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 陽性 陰性 陽性 陰性 陰性 陰性 陰性 陰性 陽性 陽性 陽性 陽性 陽性 陽性 陽性陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性
- 7. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 6 当たり・はずれ • 完璧なモデルでないかぎり「当たり」「はずれ」が あります 辛 辛 辛 辛 辛 辛 辛 辛 陽性 陰性 陽性 陰性 陰性 陰性 陰性 陰性 陽性 陽性 陽性 陽性 陽性 陽性 陽性陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性
- 8. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 7 陽性・陰性 × 辛い・辛くない • 陽性か陰性かで 2パターン、それぞれ本当に辛いか 辛くない (甘い) かの 2パターン、計 4パターンに分 かれます 辛陽性 辛陰性 辛 陰性 陽性 甘 陽性 陰性
- 9. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 8 真陽性・真陰性、偽陽性・偽陰性 • 陽性であるべきものが「陽性」→ 真陽性 • 陽性であるべきものが「陰性」→ 偽陰性 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性 真 ＝ 当たり 偽 ＝ はずれ
- 10. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 9 偽陽性・偽陰性 • 偽陽性: 辛くないのに「辛い」と判定 • 偽陰性: 辛いのに「辛くない」と判定 陽性 陰性 辛 甘 偽陽性 偽陰性
- 11. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 10 モデルの分類(予測) 精度の指標 • 正確度 (accuracy)、感度 (再現率、recall)、特異度 (specificity)、 適合度 (精度、precision) など 注目点の違う指標がいろいろ ある 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性
- 12. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 11 正確度 accuracy • 全体の「当たり」「はずれ」の割合 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性 全体 (の数) 真陽性 真陰性+
- 13. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 12 感度、再現率 recall • 「問題あり」を見逃さない割合 ※全部を「陽性」と言えば 100%になる 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性 真陽性 真陽性 偽陰性+ 「辛」の数
- 14. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 13 特異度 specificity • 「問題なし」を捨てない (問題ありとしない) 割合 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性 偽陽性 真陰性+ 「甘」の数 真陰性
- 15. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 14 適合度 (適合率)、精度 precision • 「陽性」と判定したものが正解である割合 陽性 陰性 辛 甘 真陽性 偽陽性 真陰性偽陰性 真陽性 偽陽性+ 「陽性」の数 真陽性
- 16. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 15 例 • 先程のこれだと…? 辛 辛 辛 辛 辛 辛 辛 辛 陽性 陰性 陽性 陰性 陰性 陰性 陰性 陰性 陽性 陽性 陽性 陽性 陽性 陽性 陽性陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性 陰性
- 17. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 16 例 陽性 陰性 辛 甘 真陽性: 6 偽陽性: 3 真陰性: 14偽陰性: 2 感度: 6 6 + 2 = 75% 正確度: 6 + 14 25 = 80% 特異度: 14 3 + 14 = 82% 適合度: 6 6 + 3 = 67%
- 18. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 17 例: ちょっと陽性を出やすくしてみた 陽性 陰性 辛 甘 真陽性: 7 偽陽性: 5 真陰性: 12偽陰性: 1 感度: 7 7 + 1 = 88% 正確度: 7 + 12 25 = 76% 特異度: 12 5 + 12 = 71% 適合度: 7 7 + 5 = 58% 正確度は下がるが 見逃しは減る (+1) (-1) (+2) (-2)
- 19. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 18 例: 全部「陽性!」としてしまうと… 陽性 陰性 辛 甘 真陽性: 8 偽陽性: 17 真陰性: 0偽陰性: 0 感度: 8 8 + 0 =100% 正確度: 8 + 0 25 = 32% 特異度: 0 17 + 0 = 0% 適合度: 8 8 + 17 = 32% バランス、大事
- 20. マスター タイトルの書式設定 All RightsReserved. Copyright ⓒ CRESCO LTD. 19 まとめ 全体 (の数) 真陽性 真陰性+ 正確度 accuracy 全体の当たり/はずれ 真陽性 真陽性 偽陰性+ 「問題あり」の数 感度、再現率 recall 「問題あり」を見逃さない割合 偽陽性 真陰性+ 「問題なし」の数 真陰性 特異度 specificity 「問題なし」を捨てない 真陽性 偽陽性+ 「陽性」の数 真陽性 適合度、精度 precision 「陽性」の信頼度