Recommended
More Related Content
What's hot
What's hot (20)
More from logics-of-blue
More from logics-of-blue (18)
MICの解説
- 1. あたらしい相関係数 “MIC”の解説 名前：馬場真哉 Webサイト： logics of blue で検索！ http://logics-of-blue.com/ 1
- 3. 参考にした論文 Detecting Novel Associations in Large Data Sets Reshef, David N., et al. science 334.6062 (2011): 1518-1524. 3
- 9. 相関係数の一体何がすごいの？ Big Data の台頭 （論文の中ではLarge Data Setsと記載） 9
- 12. 発表の順序 ① MICって何？ ② MICで計測 ③実データで MIC 12
- 13. 13
- 14. MICでできること • 関係性の有無の検出 𝑅 2 とよく似た値 検定可能 • 散布図の形状が（大体）わかる MASなど別の指標も利用 14
- 19. マス目に合わせているかどうかの判別 MI を使用 Mutual Information ： 相互情報量 𝑰 𝑿; 𝒀 = 𝒑 𝒙, 𝒚 𝒑 𝒙, 𝒚 𝒍𝒐𝒈 𝒑 𝒙 𝒑 𝒚 19
- 20. マス目に合わせているかどうかの判別 MI を使用 Mutual Information ： 相互情報量 不確実性の減少量 不確実性とは？ 20
- 27. Reshef et al(2011) より転載 27
- 28. 線を増やしても 意味がない Reshef et al(2011) より転載して一部改編 28
- 29. おまけ • 線はサンプルサイズの0.6乗まで増やす • 線を増やしてもMIが増えるとは限らない • MIは最大値が１になるよう標準化 29
- 30. 結果 Reshef et al(2011) より転載して一部改編
- 32. MICの分類 MINE の一種 Maximum Information-based Nonparametric exploration 情報量最大化ベースのノンパラメトリックな探究 MINEの仲間たち MIC ・ MAS ・ MIC − 𝝆 𝟐 32
- 33. 散布図の「形」を見分ける指数 • MAS グリッドの本数をⅩとＹで逆にした時と 通常のMICの差の大きさ 単調性の指標 • 𝟐 MIC−𝝆 MICとピアソンの積率相関係数との差 非線形性の指標 33
- 34. ② MICで計測 34
- 35. Reshef et al(2011) より転載して一部改編 関数の形 35
- 36. Reshef et al(2011) より転載して一部改編 関数の形 全て識別できた 36
- 37. MIC VS 平滑化スプライン 散布図に滑らかな線を引く 平滑化スプラインの𝑹 𝟐 を使えば十分？ 37
- 38. Reshef et al(2011) より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 38
- 39. Reshef et al(2011) より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 MICは線が２本あってもOK 39
- 40. Reshef et al(2011) より転載して一部改編 MIC VS 通常のMI（相互情報量） MIC = 1 MIC = 0.6 MI = 1 MI = 0.5 40
- 41. Reshef et al(2011) より転載して一部改編 MIC MIC VS 通常のMI（相互情報量） 完璧！ MIC = 1 MIC = 0.6 MI にょろにょろに弱い MI = 1 MI = 0.5 41
- 44. Rでやってみた by Package “minerva” データ para <- 20 x2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) y2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) 結果 MIC = 1 普段使う「相関」とはやや趣が異なる様子 44
- 45. ③実データで MIC • WHOの社会データ • 腸内細菌叢データ （本当はもっとたくさんあるけど省略） 45
- 46. Reshef et al(2011) より転載して一部改編 成人女性の肥満度(％) 怪我による年間死亡数 WHOの社会データ （357個の変数・63546通りの組み合わせ） 1000人当たり歯医者の密度 相関なし 収入/人口 相関あり 46
- 48. Reshef et al(2011) より転載して一部改編 腸内細菌叢データ MIC−𝝆 𝟐 で細菌の共生関係を調べる OTU5948の密度(%) 非線形性の指標 OTU710の密度(%) 48