Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
logics-of-blue
56,626 views
MICの解説
だいぶ前に大学で発表したMICの解説スライドです。 サイト作ってます。 http://logics-of-blue.com/
Technology
◦
Read more
68
Save
Share
Embed
Embed presentation
1
/ 49
2
/ 49
3
/ 49
4
/ 49
Most read
5
/ 49
6
/ 49
7
/ 49
8
/ 49
9
/ 49
10
/ 49
11
/ 49
12
/ 49
13
/ 49
14
/ 49
15
/ 49
16
/ 49
17
/ 49
18
/ 49
19
/ 49
20
/ 49
21
/ 49
22
/ 49
23
/ 49
24
/ 49
25
/ 49
26
/ 49
27
/ 49
28
/ 49
29
/ 49
30
/ 49
31
/ 49
32
/ 49
Most read
33
/ 49
34
/ 49
35
/ 49
36
/ 49
37
/ 49
38
/ 49
39
/ 49
40
/ 49
41
/ 49
Most read
42
/ 49
43
/ 49
44
/ 49
45
/ 49
46
/ 49
47
/ 49
48
/ 49
49
/ 49
More Related Content
PDF
関数データ解析の概要とその方法
by
Hidetoshi Matsui
PDF
グラフィカル Lasso を用いた異常検知
by
Yuya Takashina
PDF
MIRU2016 チュートリアル
by
Shunsuke Ono
PDF
スペクトラル・クラスタリング
by
Akira Miyazawa
PDF
4 データ間の距離と類似度
by
Seiichi Uchida
PDF
PRML Chapter 14
by
Masahito Ohue
PDF
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
by
narumikanno0918
PDF
情報処理学会2024年度関西支部定期講演会 未来のヘルスケアを支えるAI:大規模言語モデルの応用と課題
by
Shoko Wakamiya
関数データ解析の概要とその方法
by
Hidetoshi Matsui
グラフィカル Lasso を用いた異常検知
by
Yuya Takashina
MIRU2016 チュートリアル
by
Shunsuke Ono
スペクトラル・クラスタリング
by
Akira Miyazawa
4 データ間の距離と類似度
by
Seiichi Uchida
PRML Chapter 14
by
Masahito Ohue
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
by
narumikanno0918
情報処理学会2024年度関西支部定期講演会 未来のヘルスケアを支えるAI:大規模言語モデルの応用と課題
by
Shoko Wakamiya
What's hot
PDF
21世紀の手法対決 (MIC vs HSIC)
by
Toru Imai
PPTX
ようやく分かった!最尤推定とベイズ推定
by
Akira Masuda
PDF
『バックドア基準の入門』@統数研研究集会
by
takehikoihayashi
PDF
グラフィカルモデル入門
by
Kawamoto_Kazuhiko
PDF
階層ベイズによるワンToワンマーケティング入門
by
shima o
PPTX
ベイズファクターとモデル選択
by
kazutantan
PDF
GAN(と強化学習との関係)
by
Masahiro Suzuki
PDF
Nagoya.R #12 非線形の相関関係を検出する指標の算出
by
Yusaku Kawaguchi
PDF
心理学におけるベイズ統計の流行を整理する
by
Hiroshi Shimizu
PDF
道具としての機械学習:直感的概要とその実際
by
Ichigaku Takigawa
PDF
機械学習モデルの判断根拠の説明
by
Satoshi Hara
PDF
統計的因果推論 勉強用 isseing333
by
Issei Kurahashi
PDF
階層モデルの分散パラメータの事前分布について
by
hoxo_m
PDF
因果探索: 観察データから因果仮説を探索する
by
Shiga University, RIKEN
PDF
統計的因果推論への招待 -因果構造探索を中心に-
by
Shiga University, RIKEN
PDF
Active Learning 入門
by
Shuyo Nakatani
PDF
Deep Learning Lab 異常検知入門
by
Shohei Hido
PDF
因果探索: 基本から最近の発展までを概説
by
Shiga University, RIKEN
PDF
ベイズ推定の概要@広島ベイズ塾
by
Yoshitake Takebayashi
PDF
coordinate descent 法について
by
京都大学大学院情報学研究科数理工学専攻
21世紀の手法対決 (MIC vs HSIC)
by
Toru Imai
ようやく分かった!最尤推定とベイズ推定
by
Akira Masuda
『バックドア基準の入門』@統数研研究集会
by
takehikoihayashi
グラフィカルモデル入門
by
Kawamoto_Kazuhiko
階層ベイズによるワンToワンマーケティング入門
by
shima o
ベイズファクターとモデル選択
by
kazutantan
GAN(と強化学習との関係)
by
Masahiro Suzuki
Nagoya.R #12 非線形の相関関係を検出する指標の算出
by
Yusaku Kawaguchi
心理学におけるベイズ統計の流行を整理する
by
Hiroshi Shimizu
道具としての機械学習:直感的概要とその実際
by
Ichigaku Takigawa
機械学習モデルの判断根拠の説明
by
Satoshi Hara
統計的因果推論 勉強用 isseing333
by
Issei Kurahashi
階層モデルの分散パラメータの事前分布について
by
hoxo_m
因果探索: 観察データから因果仮説を探索する
by
Shiga University, RIKEN
統計的因果推論への招待 -因果構造探索を中心に-
by
Shiga University, RIKEN
Active Learning 入門
by
Shuyo Nakatani
Deep Learning Lab 異常検知入門
by
Shohei Hido
因果探索: 基本から最近の発展までを概説
by
Shiga University, RIKEN
ベイズ推定の概要@広島ベイズ塾
by
Yoshitake Takebayashi
coordinate descent 法について
by
京都大学大学院情報学研究科数理工学専攻
More from logics-of-blue
PDF
予測理論とpredictability
by
logics-of-blue
PDF
2 7.一般化線形混合モデル
by
logics-of-blue
PDF
2 6.ゼロ切断・過剰モデル
by
logics-of-blue
PDF
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
by
logics-of-blue
PDF
2 5 2.一般化線形モデル色々_ロジスティック回帰
by
logics-of-blue
PDF
2 5 1.一般化線形モデル色々_CPUE標準化
by
logics-of-blue
PDF
2 4.devianceと尤度比検定
by
logics-of-blue
PDF
2 3.GLMの基礎
by
logics-of-blue
PDF
2 2.尤度と最尤法
by
logics-of-blue
PDF
2 1.予測と確率分布
by
logics-of-blue
PDF
1 8.交互作用
by
logics-of-blue
PDF
1 7.Type II ANOVA
by
logics-of-blue
PDF
1 6.変数選択とAIC
by
logics-of-blue
PDF
1 5.パラメトリックブートストラップ検定と確率分布
by
logics-of-blue
PDF
1 4.回帰分析と分散分析
by
logics-of-blue
PDF
1 3.分散分析 anova
by
logics-of-blue
PDF
1 2.t検定
by
logics-of-blue
PDF
1 1.はじめに
by
logics-of-blue
予測理論とpredictability
by
logics-of-blue
2 7.一般化線形混合モデル
by
logics-of-blue
2 6.ゼロ切断・過剰モデル
by
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
by
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
by
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
by
logics-of-blue
2 4.devianceと尤度比検定
by
logics-of-blue
2 3.GLMの基礎
by
logics-of-blue
2 2.尤度と最尤法
by
logics-of-blue
2 1.予測と確率分布
by
logics-of-blue
1 8.交互作用
by
logics-of-blue
1 7.Type II ANOVA
by
logics-of-blue
1 6.変数選択とAIC
by
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
by
logics-of-blue
1 4.回帰分析と分散分析
by
logics-of-blue
1 3.分散分析 anova
by
logics-of-blue
1 2.t検定
by
logics-of-blue
1 1.はじめに
by
logics-of-blue
Recently uploaded
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
by
Tasuku Takahashi
PDF
エンジニアが選ぶべきAIエディタ & Antigravity 活用例@ウェビナー「触ってみてどうだった?Google Antigravity 既存IDEと...
by
NorihiroSunada
PPTX
楽々ナレッジベース「楽ナレ」3種比較 - Dify / AWS S3 Vector / Google File Search Tool
by
Kiyohide Yamaguchi
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
by
Tasuku Takahashi
PDF
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
by
Masaki Yamakawa
PDF
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
by
Evolve LLC.
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
by
Tasuku Takahashi
エンジニアが選ぶべきAIエディタ & Antigravity 活用例@ウェビナー「触ってみてどうだった?Google Antigravity 既存IDEと...
by
NorihiroSunada
楽々ナレッジベース「楽ナレ」3種比較 - Dify / AWS S3 Vector / Google File Search Tool
by
Kiyohide Yamaguchi
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
by
Tasuku Takahashi
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
by
Masaki Yamakawa
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
by
Evolve LLC.
MICの解説
1.
あたらしい相関係数 “MIC”の解説 名前:馬場真哉 Webサイト: logics of
blue で検索! http://logics-of-blue.com/ 1
2.
Caution! 私の主観的な見方で読み解いたものです 正確な表現ではないかもしれません 「分かり易さ」を最重視しました。 2
3.
参考にした論文 Detecting Novel Associations
in Large Data Sets Reshef, David N., et al. science 334.6062 (2011): 1518-1524. 3
4.
どんな論文? 相関係数の論文です 相関なし 相関あり 4
5.
地味な研究に見えますか? 実はとってもすごい相関係数の論文です! どこがすごいの・・・? 5
6.
①Scienceに載った 6
7.
②Scienceに推薦論文が載った 7
8.
③たくさん引用された 4.3 日 回 被引用件数132(byGoogle,2013年7月2日時点) 発表されてから570日経過(2013年7月8日現在) 8
9.
相関係数の一体何がすごいの? Big Data の台頭 (論文の中ではLarge Data
Setsと記載) 9
10.
データの構造はグラフで分かる? 変数 組み合わせ 10 個 100 45通り 4950 個 1000 個 通り 499500 通り 10
11.
2変数間の関係性の指標を提示します MIC (Maximum Information Coefficient) 11
12.
発表の順序 ① MICって何? ② MICで計測 ③実データで
MIC 12
13.
13
14.
MICでできること • 関係性の有無の検出 𝑅 2
とよく似た値 検定可能 • 散布図の形状が(大体)わかる MASなど別の指標も利用 14
15.
MICの考え方:相関があるとは? X X 相関なし 相関あり 15
16.
MICの考え方:相関があるとは? X X 相関なし 相関あり 16
17.
MICの哲学 もしも2つの変数間に相関があるなら データを要約するように データを分割するグリッドを引ける 17
18.
マス目関係なし 全てのマスのうち 7マスにしかデータがない 相関なし 相関あり 18
19.
マス目に合わせているかどうかの判別 MI を使用 Mutual Information
: 相互情報量 𝑰 𝑿; 𝒀 = 𝒑 𝒙, 𝒚 𝒑 𝒙, 𝒚 𝒍𝒐𝒈 𝒑 𝒙 𝒑 𝒚 19
20.
マス目に合わせているかどうかの判別 MI を使用 Mutual Information
: 相互情報量 不確実性の減少量 不確実性とは? 20
21.
どこの箱にデータが入っている? 左 真 右 不確実性 ① 大 ② 中 ③ 小 21
22.
ⅩによってYの不確実性は減少したか? 左 真 右 ? ? ? MI低 X 左 真 右 下 上 中 X MI高 22
23.
MI低 左 真 MI高 右 X 左 真 右 X マス目関係なし マス目に収まった! 相関なし 相関あり 23
24.
今までのまとめ~相関が得られるまで~ マス目 データを要約する マス目が引けたか 判別する MI 24
25.
MICの哲学 もしも2つの変数間に相関があるなら データを要約するように データを分割できるグリッドを引ける どうやって線を引く? 最大情報量規準 25
26.
ダメな分け方 左 右 ? 良い分け方 ? X 情報量増えてない 左 右 ? 下 X ちょっとわかった! 26
27.
Reshef et al(2011)
より転載 27
28.
線を増やしても 意味がない Reshef et al(2011)
より転載して一部改編 28
29.
おまけ • 線はサンプルサイズの0.6乗まで増やす • 線を増やしてもMIが増えるとは限らない •
MIは最大値が1になるよう標準化 29
30.
結果 Reshef et al(2011)
より転載して一部改編
31.
MICの特徴 • 0~1の間に収まる 𝑅2 とよく似た値 • 完全な関数形なら必ず1 • 検定できる(シミュレーションの利用) • X~YもY~Xも同じ値になる(対称) 31
32.
MICの分類 MINE の一種 Maximum Information-based
Nonparametric exploration 情報量最大化ベースのノンパラメトリックな探究 MINEの仲間たち MIC ・ MAS ・ MIC − 𝝆 𝟐 32
33.
散布図の「形」を見分ける指数 • MAS グリッドの本数をⅩとYで逆にした時と 通常のMICの差の大きさ 単調性の指標 • 𝟐 MIC−𝝆 MICとピアソンの積率相関係数との差 非線形性の指標 33
34.
② MICで計測 34
35.
Reshef et al(2011)
より転載して一部改編 関数の形 35
36.
Reshef et al(2011)
より転載して一部改編 関数の形 全て識別できた 36
37.
MIC VS 平滑化スプライン 散布図に滑らかな線を引く 平滑化スプラインの𝑹
𝟐 を使えば十分? 37
38.
Reshef et al(2011)
より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 38
39.
Reshef et al(2011)
より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 MICは線が2本あってもOK 39
40.
Reshef et al(2011)
より転載して一部改編 MIC VS 通常のMI(相互情報量) MIC = 1 MIC = 0.6 MI = 1 MI = 0.5 40
41.
Reshef et al(2011)
より転載して一部改編 MIC MIC VS 通常のMI(相互情報量) 完璧! MIC = 1 MIC = 0.6 MI にょろにょろに弱い MI = 1 MI = 0.5 41
42.
MIC はなぜ「にょろにょろ」に強いの? Ans. 各々の箱の中は結構不確実 MICは箱の中のばらつきを考慮しないから 42
43.
やや論文から離れますが・・・ 箱の中のばらつきを考慮しなくて大丈夫? MICはどうなる? 43
44.
Rでやってみた by Package
“minerva” データ para <- 20 x2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) y2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) 結果 MIC = 1 普段使う「相関」とはやや趣が異なる様子 44
45.
③実データで MIC • WHOの社会データ •
腸内細菌叢データ (本当はもっとたくさんあるけど省略) 45
46.
Reshef et al(2011)
より転載して一部改編 成人女性の肥満度(%) 怪我による年間死亡数 WHOの社会データ (357個の変数・63546通りの組み合わせ) 1000人当たり歯医者の密度 相関なし 収入/人口 相関あり 46
47.
腸内細菌叢データ MIC−𝝆 𝟐 で細菌の共生関係を調べる B種 B種 A種 A種 線形 非線形 共存 非共存 47
48.
Reshef et al(2011)
より転載して一部改編 腸内細菌叢データ MIC−𝝆 𝟐 で細菌の共生関係を調べる OTU5948の密度(%) 非線形性の指標 OTU710の密度(%) 48
49.
Big Data MIC MICはBig Data解析に便利……かも。 49