SlideShare a Scribd company logo
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
.
......
21 世紀の手法対決
@motivic
第 33 回 R 勉強会@東京
2013 年 8 月 31 日
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
目次
...1 はじめに
自己紹介
...2 21 世紀の手法対決
20 世紀の独立性を見つける方法の限界
21 世紀の相関:MIC
21 世紀の検定:HSIC test
いざ勝負!
...3 参考
参考文献
参考 HP
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
自己紹介
twitter ID:@motivic
職業:研究室に住む妖精
研究分野



代数統計 (代数幾何)
情報幾何
トポロジカルデータ解析



を用いた



医療統計
疫学
因果推論



統計ゆるふわ勢
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
はじめに
注意
本日の話では交絡(擬似相関)は避けられていると仮定
ただし、本日の議論を交絡がある場合に拡張することも可能
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
変数の独立性
.
変数同士が U 字型の関連を持つ場合の独立性検定
..
......
U 字型の相関係数はかなり小さい
普通の独立性検定をすると、独立と判定される
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
線形から非線形へ
.
従来法
..
......
Pearson の相関係数は線形的な関係を見るもの
順位相関係数は単調的な関係を見るもの
非線形な関係を見るためには離散化する必要があった
しかし離散化に恣意性が入る
 
.
線形から非線形へ
..
...... 非線形の関係をうまく捉える方法が出てきた!
 
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
21世紀の相関係数:MIC
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
21 世紀の相関:MIC(Reshef et al, 2011)
..
......
2011 年に Science 誌に 21 世紀の相関係数なんて呼ばれるも
のが出てきた
これを使えば非線形な関連も捉えられる
アイデアとしては、従来の離散化には恣意性があったので、
ありうる全ての離散化をして計算すればいいじゃん、という
レベルを上げて物理で殴ればいい的な考え
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
 
.
MIC(Maximal Information Coefficient) の計算
..
......
x × y < n0.6
を満たす全ての x × y の離散化を考える
各分割で正規化した相互情報量が高い分割点を網羅的に探索
全分割の中で正規化した相互情報量が最大のものを選ぶ
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
21 世紀の相関:MIC(Maximal Information Coefficient)
.
R で MIC を計算するパッケージ
..
......
minerva というパッケージで MIC が計算できる。
cars データ (車の速さと停止距離のデータ) で MIC を計算してみ
ると、
>library(minerva)
>mine(cars)$MIC[1,2]
[1] 0.666265
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
21世紀の検定:HSIC test
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
みんな大好き!
再生核ヒルベルト空間!
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
.
再生核ヒルベルト空間を用いた独立性検定
..
......
再生核ヒルベルト空間を用いたノンパラメトリックな独立性
検定 (HSIC test, Hilbert-Schmidt Independence Criterion test)
なんてものもある (Gretton et al, 2005, 2010)
これを使っても非線形な関連を見つけられる
アイデアとしては、データを再生核ヒルベルト空間に移し
て、その中で関係性を見るというハイソなやり方
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
x
x
i
j
k( , )
k( , )
xi
jx
Hx
ガウスカーネル kG(x, y) = exp
(
−
1
2σ2
||x − y||2
)
ラプラスカーネル kL (x, y) = exp

−β
n∑
i=1
|xi − yi|

   など
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
x
x
i
j
k( , )
k( , )
xi
jx
Hx
y
y
i
j
k( , )
k( , )
yi
jy
Hy
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
x
x
i
j
k( , )
k( , )
xi
jx
Hx
y
y
i
j
k( , )
k( , )
yi
jy
Hy
Σyx
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
.
定理
..
......
< ΣYX f, g >HY
= E[f(X)g(Y)] − E[f(X)]E[g(Y)]
を満たす ΣYX が一意的に存在する。
HYX := ∥ΣYX ∥2
HS
 
としたとき(∥ · ∥HS は Hilbert-Schmidt ノルム)、カーネルが特性
的であれば、
X ⊥⊥ Y ⇔ HYX = 0  
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
HSIC(Hilbert-Schmidt Independence Criterion) test
.
R での計算
..
......
実装は Rcpp でしています
Rcpp については第 29 回 R 勉強会@東京の大仏様の資料がお
ススメ!
http://www.slideshare.net/teramonagi/tokyor-rcpp-16709700
具体的なコードの公開は HSIC を応用した論文を書くまでお
待ちを
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
2つの手法の勝負!
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
U 字型の関連を持つものにノイズを加えたもの
この関連をどれだけ捉えられるかの検出力で比較する
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
線形の関連を持つものにノイズを加えたもの
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
指数型の関連を持つものにノイズを加えたもの
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
 
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
MIC vs HSIC
.
まとめ
..
......
MIC は U 字型の関係ではそこそこ良いが、線形的や単調な関
係に対してはノイズが入ると検出力がかなり落ちる
HSIC は非線形の関係も捉えつつ、線形的や単調的な場合も
従来法並みの検出力がある
 
.
判定
..
...... HSICの勝ち!
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
GMIC vs MIC vs HSIC
.
GMIC について
..
......
今週 GMIC という MIC の検出力の低さを改善させた論文のプ
レプリントで出てました
論文を読んでみたところ検出力は
HSIC >>> GMIC > MIC
となりそうなので、やっぱり HSIC がスゴイ
 
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
参考文献
Reshef, D. N., Reshef, Y. A., Finucane, H. K., Grossman, S. R.,
McVean, G., Turnbaugh, P. J., Lander, E. S., Mitzenmacher, M.,
Sabeti, P.C.(2011). Detecting Novel Associations in Large Data
Sets, Science 334 (6062), 1518-1524
Gretton, A., Bousquet, O., Smola, A., and Schoelkopf, B.(2005).
Measuring Statistical Dependence with Hilbert-Schmidt Norms, MPI
for Biological Cybernetics (140)
Gretton, A. and Gyorfi, L.(2010) Consistent Nonparametric Tests of
Independence, Journal of Machine Learning Research, 11 ,
pp.1391–1423
@motivic 21 世紀の手法対決
.
はじめに
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21 世紀の手法対決
. .
参考
参考 HP
MIC について
Take a Risk:林岳彦の研究メモ − 2013-04-26
”相関”の話&そのついでに”21 世紀の相関 (MIC)”の話
http://d.hatena.ne.jp/takehiko-i-hayashi/20130426/1366948560
HSIC について
統数研の福水先生の HP にある色々な資料
http://www.ism.ac.jp/˜ fukumizu/
@motivic 21 世紀の手法対決

More Related Content

What's hot

PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化Miyoshi Yuya
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
 
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向についてLong-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Plot Hong
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
 
最適化超入門
最適化超入門最適化超入門
最適化超入門
Takami Sato
 
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
 
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38horihorio
 
潜在クラス分析
潜在クラス分析潜在クラス分析
潜在クラス分析
Yoshitake Takebayashi
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!takehikoihayashi
 
変数同士の関連_MIC
変数同士の関連_MIC変数同士の関連_MIC
変数同士の関連_MIC
Shushi Namba
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
joisino
 
工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方
ychtanaka
 
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
 

What's hot (20)

PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向についてLong-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
 
最適化超入門
最適化超入門最適化超入門
最適化超入門
 
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
 
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
 
潜在クラス分析
潜在クラス分析潜在クラス分析
潜在クラス分析
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
 
変数同士の関連_MIC
変数同士の関連_MIC変数同士の関連_MIC
変数同士の関連_MIC
 
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
 
工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方
 
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
 

Recently uploaded

iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
kitamisetagayaxxx
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
Osaka University
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
ssuserfcafd1
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
iPride Co., Ltd.
 
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
Seiya Shimabukuro
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
Takuya Minagawa
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
Shinichi Hirauchi
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 

Recently uploaded (14)

iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
 
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 

21世紀の手法対決 (MIC vs HSIC)

  • 1. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 . ...... 21 世紀の手法対決 @motivic 第 33 回 R 勉強会@東京 2013 年 8 月 31 日 @motivic 21 世紀の手法対決
  • 2. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 目次 ...1 はじめに 自己紹介 ...2 21 世紀の手法対決 20 世紀の独立性を見つける方法の限界 21 世紀の相関:MIC 21 世紀の検定:HSIC test いざ勝負! ...3 参考 参考文献 参考 HP @motivic 21 世紀の手法対決
  • 3. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 自己紹介 twitter ID:@motivic 職業:研究室に住む妖精 研究分野    代数統計 (代数幾何) 情報幾何 トポロジカルデータ解析    を用いた    医療統計 疫学 因果推論    統計ゆるふわ勢 @motivic 21 世紀の手法対決
  • 4. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 はじめに 注意 本日の話では交絡(擬似相関)は避けられていると仮定 ただし、本日の議論を交絡がある場合に拡張することも可能 @motivic 21 世紀の手法対決
  • 5. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 変数の独立性 . 変数同士が U 字型の関連を持つ場合の独立性検定 .. ...... U 字型の相関係数はかなり小さい 普通の独立性検定をすると、独立と判定される @motivic 21 世紀の手法対決
  • 6. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 線形から非線形へ . 従来法 .. ...... Pearson の相関係数は線形的な関係を見るもの 順位相関係数は単調的な関係を見るもの 非線形な関係を見るためには離散化する必要があった しかし離散化に恣意性が入る   . 線形から非線形へ .. ...... 非線形の関係をうまく捉える方法が出てきた!   @motivic 21 世紀の手法対決
  • 7. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient) 21世紀の相関係数:MIC @motivic 21 世紀の手法対決
  • 8. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . 21 世紀の相関:MIC(Reshef et al, 2011) .. ...... 2011 年に Science 誌に 21 世紀の相関係数なんて呼ばれるも のが出てきた これを使えば非線形な関連も捉えられる アイデアとしては、従来の離散化には恣意性があったので、 ありうる全ての離散化をして計算すればいいじゃん、という レベルを上げて物理で殴ればいい的な考え @motivic 21 世紀の手法対決
  • 9. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 10. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 11. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 12. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 13. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 14. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient)   . MIC(Maximal Information Coefficient) の計算 .. ...... x × y < n0.6 を満たす全ての x × y の離散化を考える 各分割で正規化した相互情報量が高い分割点を網羅的に探索 全分割の中で正規化した相互情報量が最大のものを選ぶ @motivic 21 世紀の手法対決
  • 15. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 21 世紀の相関:MIC(Maximal Information Coefficient) . R で MIC を計算するパッケージ .. ...... minerva というパッケージで MIC が計算できる。 cars データ (車の速さと停止距離のデータ) で MIC を計算してみ ると、 >library(minerva) >mine(cars)$MIC[1,2] [1] 0.666265 @motivic 21 世紀の手法対決
  • 16. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test 21世紀の検定:HSIC test @motivic 21 世紀の手法対決
  • 17. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test みんな大好き! 再生核ヒルベルト空間! @motivic 21 世紀の手法対決
  • 18. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test . 再生核ヒルベルト空間を用いた独立性検定 .. ...... 再生核ヒルベルト空間を用いたノンパラメトリックな独立性 検定 (HSIC test, Hilbert-Schmidt Independence Criterion test) なんてものもある (Gretton et al, 2005, 2010) これを使っても非線形な関連を見つけられる アイデアとしては、データを再生核ヒルベルト空間に移し て、その中で関係性を見るというハイソなやり方 @motivic 21 世紀の手法対決
  • 19. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test x x i j k( , ) k( , ) xi jx Hx ガウスカーネル kG(x, y) = exp ( − 1 2σ2 ||x − y||2 ) ラプラスカーネル kL (x, y) = exp  −β n∑ i=1 |xi − yi|     など @motivic 21 世紀の手法対決
  • 20. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test x x i j k( , ) k( , ) xi jx Hx y y i j k( , ) k( , ) yi jy Hy @motivic 21 世紀の手法対決
  • 21. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test x x i j k( , ) k( , ) xi jx Hx y y i j k( , ) k( , ) yi jy Hy Σyx @motivic 21 世紀の手法対決
  • 22. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test . 定理 .. ...... < ΣYX f, g >HY = E[f(X)g(Y)] − E[f(X)]E[g(Y)] を満たす ΣYX が一意的に存在する。 HYX := ∥ΣYX ∥2 HS   としたとき(∥ · ∥HS は Hilbert-Schmidt ノルム)、カーネルが特性 的であれば、 X ⊥⊥ Y ⇔ HYX = 0   @motivic 21 世紀の手法対決
  • 23. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 HSIC(Hilbert-Schmidt Independence Criterion) test . R での計算 .. ...... 実装は Rcpp でしています Rcpp については第 29 回 R 勉強会@東京の大仏様の資料がお ススメ! http://www.slideshare.net/teramonagi/tokyor-rcpp-16709700 具体的なコードの公開は HSIC を応用した論文を書くまでお 待ちを @motivic 21 世紀の手法対決
  • 24. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC 2つの手法の勝負! @motivic 21 世紀の手法対決
  • 25. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   U 字型の関連を持つものにノイズを加えたもの この関連をどれだけ捉えられるかの検出力で比較する @motivic 21 世紀の手法対決
  • 26. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   @motivic 21 世紀の手法対決
  • 27. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   線形の関連を持つものにノイズを加えたもの @motivic 21 世紀の手法対決
  • 28. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   @motivic 21 世紀の手法対決
  • 29. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   指数型の関連を持つものにノイズを加えたもの @motivic 21 世紀の手法対決
  • 30. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC   @motivic 21 世紀の手法対決
  • 31. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 MIC vs HSIC . まとめ .. ...... MIC は U 字型の関係ではそこそこ良いが、線形的や単調な関 係に対してはノイズが入ると検出力がかなり落ちる HSIC は非線形の関係も捉えつつ、線形的や単調的な場合も 従来法並みの検出力がある   . 判定 .. ...... HSICの勝ち! @motivic 21 世紀の手法対決
  • 32. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 GMIC vs MIC vs HSIC . GMIC について .. ...... 今週 GMIC という MIC の検出力の低さを改善させた論文のプ レプリントで出てました 論文を読んでみたところ検出力は HSIC >>> GMIC > MIC となりそうなので、やっぱり HSIC がスゴイ   @motivic 21 世紀の手法対決
  • 33. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 参考文献 Reshef, D. N., Reshef, Y. A., Finucane, H. K., Grossman, S. R., McVean, G., Turnbaugh, P. J., Lander, E. S., Mitzenmacher, M., Sabeti, P.C.(2011). Detecting Novel Associations in Large Data Sets, Science 334 (6062), 1518-1524 Gretton, A., Bousquet, O., Smola, A., and Schoelkopf, B.(2005). Measuring Statistical Dependence with Hilbert-Schmidt Norms, MPI for Biological Cybernetics (140) Gretton, A. and Gyorfi, L.(2010) Consistent Nonparametric Tests of Independence, Journal of Machine Learning Research, 11 , pp.1391–1423 @motivic 21 世紀の手法対決
  • 34. . はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 世紀の手法対決 . . 参考 参考 HP MIC について Take a Risk:林岳彦の研究メモ − 2013-04-26 ”相関”の話&そのついでに”21 世紀の相関 (MIC)”の話 http://d.hatena.ne.jp/takehiko-i-hayashi/20130426/1366948560 HSIC について 統数研の福水先生の HP にある色々な資料 http://www.ism.ac.jp/˜ fukumizu/ @motivic 21 世紀の手法対決