Diet networks thin parameters for fat genomic

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Romero, Adriana, et al. "Diet Networks: Thin
Parameters for Fat Genomic." arXiv preprint
arXiv:1611.09340 (2016).
@St_Hakky

本論文の概要
• Bengio先生の研究グループによる研究。
• ICLR 2017で採択された
• 「変数の数>>データ数」によるDeep Learningの
学習パラメーターの数が大きくなる問題を解決
した
– 遺伝子関係のデータではよくあ...

Deep Learningのバイオデータでの活躍
• Deep Learningを生物データに適用させて成功し
た研究は既にある
– Using Convolutional Neural Networks (CNNs) to learn the...

SNPとは
• SNPは、DNAの中の１つの塩基が別の塩基に置
き換わったもの
– 人間の遺伝的変異を表す
– 個々人の病気や体質の違いを生む要因と言われている
– ヒトゲノムでは約300～500万個あると言われている
• このSNPデータにD...

SNPデータの問題点
• シーケンスでないデータはCNNなどの手法は利
用できない
• 変数の数 ≫ データ数
– 患者特有の特徴を捉える時に高次元の変数を使いた
い時がある
– この時、過学習の問題はもちろんのこと、学習をう
まく行うこと自体...

Problem
目的 • SNPから個々人の遺伝的系統を予測することを行いたい
問題点
• シーケンスデータでないので、CNNなどの手法が使えない
• 「変数の数 ≫ データ数」な時のNeural Networkにおける問
題点
• 第一層目の...

Method：Diet Network
• 入力が超高次元で且つデータ数よりも次元の
オーダーが大きい場合に、パラメーターの数を
劇的に減らし学習する方法を提案
記号意味
𝑁 サンプル数
𝑁 𝑑 次元数
𝑁 ≪ 𝑁 𝑑 サンプル数が次元数より...

Fat Hidden/Reconstruction Layer
• 高次元のデータの場合、最初の隠れ層と最後の
隠れ層のパラメーター数が非常に大きくなる
– 例：𝑁𝑑 = 300𝐾で、最初の層のノード数が100だと、
パラメーター数は30M
...

Modelの工夫点
• Fat Hidden/Reconstruction Layerのパラメーター
数を減らすためにModelを工夫する
– 工夫点１：重み学習する補助Networkを導入
– 工夫点２：入力を転置
– 工夫点３：Embedd...

工夫点１：Base Network / Auxiliary Network
• パラメーター数を減らすため、次の2つの
Networkを導入する
– Base Network(図：a)
– Auxiliary(補助) Network (図：b,...

工夫点１：Base Network / Auxiliary Network
• (b)のネットワークは最初の隠れ層のパラメー
ターを予測するNetwork

工夫点１：Base Network / Auxiliary Network
• (c)のネットワークはデータの復元を行う層のパ
ラメーターを予測するNetwork

工夫２：入力を転置
• 補助Networkの入力に、転置した値を入れる。こ
れにより、次元削減を行う。

工夫３：Embedding表現
• 特徴のEmbedding(埋め込み)を学習する

工夫３：Embedding表現
• 補助ネットワークで使われるEmbeddingは、事
前に計算しておくかオフラインで学習が出来る
• 理論上はどのような種類のEmbeddingを用いて
も良い
– もちろん、当初の目的であるパラメーターを削減...

Embeddingの種類
• 次の4種類が論文では紹介されていた。
– Random projection
– Per class histogram
– SNPtoVec
– Embedding learnt end-to-end from ...

Random projection
• MLPを使用
– ただし、学習するわけではなくて、ランダムに初期
化したものをそのまま使用する
• 学習すると、それはそれでまたパラメーターが増えるので
– 普通にデータをそのまま利用するよりは、Rand...

Per class histogram
• SNPデータに対して、ヒストグラムを作成
• 正規化した後、SNPは３つの値に割り振られる
– しかし、この方法では粗すぎることがわかった
• 代わりに、今回使用する1000 Genome datas...

SNPtoVec
• Mikolovらの研究(2013)により、Neural Networkによる単
語の分脈の再現を精度良く可能にした単語の特徴の埋め
込み方法が提案された
• SNPは文章ほど良い位置的な分脈を持たない
– SNPはほぼ独立...

Embedding learnt end-to-end from raw data
• 普通にMLPを使用するというもの
• これは補助ネットワークのMLPと完全に同一の
ものになる

工夫点４：目的関数の工夫
目的関数
目的関数にReconstruction Errorを入れる

工夫点４：目的関数の工夫
目的関数
目的関数にReconstruction Errorを入れる
クロスエントロピー Reconstruction Error
𝛾はハイパーパラメーター

Modelの工夫点のまとめ
• 以上のような工夫を行い、高次元の入力による
パラメーター数の増加に対応する。
– 工夫点１：重み学習する補助Networkを導入
– 工夫点２：入力を転置
– 工夫点３：Embedding表現
– 工夫点４：目的...

Data : The 1000 Genomes Project
• 1000 Genomes Projectは世界中の人種の、多くの
人のシーケンスデータを集めるプロジェクト
– 人間の遺伝的変異のカタログの中では最も大きいパ
ブリックデータを...

Data : The 1000 Genomes Project
• (a) : 1000のGenome Dataを人種ごとに分けたヒ
ストグラム
• (b) : 地域ごとの人数

Experiments
• 今回はこのデータセットを用いてSNPから人種
や地域を分類分けする問題を解く

Model Architecture
• 基本のNetwork
– 隠れ層2つ
– 活性化関数はsoftmax
• 補助ネットワーク
– 紹介したEmbeddingを用いつつ、MLPをその上に載せる形
– 中間層のノード数は100
• 実験にお...

実験方法
• 5-foldクロスバリデーション適用
– 1つはテスト用
– 3つは学習用
– 1つはバリデーション用
• 5回繰り返し、平均と標準偏差を取得した

Experiments : Results

• Reconstruction Errorを入れたほうが精度が良い
• 平均はもちろん、標準偏差の値を小さい傾向が
ある
• ロバストな結果を得れていることがわかる

• Reconstruction Errorを入れたほうが精度が良い
• 平均はもちろん、標準偏差の値を小さい傾向が
ある
• ロバストな結果を得れていることがわかる

• Embeddingで、より少ないエラーを獲得できてい
る傾向がある

Experiments : Results
• 最も良いモデルでの結果(Histgram Embeddingを
使用)

Experiments : Results
• 今回の実験結果をまとめる
– Reconstruction Errorを入れたほうが精度が良い
• 平均はもちろん、標準偏差の値を小さい傾向がある
– これから、ロバストな結果を得れていることがわ...

Conclusion
• 今回、Diet Networkというものを提案した
• 圧倒的にパラメーターを削減できた
• Embeddingというのが良い効果をもたらす

Fin

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

Hands-On Machine Learning with Scik... by Hakky St 4660 views
劣モジュラ最適化と機械学習1章 by Hakky St 15495 views
劣モジュラ最適化と機械学習 3章 by Hakky St 4957 views
劣モジュラ最適化と機械学習 2.5節 by Hakky St 3061 views
『劣モジュラ最適化と機械学習』 4章 by ayato shimada 3346 views
劣モジュラ最適化と機械学習 2.4節 by Hakky St 3275 views

View on Slideshare

1 of 36 Ad

View on Slideshare

1 of 36 Ad