研究報告資料１

1. 研究報告会
20180416 中村俊

2. 研究背景
● 網膜静脈分岐閉塞症（BRVO）
動脈硬化→眼球の外側で，動脈と交差している静脈へ力→血流の悪化→
行き場を失った血液が溢れる→網膜内出血
https://www.eylea.jp/ja/home/disorder/rvo/rvo/から引用

3. 背景
視力予後は黄斑部（眼底中心部）への影響度による
● 現行の治療法
→黄斑部の腫れを緩和する薬剤を目の硝子体に注射投
与する
● 問題点
コストが高い，投与後に回復する保証なし
統一的な判断基準がない
目的
上記問題点解決のために，注射投与後の視力を推定する
→眼科医の投与判断の助け

4. 方法
● Googleが糖尿病網膜症の症状分類をするNNを開発
→本研究でも，治療後視力推測にはNNを使用
● 画像枚数が少ない→Augmentation(水増し)を実施
データ数を30倍（約2500枚）
● 転移学習を使用
網膜OCT画像の分類タスクでも使用されているInception-V3を使用
治療後
視力
回転，水平移動

5. 転移学習
● ある種の画像（主にimagenetとかcifar10とかの大量の画像データ）を学習したDLモデルを
他種画像用に作り変える技術→学習画像が少ない場合に有効
大量の画像からすでに重みが学習済みのNN
OCT画像
を学習す
る部分
大量の画像からすでに重みが学習済みのNN
特徴量抽出部分
特徴量抽出部分
特徴量
の分類
Imagenetなら
1000種類に分類
つけ加えて
この部分のみ学習

6. 転移学習のモデル
VGG-16,inception-v3，inception-v4,Xception,Resnet ・・ ・etc
https://arxiv.org/pdf/1605.07678.pdfから引用

7. 実装したアーキテクチャ
https://arxiv.org/pdf/1605.07678.pdfから引用
Inception-v3
重みのload
全結合（ユニット数16,
活性化関数relu）
ドロップアウト0.5
全結合（ユニット数16,
活性化関数relu）
ドロップアウト0.5
ここだけ学習
ユニット数1

8. 学習に使用したデータ
https://arxiv.org/pdf/1605.07678.pdfから引用
機材1
(72枚)
機材2
(85枚)

9. 現状の結果（検証1）
・学習データには，機材2の撮影画像を使用
・エポック数250,バッチサイズ40, 学習：検証=8:2，Adam(デフォルトパラメータ), 5分割交差検証
・オレンジ→テストデータに機材2(学習とテストの撮影機材が同じ)
・青→テストデータに機材1(学習とテストの撮影機材が異なる)
予測値-真値の誤差許容範囲を
変更
LogMAR視力
→小数視力をlog10に変換した
もの

10. 現状の結果（検証2）
・学習データには，機材1,2(両方)で撮影された画像のみ使用する
・条件は検証1と同じ，学習枚数は114枚（72×2-14×2）.
・学習：テスト ＝8：2
https://arxiv.org/pdf/1605.07678.pdfから引用
● 機材１（青線）の画像の方が精
度が良い
→テストデータ固定が影響？
● 機材1の画像を学習データに加え
た後→20%程度精度上昇(目算)
実務で使用することを加味すれば学習
データに異種機材の撮影画像を学習さ
せるべき

11. 今後の予定
● 2種類の機材で撮影されたものを別々のニューラルネット に入力として与える
（別なタスクで分類精度が上がる結果は報告されている)
https://arxiv.org/pdf/1605.07678.pdfから引用
● マルチモーダル学習
異なるデータ形式のものを入力としてニューラルネット に与える学習方法
治療前の視力
（数値データ）
視力推定
視力推定

12. マルチモーダル学習
https://arxiv.org/pdf/1711.00049.pdfから引用
https://github.com/MarcBS/VIBIKNetから引用
● 画像から文章生成
入力に画像+問題文→出力に答え
● 同じ部位を異なる機材で撮影
した画像を入力→病気の診断

13. 課題
● マルチモーダルやkerasで複数入力を可能にするアーキテクチャが実装できない
● データ数が二つの画像で異なる(85枚+72枚)→異なる枚数で学習は良くないのかどうか？
調査した文献
● https://qiita.com/obsproth/items/d300d80230800de4f1ff
● https://machinelearningmastery.com/keras-functional-api-deep-learning/
● https://keras.io/ja/getting-started/functional-api-guide/
● https://statcompute.wordpress.com/2017/01/08/an-example-of-merge-layer-in-keras/
● http://marcbs.github.io/multimodal_keras_wrapper/tutorial.html#saving-or-loading-a-dataset
とりあえず，画像+視力（数値）ではなく画像＋画像の方が簡単そう（入力の形式が同じなので）
お願いしたいこと
● マルチモーダル（複数入力の実装）の参考になりそうなやつ
特に，自分は（転移学習+画像を使用した回帰）なので，あまりネットのが参考にならない．

14. 実装例

15. 補助スライド

16. 5分割交差検証
https://arxiv.org/pdf/1605.07678.pdfから引用
● 非復元抽出を使用して，学習データとテストデータを分割
● 4個を学習データ，1個をテストデータとして使用
データセット
学習 学習 学習 学習 テスト
学習 学習 学習 学習テスト
学習 学習学習学習 テスト
学習 学習学習 学習テスト
学習学習 学習 学習テスト
1
2
3
4
5
1~5の
モデルの平均