Recommended
Recommended
More Related Content
What's hot
What's hot (20)
【学会発表】U-Net++とSE-Netを統合した画像セグメンテーションのための転移学習モデル【IBIS2020】
- 1. IBIS2020 1 11 発表番号 ⾦沢⼤学 ⾃然科学研究科 修⼠1年 鈴⽊悠太 発表者の⽒名・所属 U-Net++とSE-Netを統合した画像セグメンテーションのための転移学習モデル 発表タイトル U-Net++を拡張した転移学習モデルを提案した. 画像分類タスクでは局所特徴を学習すれ ば良いがセグメンテーションタスクはそれに加えて位置情報も学習する必要がある. 故 にタスク間の学習すべき特徴に差異が⽣じる. そこでSEブロックを組み込むことで局所特 徴と位置情報の両⽅を効率よく学習するSE-U-Net++と畳み込み層のパラメータを⽐較す ることでタスクの差異を埋める転移学習アルゴリズムを提案した. 発表の概要
- 2. U-Net++とSE-Netを統合した 画像セグメンテーションのため の転移学習モデル IBIS2020 2 2nd ⼭根 智 ⾦沢⼤学 ⾃然科学研究科 電⼦情報科学専攻 教授 1st 鈴⽊ 悠太 ⾦沢⼤学 ⾃然科学研究科 電⼦情報科学専攻 博⼠前期課程1年
- 3. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 3
- 4. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 4
- 9. ImageNet • 14,00万枚もの画像 • それぞれの画像に物体名(クラスラベル) を付与 • 2万ものクラスラベル数 IBIS2020 9 ImageNetは⾮常に⼤規模な画像分類⽤のデータセット ImageNetで学習済みのモデル 転移学習 新しいタスクに適⽤
- 11. ファインチューニング IBIS2020 11 新しいタスクで学習 学習を凍結 •ファインチューニングは転移学習の⼿法の⼀つ •CNNの下層(⼊⼒側の層)は汎⽤的な特徴を学習している •CNNの上層(出⼒側の層)は具体的な特徴を学習している 仮説 ファイン チューニング 下層は⽬的タスク での学習を凍結 Qiang Yang, Yu Zhang, Wenyuan Dai, Sinno Jialin Pan, Cambridge University Press, Transfer Learning, pp. 54-55, 2020.
- 14. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 14
- 15. U-Net IBIS2020 15 U-Netはセグメンテーションタスク⽤の代表的なモデル •局所特徴は畳み込み層で抽出し学習する •位置情報はスキップコネクションによって学習する O. Ronneberger, P. Fischer and T. Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015. エンコーダ デコーダ
- 16. U-Netの転移学習(TernausNet) •(ImageNetで)事前学習済みのモデルをU-Netのエンコーダとして 使⽤する IBIS2020 16 Vladimir Iglovikov, Alexey Shvets, TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation, arXiv:1801.05746, 2018. ImageNetで学習済みの モデル
- 17. U-Net++ U-Net++はU-Netを改良したモデル IBIS2020 17 Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang, UNet++: A Nested U-Net Architecture for Medical Image Segmentation, arXiv:1807.10165, 2018. • 各スケールのエンコーダ部分からデコードを⾏いそれらをスキップコネクションによって連結 エンコーダとデコーダ間の特徴マップのギャップを⼩さくできる
- 18. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 18
- 20. SEブロック IBIS2020 20 Jie Hu, Li Shen,Samuel Albanie, Gang Sun,Enhua Wu, Squeeze-and-Excitation Networks, arXiv:1709.01507v3, 2018. •CNNの特徴マップ⾃体に 重み付けを⾏う 情報価値が⾼い特徴マップを強調する 位置情報の強調 局所特徴の強調
- 22. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 22
- 23. 実験に使⽤したデータセット IBIS2020 23 Kaggleの2018 Data Science Bowl •細胞の核を検出するセグメンテーションタスク •670枚の学習⽤データ 予測 https://www.kaggle.com/c/data-science-bowl-2018/data
- 24. 実験モデル IBIS2020 24 使⽤するモデルはVGG16をエンコーダにもつU-Net, U-Net++, SE-U-Net++ VGG16
- 25. 実験結果(SE-U-Net++の評価) IBIS2020 25 事前学習なし 事前学習あり (TernausNet) U-Net 0.9246 0.9336 U-Net++ 0.9302 0.9443 SE-U-Net++(提案) 0.9363 0.9445 RESULT OF 200 EPOCHs (Mean IoU) RESULT OF 1000 EPOCHs (Mean IoU) 事前学習なし 事前学習あり (TernausNet) U-Net 0.9735 0.9756 U-Net++ 0.9754 0.9788 SE-U-Net++(提案) 0.9769 0.9786 SE-U-Net++の ⽅が効率よく 学習できる
- 26. 実験結果(学習特徴の可視化) IBIS2020 26 U-Net系のモデルにおいてエンコーダの前半部分ではImageNetと⽬的タスクの間のギャップが⼤きい VGG16 VGG16 ( ) ( ) VGG16 (2018Data Science Bowl) (2018Data Science Bowl) (2018Data Science Bowl)
- 28. 実験結果(転移学習アルゴリズムの評価) IBIS2020 28 事前学習あり (TernausNet) 事前学習あり (提案) U-Net 0.9336 0.9341 U-Net++ 0.9443 0.9453 SE-U-Net++(提案) 0.9445 0.9454 RESULT OF 200 EPOCHs (Mean IoU) 事前学習あり (TernausNet) 事前学習あり (提案) U-Net 0.9756 0.9757 U-Net++ 0.9788 0.9789 SE-U-Net++(提案) 0.9786 0.9787 RESULT OF 1000 EPOCHs (Mean IoU) U-Net系の モデルにも ファイン チューニング を適⽤できた
- 29. ⽬次 1. 研究背景 2. 関連研究 3. 提案⼿法 4. 実験と結果 5. 結論 IBIS2020 29
- 30. 結論 • U-Net++にSE-Blockを取り付けたSE-U-Net++を提案 • 事前学習タスクと⽬的タスクのギャップをもとに凍結層を決め る転移学習アルゴリズムの提案 IBIS2020 30 局所特徴と位置情報を効率よく学習 エンコーダの後半部分の学習を凍結することで U-Net系のモデルにファインチューニングを適⽤