Chainer meetup#8の発表資料です

1. Chainerを使って
博士研究はじめました
さまこば＠samcoba
2018.12.15
1

2. 自己紹介
・Twitter：さまこば＠samacoba
・石川県金沢市在住（子育て中）
・１０年エンジニア（電気・機械系）
⇒北陸先端科学技術大学院大学（JAIST ） 博士後期課程（学生）
＜JAIST＞
・大学院（修士・博士）だけの国立大
・石川キャンパスと東京サテライト（品川・社会人コース）
・情報系の講義はほぼ録画してあり、VPNで自宅でも見れる
・年３回石川でオープンキャンパス
2

3. Chainer・深層学習との関わり
2015 2016 2017 2018 2019
2016.7
Chainer Meetup #03
“Chainerを使って細胞を数えてみた”
2015.6
Chainer公開
2018.4
JAIST 博士入学
2017.3
DiscoGAN
CycleGAN
2015.11
DCGAN
2016.11
pix2pix
2017.3 Qiita
“DiscoGANを使って「教師なし」でお米を数えてみる”
2015.10
深層学習・Chainer
を使い始める
3

4. https://twitter.com/kaityo256/status/989138383753498624
論文執筆の理想と現実
ロボ太@kaityo256
おそらく
今このへん
4

5. 元々の興味
・カウント（細胞など）を手動で行うことがあった
・画像処理ソフト or プログラムの作成
⇒使いこなすまでに時間がかかる場合や汎用的に使えない
深層学習を使って、調整なしで、自動でカウントできないかなぁ？
5

6. DiscoGAN
再構成(A)ロス
再構成(A)ロス
GAN(A)ロス
GAN(B)ロス
B識別機
A識別機
変換器A⇒B
変換器A⇒B
変換器B⇒A
変換器B⇒A
A本物
B本物
B偽物
A偽物
A再構成
B再構成
DiscoGAN
https://arxiv.org/abs/1703.05192
A：金髪
（元ﾃﾞｰﾀ）
B：黒髪
（生成）
A：金髪
（生成）
B：黒髪
（元ﾃﾞｰﾀ）
変換器A⇒B
変換器B⇒A
CycleGAN（シマウマをウマ）
とぼぼ同じ
黒髪の人と金髪の人のデータを集めるだけで、金髪⇔黒髪の変換ができる 6

7. ドメインA:
お米画像
ドメインB:
ランダムガウス球画像
位置は一致していない
変換器
A⇒B
変換器
B⇒A
DiscoGAN Network
B 識別機
A 識別機
お米画像Aとランダムガウス球画像Bの一部を切り取り
ドメインA⇔Bの変換器を学習させる
学習時
DiscoGANを使って「教師なし」でお米を数えてみる
512×512の画像１枚
7

8. 変換器
A⇒B
変換器
A⇒B
変換器
B⇒A
変換器
B⇒A
変換結果
A：お米変換
B：ガウス球変換 A：お米再構成
B：ランダムガウス球
A：お米実画像
B：ガウス球再構成
8

9. 変換器
A⇒B
A：お米実画像 ピーク位置検出B：ガウス球変換 元画像＋検出位置
カウント方法
カウント自体はニューラルネットではない
（Maxpoolingなど使っている）
元画像をガウス球ドメインに変換することで、カウントをしやすくしている
9

10. サンプルを変えて実験
M3 ナット（ユニクロ）
・白紙背景
・デジカメで撮影
・512×512にリサイズ
16個 108個
10

11. 白黒２値化
M3 ナット（ユニクロ）
影・反射の影響のため、画像処理でカウントするにはちょっと工夫（専門知識）が必要
16個 108個
11

12. ・ランダムの球の数はハイパーパラメータ
ランダム球の数
見た目で（オーダーが）だいたいあっていれば学習できている
→検討の余地あり
12

13. ガウス球の数を変えてテスト
16個 108個
Ave = 13個 Ave = 26個 Ave = 52個 Ave = 131個
それぞれ２０回ずつテスト 13

14. テスト結果
16個
108個
Ave = 13個 Ave = 26個 Ave = 52個 Ave = 131個
※カウント成功回数 (90%以上） / 試行回数
5/20 12/20 0/20 1/20
0/20 0/20 0/20 18/20
14

15. 失敗例①
入力
結果
Ave = 52個16個
一つのオブジェクトから複数の球が生成されてしまう
＜＜
15

16. 失敗例②
入力
結果
Ave = 26個108個
全面黒が生成しやすくなる
＞＞
16

17. ランダムサンプリング
4種類それぞれ25%確率でｻﾝﾌﾟﾘﾝｸﾞ
108個
108個
16個
108個
1/20
0/20
結果
※成功回数 / 試行回数
17

18. ここまでのまとめ
識別機に見せる「テンプレカード」と変換器した「ガウス球変換カード」の分布が異なると
変換器は無理やりテンプレカードに合わせようとするので、望ましい結果にはならない。
ガウス球
変換カード
実画像
0/1
変換器
A⇒B
識別機
18
テンプレカード
（ランダムガウス球)

19. ここまでのまとめ
識別機に見せる「テンプレカード」と変換器した「ガウス球変換カード」の分布が異なると
変換器は無理やりテンプレカードに合わせようとするので、望ましい結果にはならない。
⇒テンプレカードを調整して配る「ディーラ（仮）」が必要？
ガウス球
変換カード
実画像
0/1
変換器
A⇒B
識別機
108
個
ディーラ
調整して配る
19
テンプレカード
（ランダムガウス球)

20. ＜ネットワーク＞
・ディーラの出すカードの確率分布をNNで学習できるか？
⇒ChainerのFunctionにあったGumbel softmaxが使えそう
ディーラの設計
＜損失＞
・ディーラは何を目的（損失関数）として調整するか？
⇒とりあえず変換器と同じようにGANで学習
確率に連動して
サンプリング
zπ
Gumbel softmax
https://arxiv.org/abs/1611.01144
離散値を確率分布に連動して、
サンプリングする微分可能な関数
20

21. ディーラ（仮）使ったネットワーク
識別機
ガウス球
変換カード
実画像
テンプレカード
変換器
A⇒B
0/1ディーラ
全結合NN(1⇒4 )
1
softmax
Gumbel
softmax
＊
＊
＊
＊
sum
0～1の確率 ほぼ0 or 1のｻﾝﾌﾟﾘﾝｸﾞ
0.00
0.01
9.98
0.02
0.67
0.12
0.12
0.10
w=0.2
w= 0.1
w= 0.2
w= 2
0.1
0.2
0.2
2
識別機が間違える方向に
逆伝播させディーラを学習
(変換器とほぼ同じ）
離散的なｶｰﾄﾞを確率的に制御する
スイッチを学習できる
Ave = 13個
Ave = 26個
Ave = 52個
Ave = 131個
Chainerでは
FunctionやLinkをつなげていけば
簡単に逆伝播できる
※B⇒A変換も同様に行っ
ているがこの図では省略
21

22. 22
M3ナット108個 画像１枚(512×512)
結果動画
動画 32倍速
RTX 2080 1台で学習

23. Gumbel-Softmax使ってｻﾝﾌﾟﾘﾝｸﾞ
108個
108個
16個
108個
19/20
13/20
結果
※成功回数 / 試行回数
ディーラ（仮）使った結果
23
13 26 52 131
13 26 52 131
学習後の確率分布例

24. まとめ
課題
・DiscoGANを使って、ほぼ教師なしでカウントができた
・ディーラ(仮)を使うと、幅広くカウントができるようになった
・形状を持ったテンプレカードで数以外の「長さ」なども計測してみる
24
発展
・とても不安定（写真を取り直したらうまくいかないものもあった）

25. 最後に
・世の中早すぎる上、サーベイ不足
⇒近い論文など、教えていただければうれしいです
・もしアプリケーションとして興味がある方がいれば
⇒ご連絡いただければと思います
Twitter：さまこば＠samacoba
フォローよろしくお願いします！
今日の資料はtwitterにリンクしてあります
ご清聴ありがとうございました
25