社内発表したもの

1. DeepLearningを利用したWebサービスの作成
〜のどかな田舎の花畑で絵を描きたい〜
@ndruger

2. 今日の内容
● DeepLearningを利用したWebサービスを簡単に作る方法の
話
● NeuralNetworkのネットワーク構造などの内部の話はしない

3. 長い休暇をとって、ソフト開発のことを忘れて、
のどかな田舎の花畑で絵を描きたい。
けど、絵を描くのは手間がかかるので、
途中で飽きて、キャンバスを投げ出してしまいそう。
今回解決する問題は・・・

4. そんなときこそDeepLearningで解決

5. DeepLearningを利用したpix2pixという手法は画像の「変換」を学習できる。
学習する変換の例
- 「白黒画像」と「カラー画像」で訓練して、「白黒画像」 -> 「カラー画像」の変
換を学習させる
- 「線画」と「カラー画像」で訓練して、「線画」 -> 「カラー画像」の変換を学習
させる
今回はTensorFlow版のpix2pix-tensorflowを利用する。
pix2pix

6. pix2pixを使えば・・・
「ペイントで描いたような画像」-> 「いい感じの花の画像」の変換を
学習させると、簡単に絵が描けるのでは？

7. 訓練画像の準備(1)
● 102 Category Flower Dataset
○ 花の種類ごとにラベル付けされている。
○ 花の部分とそうでない部分のセグメント画像がある。

8. 訓練画像の準備(2)
● ラベルから「睡蓮」「バラ」「ひまわり」の画像を見つけて取り出す
● 変換前画像は、花の部分を「睡蓮」「バラ」「ひまわり」ごとに「緑」「赤」「黄色」で塗り
つぶす
● 変換前画像と変換後画像を水平に結合する
● 訓練画像を441枚とテスト画像を15枚準備した

9. 学習の開始
NVIDIAのGPUが利用できるPCがあると数十倍早く学習できる
が、家にないので、Mac mini(Late 2014)で3日かけて学習させ
た。
AWSのGPUインスタンスのp2.xlarge($0.9/h US EAST)は、
t2.small($0.023/h US EAST)の39倍高いです。

10. 学習過程をTensorboardで見る
Tensorboardを表示。

11. 細かい学習過程の変換画像を見る
学習過程の画像を表示。
メモ: pix2pix_train_result_images/

12. テスト画像で学習結果を評価する
訓練画像の変換結果を表示。
メモ: pix2pix_test_result/

13. 変換サーバーとして起動する
● pix2pix-tensorflowはサーバとして起動できるスクリプトがあるので、それを使うと
簡単に変換サーバとして利用できる。

14. ブラウザから利用するデモ

15. 悪くないが、もう少し絵っぽくしたい

16. そんなときこそDeepLearningで解決

17. DeepLearningを利用したneural-style-transferという手法を使う
と、スタイル画像と変換対象画像を入力すると、変換対象画像を
スタイル画像のスタイルに変換してくれる。
今回は高速な変換ができるようにしたTensorFlow版の
fast-style-transferを利用する。
Fast Neural Style Transfer

18. スタイル画像の準備
Gogh’s “the starry night”

19. 学習開始
● AWSのp2.xlargeで数時間

20. 学習結果を評価
画風は悪くないが、青い。蒼すぎる。
スタイル変換前 スタイル変換後

21. スタイル変換前の画像(A)とスタイル変換後の画像(B)に関して、
1. AをRGB色空間 -> YUV色空間に変換し、UVを取り出す
2. BをRGB色空間 -> YUV色空間に変換し、Yを取り出す
3. 1のUVと2のYを持つ画像を作ると、Aの色とBの明るさを持った画像ができる。
YUV色空間を使って色だけ変換前に戻す
この画像のUVの値 この画像のYの値
＋ ＝

22. ブラウザから利用するデモ

23. コード
https://github.com/ndruger/flowerizer
デモページ
http://flowerize.s3-website-ap-northeast-1.amazonaws.com/
コード&デモページ