Chainer Meetup #3 LT

1. @Eiji-Kb
Chainerを使って
白黒アニメの彩色実験をしてみた
色物企画

2. 2
Eiji-K (Eiji-Kb)
 2013 ゼネコン勤務
 2013〜15 大学院（修士）
動画認識（スポーツ）の研究
 現在 ディープラーニング勉強中
自己紹介

3. 3
 Deep Colorization Zezhou Cheng Qingxiong Yang Bin Sheng
http://www.cs.cityu.edu.hk/~qiyang/publications/iccv-15.pdf
 Automatic Colorization Ryan Dahl
http://tinyclouds.org/colorize/
 Colorful Image Colorization Richard Zhang Phillip Isola Alexei A. Efros
http://richzhang.github.io/colorization/
 ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の
自動色付け 飯塚里志 シモセラ エドガー 石川博
http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/
 Learning Representations for Automatic Colorization Gustav LarssonMichael
MaireGregory Shakhnarovich
http://people.cs.uchicago.edu/~larsson/colorization/
ディープラーニングによる自動彩色

4. 4
colornet
 作者 Pavel Gonchar
 Automatic Colorizationがベース（損失関数は違う）
 Tensorflowでの実装
 ネットワークや学習部分のソースも公開
 https://github.com/pavelgonchar/colornet
？ これで白黒アニメの彩色はできるだろうか

5. 5
 原作：横山光輝 アニメ：東映アニメーション
 最初の魔法少女アニメ 記念碑的作品
 １７話まで白黒、１８話からカラーで製作
 オープニングは白黒版とカラー版が存在
試したアニメ 魔法使いサリー（1966〜1968）
光プロ・東映アニメーション, 魔法使いサリー,http://www.toei-anim.co.jp/lineup/tv/sally/

6. 6
色が付きました
実験結果 Colornetで学習、テスト
自分でも色々試してみたくなった
いじくりやすいソースが欲しい →Chainerへ移植

7. 7
Automatic Colorization
図：Ryan Dahl, Automatic Colorization
http://tinyclouds.org/colorize/
写真： Wikipedia, YUV
https://ja.wikipedia.org/wiki/YUV
（学習）
空
間
情
報
意
味
的
情
報
Y
U
V

8. 8
Automatic Colorization
図：Ryan Dahl, Automatic Colorization
http://tinyclouds.org/colorize/
写真： Wikipedia, YUV
https://ja.wikipedia.org/wiki/YUV
（テスト）
空
間
情
報
意
味
的
情
報

9. 9
Chainerで記述
class COLORNet(chainer.Chain):
"""
COLORNet
"""
def __init__(self):
super(COLORNet, self).__init__(
conv4_1=L.Convolution2D(512, 256, 1, stride=1, pad=0),
bn1 = L.BatchNormalization(512),
deconv4_1 = L.Deconvolution2D(256, 256, 2, stride=2, pad=0),
bn2 = L.BatchNormalization(256),
conv4_2=L.Convolution2D(256, 128, 3, stride=1, pad=1),
bn3 = L.BatchNormalization(128),
deconv3_1 = L.Deconvolution2D(128, 128, 2, stride=2, pad=0),
bn4 = L.BatchNormalization(128),
conv3_1=L.Convolution2D(128, 64, 3, stride=1, pad=1),
bn5 = L.BatchNormalization(64),
deconv2_1 = L.Deconvolution2D(64, 64, 2, stride=2, pad=0),
bn6 = L.BatchNormalization(64),
conv2_1=L.Convolution2D(64, 3, 3, stride=1, pad=1),
bn7 = L.BatchNormalization(3),
bn8 = L.BatchNormalization(3),
conv1_1=L.Convolution2D(3, 3, 3, stride=1, pad=1),
bn9 = L.BatchNormalization(3),
conv0_5=L.Convolution2D(3, 2, 3, stride=1, pad=1),
def __call__(self, t, sw):
h1 = F.relu(self.conv4_1(self.bn1(vgg.h4)))
h2 = self.deconv4_1(h1)
h3 = self.bn2(vgg.h3)
h4 = h2 + h3
h4 = self.conv4_2(h4)
h4 = F.relu(self.bn3(h4))
h4 = self.deconv3_1(h4)
h5 = self.bn4(vgg.h2)
h5 = h4 + h5
h5 = self.conv3_1(h5)
h5 = F.relu(self.bn5(h5))
h5 = self.deconv2_1(h5)
h6 = self.bn6(vgg.h1)
h6 = h5 + h6
h6 = self.conv2_1(h6)
h6 = F.relu(self.bn7(h6))
h7 = self.bn8(vgg.x)
h8 = h6 + h7
h8 = self.conv1_1(h8)
h8 = F.relu(self.bn9(h8))
h8 = self.conv0_5(h8)
zx81 = F.split_axis(h8,1,0)
zx82 = F.split_axis(zx81,2,1)
if sw == 1:
t1 = F.reshape(t,(1, 224*224))
x = F.reshape(zx82[0],(1, 224*224))
self.loss = F.mean_squared_error(x, t1)
return self.loss
（ネットワーク）
・・・

10. 10
Chainerで記述if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument("inputMovie", type=file)
parser.add_argument("outputMovie")
parser.add_argument('--parm', default=0.0001, type=float)
parser.add_argument("--mon", const=1, nargs="?")
parser.add_argument('--loop', default=1, type=int)
parser.add_argument('-gpu', default=0, type=int)
parser.add_argument("--load", const=1, nargs="?")
parser.add_argument("--test", const=1, nargs="?")
parser.add_argument('--savec', default=5000, type=int)
parser.add_argument('--log', default=100, type=int)
parser.add_argument("--fast", const=1, nargs="?")
args = parser.parse_args()
inputMovie = args.inputMovie.name
outputMovie = args.outputMovie
cap = cv2.VideoCapture(inputMovie)
heightInputMovie = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
widthInputMovie = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
FPS = cap.get(cv2.CAP_PROP_FPS)
allFrames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
fourcc = "XVID"
out = cv2.VideoWriter(outputMovie, cv2.VideoWriter_fourcc(*fourcc), FPS,
(widthInputMovie,heightInputMovie))
vgg_mean = np.array([123.68, 116.779, 103.939 ])
vgg = VGGNet()
colornet = COLORNet()
optimizer = optimizers.SGD(args.parm)
optimizer.setup(colornet)
while vplaycnt <= args.loop:
for frameNo in range(1, allFrames+1):
ret, frame = cap.read()
if ret == True:
frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB).astype(np
frame_rgb_f = (frame_rgb / 255)
frame_rgb -= vgg_mean
frame_gray = cv2.cvtColor(frame_rgb, cv2.COLOR_RGB2GRAY)
frame_gray_vgg = cv2.resize(frame_gray, (224, 224))
inputd = np.zeros((1, 3, 224, 224), dtype=np.float32)
inputd[0,0,:,:] = frame_gray_vgg
inputd[0,1,:,:] = frame_gray_vgg
inputd[0,2,:,:] = frame_gray_vgg
inputd = xp.asarray(inputd, dtype=np.float32)
pred = vgg(Variable(inputd), None)
frame_lab = cv2.cvtColor(frame_rgb_f, cv2.COLOR_RGB2Lab)
frame_lab_l = frame_lab[:,:,0]
frame_lab_vgg = cv2.resize(frame_lab, (224, 224))
labd = xp.asarray(frame_lab_vgg, dtype=np.float32)
if not args.test :
sw = 1
colornet.zerograds()
loss1 = colornet(Variable(labd[:,:,1]),sw) #EK
loss1.backward()
optimizer.update()
（学習
ループ）
・・・ ・・・

11. 11
VGGネット Shunta Saito（ mitmul ）氏
colornetとの違い
Lab色空間
最終層出力（sigmoidなし）
その他
動画ファイルを直接読み込み（OpenCV）
Chainerへの移植

12. Chainer版で学習
12
https://youtu.be/pM_5hXjZmkQ

13. Chainer版でテスト
13
https://youtu.be/cb7nBtKaQDs

14. 14
学習データの量・与え方・偏り…
アニメ 色設計の違い
色の乗りがいまいち
白黒
カラー
→グレー
スケール

15. 参考
15
https://youtu.be/9vB9KdGksS0

16. 16
まとめ
いじりやすい自動彩色のコードが書けた（318
行）
ソースはGitHubに上げる予定です
トイプログラムですが、こういうのが好きな人に
試していただけるとうれしい

17. ご清聴ありがとうございました