社内勉強会で使用した資料です。

1. Python機械学習プログラミング
読み会
第15章
画像の分類 - ディープ畳み込みニューラルネットワーク
1
[第2版]
基盤 江口春紀

2. 目次
● 畳み込みニューラルネットワークの構成要素
● 畳み込みニューラルネットワークの構築
● TensorFlowを使ってディープ畳み込みニューラルネットワークを実装する
2

3. 3
畳み込みニューラルネットワークの
構成要素

4. 畳み込みニューラルネットワークの構成要素
● 畳み込みニューラルネットワーク(CNN)
● 人の脳が物体を認識するときに視覚野どのような働きをするのかにヒントを得た
モデルの総称。
● 画像関連のタスクにおいて優れた性能を発揮する。
● CNNは複数の畳み込み層、プーリング層で構成されており、
最後に全結合層が1つ以上存在する。
4

5. 離散畳み込みを実行する
● 1次元での離散畳み込み演算
5
実際には無限の特徴量は扱うことができないので、
入力特徴量以外のインデックスは有限個の0で
パディングされる

6. 離散畳み込みを実行する
● 1次元での離散畳み込み演算
1. 入力とフィルタの参照方向が違うので、片方を反転。
2. 出力要素iごとに内積 x[i:i+m]・wを計算する。
● ストライド
● 右の例ではストライドは 2である。
● ストライドは入力ベクトルのサイズ
よりも小さい必要がある。
6

7. 離散畳み込みを実行する
● 畳み込みでのゼロパディングの効果
● 入力の各要素が、畳み込みの計算に出現する回数を同じにすることができる。
7

8. 離散畳み込みを実行する
● 畳み込みの出力サイズを特定する
● 畳み込みの出力サイズは、入力ベクトルに沿ってフィルタ wをシフトする回数によって
決定される。
● 例
8
n：入力ベクトルのサイズ
m：フィルタのサイズ
p：パディング
s：ストライド
入力と同じかそれよりも小さい
整数のうち最も大きな値を返す。

9. 離散畳み込みを実行する
● 2次元での離散畳み込みの実行
● p=(1, 1), s=(2, 2)の例
9
フィルタを回転させる必要があるが、
転置行列とは同じでないことに注意する。

10. 離散畳み込みを実行する
● 2次元での離散畳み込みの実行
10

11. サブサンプリング
● サブサンプリング
一般に、CNNの2種類のプーリング演算を通じて適用される。
● 最大値プーリング(max-pooling)
近傍のピクセルから最大値を選択する。
● 平均値プーリング(mean-pooling)
近傍のピクセルの平均値を計算する。
11
最大値プーリングは、近傍が局所的に
少し変化したとしても最大値プーリング
の結果が変わらない。
そのためノイズに対して強くなる。

12. 12
畳み込みニューラルネットワークの構築

13. 複数の入力チャネルを操作する
● 画像の入力
● RGBモードのカラー画像の場合 3次元配列
を使用する必要がある。グレースケールであれば Cin=1 である。
● 畳み込み演算に複数の入力チャネルを組み込む
● チャネルごとに畳み込み演算を実行し、その後、行列の総和を用いて結果を足し合わせる。
13

14. 複数の入力チャネルを操作する
● 畳み込み演算に複数の入力チャネルを組み込む
● 図解
14

15. ドロップアウトによるニューラルネットワークの正則化
● ニューラルネットワークの正則化
● 全結合のニューラルネットワークまたは CNNにかかわらず、ネットワークのサイズ選択
は大きな課題である。ネットワーク複雑さの度合いによっては、学習不足や過学習
に陥るため、正則化などの手法を用いて回避する必要がある。
● ドロップアウト(dropout)
● ニューラルネットワークのトレーニングの過程で、イテレーションのたびに
ドロップアウト確率Pdropで隠れユニットの一部をランダムに取り除く。
● 学習時にネットワークの自由度を強制的に小さくして汎化性能を上げ、
過学習を避けることができる。
15

16. 16
TensorFlowを使ってディープ
畳み込みニューラルネットワークを
実装する

17. ディープ畳み込みニューラルネットワークを実装する
● 使用するデータセット
● MNISTの手書き数字
Training set: 50,000サンプル
Validation set: 10,000サンプル
Test set: 10,000サンプル
17

18. ディープ畳み込みニューラルネットワークを実装する
● 多層CNNアーキテクチャ
● 今回使用するネットワーク
18最後の全結合ではソフトマックスも通す
全結合のあとドロップアウト

19. TensorFlowの低レベルAPIを使ってCNNを実装する
● 畳み込み層のラッパー関数
19
def conv_layer(input_tensor, name,kernel_size, n_output_channels, padding_mode='SAME', strides=(1, 1, 1, 1)):
with tf.variable_scope(name):
input_shape = input_tensor.get_shape().as_list()
n_input_channels = input_shape[-1]
weights_shape = (list(kernel_size) + [n_input_channels, n_output_channels])
weights = tf.get_variable(name='_weights', shape=weights_shape)
biases = tf.get_variable(name='_biases', initializer=tf.zeros(shape=[n_output_channels]))
conv = tf.nn.conv2d(input=input_tensor, filter=weights, strides=strides, padding=padding_mode)
conv = tf.nn.bias_add(conv, biases, name='net_pre-activation')
conv = tf.nn.relu(conv, name='activation')
return conv

20. TensorFlowの低レベルAPIを使ってCNNを実装する
● 全結合層のラッパー関数
20
def fc_layer(input_tensor, name, n_output_units, activation_fn=None):
with tf.variable_scope(name):
input_shape = input_tensor.get_shape().as_list()[1:]
n_input_units = np.prod(input_shape)
if len(input_shape) > 1:
input_tensor = tf.reshape(input_tensor, shape=(-1, n_input_units))
weights_shape = [n_input_units, n_output_units]
weights = tf.get_variable(name='_weights', shape=weights_shape)
biases = tf.get_variable(name='_biases', initializer=tf.zeros(shape=[n_output_units]))
layer = tf.matmul(input_tensor, weights)
layer = tf.nn.bias_add(layer, biases, name='net_pre-activation')
if activation_fn is None:
return layer
layer = activation_fn(layer, name='activation')
return layer

21. TensorFlowの低レベルAPIを使ってCNNを実装する
● TensorFlowによるCNNの実装(1)
● 畳み込みとプーリング処理
21
tf_x = tf.placeholder(tf.float32, shape=[None, 784], name='tf_x')
tf_y = tf.placeholder(tf.int32, shape=[None], name='tf_y')
tf_x_image = tf.reshape(tf_x, shape=[-1, 28, 28, 1], name='tf_x_reshaped')
tf_y_onehot = tf.one_hot(indices=tf_y, depth=10, dtype=tf.float32, name='tf_y_onehot')
h1 = conv_layer(tf_x_image, name='conv_1', kernel_size=(5, 5), padding_mode='VALID', n_output_channels=32)
h1_pool = tf.nn.max_pool(h1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
h2 = conv_layer(h1_pool, name='conv_2', kernel_size=(5,5), padding_mode='VALID', n_output_channels=64)
h2_pool = tf.nn.max_pool(h2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

22. TensorFlowの低レベルAPIを使ってCNNを実装する
● TensorFlowによるCNNの実装(2)
● 全結合とドロップアウト
22
h3 = fc_layer(h2_pool, name='fc_3', n_output_units=1024, activation_fn=tf.nn.relu)
keep_prob = tf.placeholder(tf.float32, name='fc_keep_prob')
h3_drop = tf.nn.dropout(h3, keep_prob=keep_prob, name='dropout_layer')
h4 = fc_layer(h3_drop, name='fc_4', n_output_units=10, activation_fn=None)
取り除くユニットの数を
割合で指定するための変数

23. TensorFlowの低レベルAPIを使ってCNNを実装する
● TensorFlowによるCNNの実装(3)
● 損失関数と最適化
23
predictions = {
'probabilities': tf.nn.softmax(h4, name='probabilities'),
'labels': tf.cast(tf.argmax(h4, axis=1), tf.int32, name='labels')
}
cross_entropy_loss = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(logits=h4, labels=tf_y_onehot),
name='cross_entropy_loss')
optimizer = tf.train.AdamOptimizer(learning_rate)
optimizer = optimizer.minimize(cross_entropy_loss, name='train_op')
correct_predictions = tf.equal(predictions['labels'], tf_y, name='correct_preds')
accuracy = tf.reduce_mean(tf.cast(correct_predictions, tf.float32), name='accuracy')

24. TensorFlowの低レベルAPIを使ってCNNを実装する
● セッションの作成とモデルのトレーニング
● テストデータの予測結果
● 99.370%
24
with tf.Session(graph=g) as sess:
train(sess,
training_set=(X_train_centered, y_train),
validation_set=(X_valid_centered, y_valid),
initialize=True,
random_seed=123)
save(saver, sess, epoch=20)

25. TensorFlowのLayers APIを使ってCNNを実装する
● TensorFlowによるCNNの実装(1)
● 畳み込みとプーリング処理
25
tf_x = tf.placeholder(tf.float32, shape=[None, 784], name='tf_x')
tf_y = tf.placeholder(tf.int32, shape=[None], name='tf_y')
is_train = tf.placeholder(tf.bool, shape=(), name='is_train')
tf_x_image = tf.reshape(tf_x, shape=[-1, 28, 28, 1], name='input_x_2dimages')
tf_y_onehot = tf.one_hot(indices=tf_y, depth=10, dtype=tf.float32, name='input_y_onehot')
h1 = tf.layers.conv2d(tf_x_image, kernel_size=(5, 5), filters=32, activation=tf.nn.relu)
h1_pool = tf.layers.max_pooling2d(h1, pool_size=(2, 2), strides=(2, 2))
h2 = tf.layers.conv2d(h1_pool, kernel_size=(5,5), filters=64, activation=tf.nn.relu)
h2_pool = tf.layers.max_pooling2d(h2, pool_size=(2, 2), strides=(2, 2))

26. TensorFlowのLayers APIを使ってCNNを実装する
● TensorFlowによるCNNの実装(2)
● 全結合とドロップアウト
26
input_shape = h2_pool.get_shape().as_list()
n_input_units = np.prod(input_shape[1:])
h2_pool_flat = tf.reshape(h2_pool, shape=[-1, n_input_units])
h3 = tf.layers.dense(h2_pool_flat, 1024, activation=tf.nn.relu)
h3_drop = tf.layers.dropout(h3, rate=self.dropout_rate, training=is_train)
h4 = tf.layers.dense(h3_drop, 10, activation=None)

27. まとめ
● Convolution Neural Network (CNN)
● サブサンプリング
● 最大値プーリング
● 平均値プーリング
27