Recommended
More Related Content
Featured
Featured (20)
End challenge part2
- 3. DAY２
- 21. 実装方法（MomentumをもとにAdaGradを作ってみよう） • Momentum # =========================================== if i == 0: h[key] = np.zeros_like(network.params[key]) h[key] = momentum * h[key] - learning_rate * grad[key] network.params[key] += h[key] # =========================================== • AdaGrad # =========================================== if i == 0: h[key] = np.full_like(network.params[key],1e-4) else h[key] += np.square(grad[key]) network.params[key] += learning_rate * grad[key]/(np.sqrt(h[key])) # ===========================================
- 22. 実装方法 RSMProp learning_rate_t = learning_rate * np.sqrt(1.0 - beta2 ** (i + 1)) / (1.0 - beta1 ** (i + 1)) for key in ('W1', 'W2', 'W3', 'b1', 'b2', 'b3'): if i == 0: m[key] = np.zeros_like(network.params[key]) v[key] = np.zeros_like(network.params[key]) m[key] += (1 - beta1) * (grad[key] - m[key]) v[key] += (1 - beta2) * (grad[key] ** 2 - v[key]) network.params[key] -= learning_rate_t * m[key] / (np.sqrt(v[key]) + 1e-7) if (i + 1) % plot_interval == 0: accr_test = network.accuracy(x_test, d_test) accuracies_test.append(accr_test) accr_train = network.accuracy(x_batch, d_batch) accuracies_train.append(accr_train) Adam h[key] = np.zeros_like(network.params[key]) h[key] *= decay_rate h[key] += (1 - decay_rate) * np.square(grad[key]) network.params[key] -= learning_rate * grad[key] / (np.sqrt(h[key]) + 1e-7)
- 23. RSMPropの初期値の変更 learning_rate = 0.01 decay_rate = 0.99 learning_rate = 0.1 decay_rate = 0.99 learning_rate = 0.01 decay_rate = 0.50 learning_rate = 0.01 decay_rate = 1.2 learning_rate = 0.001 decay_rate = 0.99 初期値は大きくても小さくても うまく学習できない。 特にdecay_rateは大きくすると 学習できないため、1以下にする。
- 24. シンギュラリティ • 2045年 技術的特異点⇒技術革新でAIにとって代わる。 • スウェーデンではマイクロチップを体に埋め込んで決済できる人もい る。 • 日本でも全能アーキテクチャーという学会でドラえもんのようなもの を作るような動きも活発化 • AIは欲がないためどうしたいという気持ちを自発的に持つことができ ない。 • 現在では前頭葉、海馬、大脳、小脳などのパーツはできているが、 • それを組み合わせて意思決定をするまでに至っていない。 • 今後も世界でこの欲についての議論が活発化する。 • 結果として、シンギュラリティよりも前にできる可能性もあり。 ⇒AIの知識や情報を取得し、勉強に生かしていく。
- 25. 過学習 • 過学習・・・特定の訓練サンプルに特化して学習してしまう ことにより、テスト誤差と訓練誤差が乖離する。 原因⇒パラメータの数、値、ノードの数が適切ではないなど ⇒上記をまとめると、ネットワークの自由度が高い状態 解決策 ⇒ネットワークの自由度を制約する（ルールを作る） ⇒正則化手法を利用する。 正則化手法 ⇒L1正則化、L2正則化、ドロップアウト 【確認テスト】リッジ回帰の特徴 ⇒(a)ハイパーパラメータを大きな値に設定すると、 すべての重みが限りなく0に近づく
- 28. 確認テスト • L1正則化を表しているグラフは？ • L1は０の値を取ることが可能のため、スパース化の問題に対応している。 • L2は計算リソースを使える場合は、使ったほうが良い。
- 32. ドロップアウト • 正則化で一番多く使われている。 • ランダムにノード削除してノード数が多い課題を回避 ⇒閾値を超えない場合は、無効化する。 ⇒データ量を変化させずに、異なるモデルを学習させる。 • テンソルフローとチェイナーはやり方は異なるがドロップアウ トの閾値を設けている可能性あり。 （普段はこのようなライブラリを使うことが多い。 特別なことをする場合は、Numpyで組んだりする。） • CNNはデータの偏りがあるため、ドロップアウトが多用される。
- 34. 実装演習 use_dropout = True dropout_ratio = 0.15 use_dropout = False dropout_ratio = 0.15 use_dropout = True dropout_ratio = 1 SGD(learning_rate=0.01) AdaGrad(learning_rate=0.01) Momentum (learning_rate=0.01, momentum=0.9) 良い 過学習 未学習 過学習 過学習 過学習
- 35. 実装演習 Adam() Dropout + L1 うまく学習できている過学習
- 36. 畳み込みニューラルネットワーク（CNN） • 構造例 • 画像で良い結果を出している。 • 畳み込み層、プーリング層の数は任意 • 最後は全結合層⇒出力層 • LeNetの構造が元となっている。
- 37. 畳み込み層 • 入力層（数値）⇒フィルター（重み）⇒出力値＋バイアス ⇒活性化関数 ⇒出力値 全結合層での学習⇒入力値（画像のドット）⇒中間層⇒ ⇒出力層（数字で行ったら10個） ・畳み込み層 ⇒3次元の空間情報も学習できるような層 （画像の縦、横、チャネルの3次元、RGB等） ・演算概念⇒フィルターを掛け合わせて足し合わせる ⇒出てきた数値にバイアスを足されて出力
- 38. 畳み込み層の登場人物 • 入力画像４×４⇒出力画像２×２ ⇒出力画像が小さいけ ど・・・大丈夫か・・・？ • パディング⇒入力画像を大きくして固定データを埋める。 ⇒数値は任意で入れられるが、ランダムに入れるとおかしい画 像になる可能性があるため、影響が少ない「０」を入れることが 一般的。 • 画像を小さくする時のどこからどこまでを１つととらえるか、 何個分スライドさせるか⇒ストライド • 空間的な相関を学習するときに増やした層のことをチャンネル という。RGBの各チャネルの関係性を学習に反映させる。
- 40. Im2col、col2im Im2col・・・多次元配列を2次元配列にするメソット 例） ３×３ ⇒ ９の要素×奥行 ⇒1列に数値化し、奥行の分だけの列を作る。 メリット：行列計算に落とし込むことで多くのライブラリ を活用できる。 col2im・・・2次元配列を画像データにするメソット ※im2colとcol2imのメソットは全く違うため、 多次元⇒2次元⇒多次元 としても別のものが出る。
- 41. プーリング層 • マックスプーリング、アベレージプーリングがある。 ⇒入力画像の対象領域のMax値、または平均値を取得 ⇒両方のやっていることは変わらない。 【確認テスト】 サイズ６×６の入力画像をサイズ２×２のフィルタで畳み込ん だ時の出力画像のサイズは？スライドとパディングは１ OH⇒H＋２P－FH ＋１ OW＝ W+２P－FW ＋１ S S ⇒７×７
- 42. 畳み込みの演習 • 処理はかなり時間がかかった。 • 可変値を変換してみたが、 • まだどこがどのように影響 • しているのかが分かりにくい。
- 43. シラバス • Deep Learning（Goodfellow他著）に則って、抜粋や追加されて出題され る。 • 応用数学は、講義の内容を理解していれば問題ない。 ⇒しっかり手を動かして答えられるようにする。 • 偏微分はシラバスに含まれていないが、誤差逆伝播法で用いるため、必須。 • 機械学習は網羅的に出題される。一般的な話は必ず押さえる。 • NNは微積分の連鎖率が基本であり重要。 • 正則化は講義の内容以外からも出題されるから自己学習が必要。 • 最適化（学習率やパラメータなど）は基本的なアルゴリズム。 • CNNは畳み込み処理、プーリングは最重要。 • RNNは数学的に複雑になり重要なため、自己学習が必要。 ⇒実務ではTensorFlow、Keras、Chainerなどライブラリーを活用する。 • 生成モデル、強化学習は難易度が高いが、概念だけはつかんでおく。
- 45. クローラー • （検索は英語でやったほうがヒットしやすい。⇒能力鍛え る。） • 手元にデータがない場合はクローラーを作ってみる。 ⇒データベースの知識がない場合などに、CSVとして出力 できるため、有効。 • タイムスリープをしっかり入れないとはじかれる。 ⇒5秒ごとに取る、でもはじかれることがあるため、ランダム にスリープするとうまくいくことがある。 【確認テスト】サイズ５×５ フィルタ３×３、S２、P１ ⇒（５＋２×１－３）／２＋１ ＝３ H、W同じ
- 46. DAY３
- 49. 実装演習（バイナリでの加算）（パラメータ変更） weight_init_std = 1 learning_rate = 0.1 hidden_layer_size = 16 weight_init_std = 10 learning_rate = 0.1 hidden_layer_size = 16 weight_init_std = 1 learning_rate = 0.001 hidden_layer_size = 16 weight_init_std = 1 learning_rate = 0.1 hidden_layer_size = 100 パラメータのチューニングは勘が必要で、 いろいろやってみて、つかめるように なるしかない。
- 50. 実装演習（重みの初期化方法を変更） # Xavier W_in = np.random.randn(input_layer_size, hidden_layer_size) / (np.sqrt(input_layer_size)) W_out = np.random.randn(hidden_layer_size, output_layer_size) / (np.sqrt(hidden_layer_size)) W = np.random.randn(hidden_layer_size, hidden_layer_size) / (np.sqrt(hidden_layer_size)) # He W_in = np.random.randn(input_layer_size, hidden_layer_size) / (np.sqrt(input_layer_size)) * np.sqrt(2) W_out = np.random.randn(hidden_layer_size, output_layer_size) / (np.sqrt(hidden_layer_size)) * np.sqrt(2) W = np.random.randn(hidden_layer_size, hidden_layer_size) / (np.sqrt(hidden_layer_size)) * np.sqrt(2)
- 51. 実装演習（中間層の活性化関数変更） Relu関数（中間層、逆伝播部分） z[:,t+1] = functions.relu(u[:,t+1]) delta[:,t] = (np.dot(delta[:,t+1].T, W.T) + np.dot(delta_out[:,t].T, W_out.T)) * functions.d_relu(u[:,t+1]) tanh（ハイパボリックタンジェント）の利用 （導関数定義、中間層、逆伝播） def d_tanh(x): return 1/(np.cosh(x) ** 2) z[:,t+1] = np.tanh(u[:,t+1]) delta[:,t] = (np.dot(delta[:,t+1].T, W.T) + np.dot(delta_out[:,t].T, W_out.T)) * d_tanh(u[:,t+1])
- 53. BPTT（数学的記述）
- 54. BPTT（数学的記述２）
- 56. ビジネス事例 • インフラとしては、リソースが足りなくなるため、スペックの 高いサーバやGPUを使うことが多い。 ⇒ビジネスとしては、AIサーバやクラウドなどの製品、 サービスがある。 • AIエンジニアがその基礎を理解していれば、そのAIをどう使う かだけになる。 • ユーザ自信が幸福になるようなAIの使い方を考える。
- 57. BPTT（数学的記述３、４）
- 58. BPTT（数学的記述３、４）
- 63. LSTMの全体図
- 64. CEC • 勾配消失及び勾配爆発の解決方法。勾配が１であれば解決できる。 • これに勾配が１になり続けて勾配爆発は起きなくなる。 • 課題）時間の依存度に関係なく重みが一律である。 ⇒学習特性がなくなる⇒重み衝突という。 ⇒入力ゲートと出力ゲートで解決させる。
- 72. Section５） Seq2Seq Seq2Seq・・・機械対話や機械翻訳などに使用される、 Encoder-Decoderモデルの一つ。 Encoder RNNとは・・・ユーザがインプットしたテキストデー タを単語などのトークンに区切って渡す。 Taking：文章を単語などのトークンに分割しIDを付与 Embedding：IDからそのトークンを表す分散表現ベクトルに 変換。 Encoder RNN：ベクトルを順番にRNNに入力する。
- 73. Encoder RNN処理手順 ①vec1をRNNに入力し、hidden stateを出力 ②①を次の入力vec2などに繰り返す。 ③最後のvecを入れた時のhidden stateがfinal state （thought vectorと呼ばれる）となり、入力した分の意味を 表すベクトルとなる。
- 74. Decoder RNN システムがアウトプットしたデータを単語などのトークンごとに 生成する。 【処理】 ①Encoder RNNのfinal state(thought vector)をinitial sttate として設定し、Embeddingを入力。 ②Sampling:生成確率に基づいてトークンをランダムに選ぶ ③Embedding:②のトークンをEmbeddingして次の入力にする。 これを繰り返す。 ④Detokenize:繰り返したトークンを文字列に直す。
- 75. 確認テスト 解答（２）
- 77. HRED • Seq2Seqの課題 ⇒一問一答しかできない。（文脈の流れを即して 答えを出すことができない。 ⇒HRED・・・過去n-1個の発話から次の発話を生成 ⇒前の単語の流れに即して応答されるため、より人間らしい 解答ができる。 HRED⇒Seq2Seq＋Context RNN（Encoderのまとめた書く文章の系 列をまとめて、これまでの会話コンテキスト全体を表すベクトルに変 換する構造となっている。） ⇒過去の発話の履歴を加味した返答ができる。 課題）確率的な多様性が字面にしかなく、会話の流れのような多様性 がない。（質問が同じなら答えも同じ）⇒短い情報量に乏しい解答を しがち。
- 80. 牽引企業 • クラウド ⇒AWS・・・価格安く、使いやすい。 ⇒GCP・・・TensorFlowなどは充実している。 • ライブラリ ⇒プリフォードネットワークスのChainer（日本産） ⇒TensorFlow（使いやすい。APIも使える） • ハードウエア ⇒NVIDIA（GPUは強い） ⇒Google（NVIDIAのGPUは使えていない） • ソリューション ⇒TOYOTA（自動運転） ※お金が投資されたか、などをニュースや新聞で追うとよい。
- 85. DAY４
- 87. TensorFlow TensorFlowの基本的な演算3つ • PlaceHolder・・・？を入力しておくことで変数を入力できる。 あとから値を自在に変えることができる。 ⇒バッチごとに変数を代入して学習する際などに利用。 • Variables・・・変数を定義する。定数ではないため、変える ことができる（tf.assignを使う）。初期値に戻す場合は、 global_variables_initializer() を利用。 • constant・・・定数を定義
- 88. 線形回帰の実装 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline ＃プロットはこれを記載するか2回目、3回目で表示される。 iters_num = 300 #学習回数。for分にいれる。 plot_interval = 10 #何回の学習ごとに誤差を表示するか。 # データを生成 n = 100 #100個のランダムなxを生成し、３×Ｘ＋２の正解dを作っている。 x = np.random.rand(n) d = 3 * x + 2 # 上記では一直線のデータ展開のため、ノイズを作る。 noise = 0.3 #0～0.3のノイズを作り、ｄに加えることでまばらな点にする。 d = d + noise * np.random.randn(n) # 入力値（ここからTensorFlowの実装） xt = tf.placeholder(tf.float32) #変数を指定して後ほど代入して学習する。 dt = tf.placeholder(tf.float32) # 最適化の対象の変数を初期化 W = tf.Variable(tf.zeros([1]))#初期値0のウェイト b = tf.Variable(tf.zeros([1]))#初期値0のバイアス y = W * xt + b #wとbを学習で求める。 # 誤差関数 平均2乗誤差 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline ＃プロットはこれを記載するか2回目、3回目で表示される。 iters_num = 300 #学習回数。for分にいれる。 plot_interval = 10 #何回の学習ごとに誤差を表示するか。 # データを生成 n = 100 #100個のランダムなxを生成し、３×Ｘ＋２の正解dを作っている。 x = np.random.rand(n) d = 3 * x + 2 # 上記では一直線のデータ展開のため、ノイズを作る。 noise = 0.3 #0～0.3のノイズを作り、ｄに加えることでまばらな点にする。 d = d + noise * np.random.randn(n) # 入力値（ここからTensorFlowの実装） xt = tf.placeholder(tf.float32) #変数を指定して後ほど代入して学習する。 dt = tf.placeholder(tf.float32) # 最適化の対象の変数を初期化 W = tf.Variable(tf.zeros([1]))#初期値0のウェイト b = tf.Variable(tf.zeros([1]))#初期値0のバイアス y = W * xt + b #wとbを学習で求める。 # 誤差関数 平均2乗誤差
- 89. 線形回帰の実装 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline ＃プロットはこれを記載するか2回目、3 回目で表示される。 iters_num = 300 #学習回数。for分にいれる。 plot_interval = 10 #何回の学習ごとに誤差を表示するか。 # データを生成 n = 100 #100個のランダムなxを生成し、３×Ｘ＋２の正 解dを作っている。 x = np.random.rand(n) d = 3 * x + 2 # 上記では一直線のデータ展開のため、ノイズを作る。 noise = 0.3 #0～0.3のノイズを作り、ｄに加えることで まばらな点にする。 d = d + noise * np.random.randn(n) # 入力値（ここからTensorFlowの実装） xt = tf.placeholder(tf.float32) #変数を指定して後ほど代入 して学習する。 dt = tf.placeholder(tf.float32) # 最適化の対象の変数を初期化 W = tf.Variable(tf.zeros([1]))#初期値0のウェイト b = tf.Variable(tf.zeros([1]))#初期値0のバイアス y = W * xt + b #wとbを学習で求める。 # 誤差関数 平均2乗誤差 loss = tf.reduce_mean(tf.square(y - dt)) #回帰なのでロスは 平均二乗誤差 optimizer = tf.train.GradientDescentOptimizer(0.1)#学習率 は0.1 train = optimizer.minimize(loss) #ロスを最小化していく。 #TensorFlowの学習の準備ここまで
- 90. 線形回帰の実装 # 初期化 init = tf.global_variables_initializer() #TensorFlowの初期化 sess = tf.Session() #セッションの立ち上げ sess.run(init) # 作成したデータをトレーニングデータとして準備 x_train = x.reshape(-1,1) d_train = d.reshape(-1,1) # トレーニング for i in range(iters_num): sess.run(train, feed_dict={xt:x_train,dt:d_train}) #変数を代入して、ロ スを最小化する学習を行う。 if (i+1) % plot_interval == 0: # プロットを行う。 loss_val = sess.run(loss, feed_dict={xt:x_train,dt:d_train}) W_val = sess.run(W) b_val = sess.run(b) print('Generation: ' + str(i+1) + '. 誤差 = ' + str(loss_val)) print(W_val)# 結果として３に近くなる。これはノイズでwを３にしたから。 print(b_val)#結果として2に近くなる。これはノイズでbを2に設定したから # 予測関数 def predict(x): return W_val * x + b_val fig = plt.figure() subplot = fig.add_subplot(1, 1, 1) plt.scatter(x, d) linex = np.linspace(0, 1, 2) liney = predict(linex) subplot.plot(linex,liney) plt.show()
- 92. 非線形回帰 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt iters_num = 10000 plot_interval = 100 # データを生成 n=100 x = np.random.rand(n).astype(np.float32) * 4 - 2 d = - 0.4 * x ** 3 + 1.6 * x ** 2 - 2.8 * x + 1 #非線形な解を生成 # ノイズを加える noise = 0.05 d = d + noise * np.random.randn(n) # モデル # bを使っていないことに注意. xt = tf.placeholder(tf.float32, [None, 4]) dt = tf.placeholder(tf.float32, [None, 1]) W = tf.Variable(tf.random_normal([4, 1], stddev=0.01)) ＃重みが4つ y = tf.matmul(xt,W) ＃↑標準偏差0.001のランダムな初期値 # 誤差関数 平均２乗誤差 loss = tf.reduce_mean(tf.square(y - dt)) optimizer = tf.train.AdamOptimizer(0.001)#Adamに変更 train = optimizer.minimize(loss) # 初期化 init = tf.global_variables_initializer() sess = tf.Session() sess.run(init) # 作成したデータをトレーニングデータとして準備 d_train = d.reshape(-1,1) x_train = np.zeros([n, 4]) for i in range(n): for j in range(4): x_train[i, j] = x[i]**j #ｘの３乗、2乗、1乗をx_trainに代入 # トレーニング for i in range(iters_num): if (i+1) % plot_interval == 0: loss_val = sess.run(loss, feed_dict={xt:x_train, dt:d_train}) W_val = sess.run(W) print('Generation: ' + str(i+1) + '. 誤差 = ' + str(loss_val)) sess.run(train, feed_dict={xt:x_train,dt:d_train}) print(W_val[::-1])
- 93. 非線形回帰 # 予測関数 def predict(x): result = 0. for i in range(0,4): result += W_val[i,0] * x ** I #ウェイトが増えた分、複雑になっている。 return result fig = plt.figure() subplot = fig.add_subplot(1,1,1) plt.scatter(x ,d) linex = np.linspace(-2,2,100) liney = predict(linex) subplot.plot(linex,liney) plt.show()
- 94. 非線形回帰 ノイズ0.05 dを-0.4,1.6,-2.6,1 ノイズ5 dを3,-2,8,10 ノイズを大きくするとばらつきが大きくなるが、dの値を変えてもうまく回帰することができる。
- 96. MNISTの分類（1層） • x：入力値, d：教師データ, W：重み, b：バイアス をそれぞれ定義し よう x = tf.placeholder(tf.float32, [None, 784])#28×28で784の入力 d = tf.placeholder(tf.float32, [None, 10])#0~9の10クラスの出力 W = tf.Variable(tf.random_normal([784, 10], stddev=0.01))#ウェイ トは784×10のシェイプ、stddevは0.01で初期化 b = tf.Variable(tf.zeros([10]))#バイアスはゼロで初期化した10個の出 力
- 97. MNISTの分類（3層） hidden_layer_size_1 = 600 hidden_layer_size_2 = 300 ⇒784の入力から600⇒300という隠れ層を通して10個の出力がで るニューラルネットワークができる。 hidden_layer_size_1 = 600 hidden_layer_size_2 = 300 optimizer = tf.train.AdamOptimizer(1e-4)
- 98. MNISTの分類（3層） hidden_layer_size_1 = 200 hidden_layer_size_2 = 30 optimizer = tf.train.AdamOptimizer(1e-4) hidden_layer_size_1 = 800 Hidden_layer_size_2 = 400 optimizer = tf.train.AdamOptimizer(1e-4) 隠れ層の数を小さくすると、学習速度は速くなるが、精度が悪くなる。逆に大きくすると学習速度は速くな るが、精度は高くなる。（精度と速度のトレードオフ）
- 99. MNISTの分類（3層） hidden_layer_size_1 = 600 hidden_layer_size_2 = 300 optimizer = tf.train.AdagradOptimizer(0.1) hidden_layer_size_1 = 600 Hidden_layer_size_2 = 300 optimizer = tf.train.RMSPropOptimizer(0.001) Optimizerごとに精度を見ていく。さらに学習回数を上げて、学習精度が頭打ちになったところで打ち切るこ とで、精度と速度を見ていく。
- 100. CNN（MNIST) # placeholder x = tf.placeholder(tf.float32, shape=[None, 784])#MNISTのデータを入れる。 d = tf.placeholder(tf.float32, shape=[None, 10]) # 第一層のweightsとbiasのvariable W_conv1 = tf.Variable(tf.truncated_normal([5, 5, 1, 32], stddev=0.1))#5×5はCNNのフィルターサイズで、1チャンネルのものを32チャンネルに拡張を行う。 b_conv1 = tf.Variable(tf.constant(0.1, shape=[32]))#バイアスの定義 # 第一層のconvolutionalとpool # strides[0] = strides[3] = 1固定 h_conv1 = tf.nn.relu(tf.nn.conv2d(x_image, W_conv1, strides=[1, 1, 1, 1], padding=‘SAME’) + b_conv1)#パディングがSAMEはshapeが変わらないようなパディン グを実装している。 TensorFlowでCNNを実装する場合は、tf.cnn.conv2dメソッドに フィルターを渡してあげるだけで良い。 Max_poolもtf.nn.max_poolメソッドを使える。
- 102. 論文から実装 • DNNをやる場合は、先行研究や精度が高い論文を見て実装していくことが必要となる。 ⇒どのように実装するか。 ⇒arxivで調べると、無料で論文を得ることができる。 例）VGG arxiv ⇒アーキテクチャーの部分が重要。どのように実装するか、精度などが記載されている。 ⇒一番エラーレートが低いものを選ぶ。 • VGGやResnetなど有名なものはブルグで実装方法が記載されているものもある。 • コードはGithubですでに実装されているものが上がっているものもある。⇒Usageに使 い方が記載されている。 • C-netなどは新しいものなので、ネットの情報を参考に自分で実装する必要があるものも ある。 ⇒基本的には、すでにあるものを修正していく。 • 物体認識で使われるYoloについてもベーシックな要素は論文に書かれているが、オフィ シャルなサイトも用意されており、参考にすることができる。
- 104. 確認テスト VGG、GoogLeNet、ResNetの特徴をそれぞれ完結に述べよ。 • VGG・・・3つの中で一番古く、 Convolution,Convokution,max_poolという単純なネットワーク の積み重ねでてきておりシンプルな構成となっているが、パラ メータ数が多い。 • GoogLeNet・・・１×１を使った畳み込みを使った次元削減な どを行うinception moduleを使っている。様々なフィルターサ イズを使うことによるスパースなものとなっている。 • ResNet・・・残差接続を行うスキップコネクションアイデン ティモジュールを使うことで深い学習が可能。
- 106. Keras（線形回帰） import numpy as np import matplotlib.pyplot as plt iters_num = 1000 plot_interval = 10 x = np.linspace(-1, 1, 200) np.random.shuffle(x) d = 0.5 * x + 2 + np.random.normal(0, 0.05, (200,)) from keras.models import Sequential from keras.layers import Dense # モデルを作成 model = Sequential()#ノルムのSequential（）を用意 model.add(Dense(input_dim=1, output_dim=1))#全結 合層を足して1層の根tt-ワークを作っている。 # モデルを表示 model.summary()#モデルを表示（Denseやパラメータ数など） # モデルのコンパイル model.compile(loss=‘mse’, optimizer=‘sgd’)#loss（二乗誤差）とoptimizer（隠れ付き勾配降 下法）を定義⇒誤差関数や最適化関数は様々なものが利用できる。 # train for i in range(iters_num): loss = model.train_on_batch(x, d) if (i+1) % plot_interval == 0: print('Generation: ' + str(i+1) + '. 誤差 = ' + str(loss)) W, b = model.layers[0].get_weights() print('W:', W) print('b:', b) y = model.predict(x) plt.scatter(x, d) plt.plot(x, y) plt.show()
- 107. 単純パーセプトロン（分類） # モジュール読み込み import numpy as np from keras.models import Sequential from keras.layers import Dense, Activation from keras.optimizers import SGD # 乱数を固定値で初期化 np.random.seed(0) # シグモイドの単純パーセプトロン作成 model = Sequential() model.add(Dense(input_dim=2, units=1)) model.add(Activation('sigmoid')) model.summary() model.compile(loss='binary_crossentropy', optimizer=SGD(lr=0.1)) # トレーニング用入力 X と正解データ T X = np.array( [[0,0], [0,1], [1,0], [1,1]] )#OR 回路 T = np.array( [[0], [1], [1], [1]] ) # トレーニング model.fit(X, T, epochs=30, batch_size=1)#for分で回すのではなく、 Kerasの関数で学習している。 # トレーニングの入力を流用して実際に分類 Y = model.predict_classes(X, batch_size=1)#ｙのクラスを予測 print("TEST") print(Y == T)
- 108. Keras（単純パーセプトロン） 変更前 np.random.seed(1) ⇒初期値 が変わるため、学習が変わる エポック数を100⇒ロスが下 がっていくが汎化性能に注意 AND回路 OR回路⇒2つは不正解。非線形なデー タは学習できないため。 OR回路バッチサイズ10←結果は変わ らないが速度が速くなる。 OR回路エポック数300⇒同じ ←ニューロンの数を増やす と学習可能となる。 ↑バッチサイズはGPUの性能を 引き出すために、2の倍数で設定 する。（データ数が少ない場合 は少なく、多い場合は多くする。
- 109. Keras（Irisの分類） import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris()#データセットの設定 x = iris.data d = iris.target from sklearn.cross_validation import train_test_split x_train, x_test, d_train, d_test = train_test_split(x, d, test_size=0.2) # 学習データと検証データの分割 #以下モデルの定義 from keras.models import Sequential from keras.layers import Dense, Activation # from keras.optimizers import SGD #モデルの設定（ReLU、softmaxを利用した2層のNN） model = Sequential() model.add(Dense(12, input_dim=4)) model.add(Activation('relu')) # model.add(Activation('sigmoid')) model.add(Dense(3, input_dim=12)) model.add(Activation('softmax')) model.summary() model.compile(optimizer='sgd', loss='sparse_categorical_crossentropy', metrics=['accuracy']) history = model.fit(x_train, d_train, batch_size=5, epochs=20, verbose=1, validation_data=(x_test, d_test)) loss = model.evaluate(x_test, d_test, verbose=0)#今回のデータのターゲットは０，１，２の３種類のため、 sparse categorical crossentropuを使っている。Metrics=accuracyは学習の途中でaccuracyを表示する。 #Accuracy plt.plot(history.history['acc']) plt.plot(history.history['val_acc']) plt.title('model accuracy') plt.ylabel('accuracy') plt.xlabel('epoch') plt.legend(['train', 'test'], loc='upper left') plt.ylim(0, 1.0) plt.show()
- 111. Keras（MNISTの分類） # 必要なライブラリのインポート import sys, os sys.path.append(os.pardir) # 親ディレクトリのファイルをインポートするための設定 import keras import matplotlib.pyplot as plt from data.mnist import load_mnist#dataというメソッドを使ってデータを読み込み (x_train, d_train), (x_test, d_test) = load_mnist(normalize=True, one_hot_label=True)#trainとtest データに分ける。 # 必要なライブラリのインポート、最適化手法はAdamを使う From keras.models import Sequential From keras.layers import Dense, Dropout From keras.optimizers import Adam # モデル作成 Model = Sequential() Model.add(Dense(512, activation=‘relu’, input_shape=(784,)))#インプット784、中間層512 Model.add(Dropout(0.2)) Model.add(Dense(512, activation=‘relu’))#中間層はReLUを使っていて512 Model.add(Dropout(0.2)) Model.add(Dense(10, activation=‘softmax’))#アウトプットはソフトマックスでクラス10 Model.summary() # バッチサイズ、エポック数 batch_size = 128 epochs = 20 model.compile(loss='categorical_crossentropy', optimizer=Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False), metrics=[‘accuracy’])#誤差関数はcrossentropy、オプティマイザーはAdam、 history = model.fit(x_train, d_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_test, d_test)) loss = model.evaluate(x_test, d_test, verbose=0) print('Test loss:', loss[0]) print('Test accuracy:', loss[1]) #Accuracy plt.plot(history.history['acc']) plt.plot(history.history['val_acc']) plt.title('model accuracy') plt.ylabel('accuracy') plt.xlabel('epoch') plt.legend(['train', 'test'], loc='upper left') # plt.ylim(0, 1.0) plt.show()
- 112. Keras（MNISTの分類） • Categorical_crossentropyの場合は、One_hotでは使えない。 その場合は、Sparse_categorical_entropyを利用する。 • Kerasでは、ラーニングレートなどのパラメータを簡単に変更 できるため、試してみる。 • TensorFlowではウェイトのshapeを手計算で決める必要があっ たが、Kerasでは入力さえちゃんとしていれば、自動でshape を計算して動くようになっている。
- 113. Keras（mnistをCNNで学習） # 必要なライブラリのインポート import sys, os sys.path.append(os.pardir) # 親ディレクトリのファイルをインポートするための 設定 import keras import matplotlib.pyplot as plt from data.mnist import load_mnist (x_train, d_train), (x_test, d_test) = load_mnist(normalize=True, one_hot_label=True) # 行列として入力するための加工 batch_size = 128 num_classes = 10 epochs = 20 img_rows, img_cols = 28, 28#input_shapeは28×28×１ x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1) x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1) input_shape = (img_rows, img_cols, 1) # 必要なライブラリのインポート、最適化手法はAdamを使う from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten from keras.layers import Conv2D, MaxPooling2D from keras.optimizers import Adam #convolutionのネットワークを組む（conv2d,maxpooling2dで簡単に組める） model = Sequential() model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=input_shape))#1層目、出力のチャネル数３２、3,3の フィルターサイズ、 model.add(Conv2D(64, (3, 3), activation='relu'))2層目64チャンネル model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activation=‘relu’))#全結合で128次元 model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.summary()
- 114. Keras（mnistをCNNで学習） # バッチサイズ、エポック数 batch_size = 128 epochs = 20 model.compile(loss='categorical_crossentropy', optimizer=Adam(), metrics=['accuracy']) history = model.fit(x_train, d_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_test, d_test)) #Accuracy plt.plot(history.history['acc']) plt.plot(history.history['val_acc']) plt.title('model accuracy') plt.ylabel('accuracy') plt.xlabel('epoch') plt.legend(['train', 'test'], loc='upper left') # plt.ylim(0, 1.0) plt.show()
- 116. Keras（CIFAR-10） #CIFAR-10のデータセットのインポート from keras.datasets import cifar10 (x_train, d_train), (x_test, d_test) = cifar10.load_data() #shapeは32×32×３チャンネル、正解はone-hotではない #CIFAR-10の正規化 from keras.utils import to_categorical # 特徴量の正規化 x_train = x_train/255.#NNでの入力は0，1などの小さなスケールにする必要があるため、255で割っている。 x_test = x_test/255. # クラスラベルの1-hotベクトル化 d_train = to_categorical(d_train, 10) d_test = to_categorical(d_test, 10) # CNNの構築 import keras from keras.models import Sequential from keras.layers.convolutional import Conv2D, MaxPooling2D from keras.layers.core import Dense, Dropout, Activation, Flatten import numpy as np model = Sequential() model.add(Conv2D(32, (3, 3), padding='same',input_shape=x_train.shape[1:])) model.add(Activation('relu')) model.add(Conv2D(32, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Conv2D(64, (3, 3), padding='same')) model.add(Activation('relu')) model.add(Conv2D(64, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(512)) model.add(Activation('relu')) model.add(Dropout(0.5)) model.add(Dense(10)) model.add(Activation('softmax')) # コンパイル model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])
- 117. Keras（CIFAR-10） #訓練 history = model.fit(x_train, d_train, epochs=20) # モデルの保存 model.save(‘./CIFAR-10.h5’)#あとでこのモデルを呼び出すことができる ようにしている。 #評価 & 評価結果出力 print(model.evaluate(x_test, d_test)) ※実務では、学習済みモデルを保存 しておいて、そのモデルをもとにし て利用する。
- 118. Keras(RNN） 変更なし ノード数128⇒学習精度が上がるがスピードが落ちる。 RNN活性化関数をsigmoid⇒精度が落ちる RNN活性化関数をtanh⇒精度が上がってスピードもアップ
- 124. 強化学習の歴史 • 強化学習も冬の時代があったが、計算速度の向上、関数近似法 とQ学習を組み合わせる手法の登場などで再び注目を集めるよ うになった。 • 関数近似法・・・価値関数や方策関数を関数近似する手法 • Q学習・・・行動価値関数を行動する毎に更新することにより 学習を進める方法
- 128. DCGAN（論文解説） DCGAN（Deep Convolutional Generative Adversarial Networks) ・・・CNNのディープなネットワークにより敵対的学習を使って画像 を生成する、という生成系のディープラーニングのネットワーク。 ⇒潜在空間でベクトルとして表現したものからGeneratorの部分の 画像を生成するので、数式的に画像を扱うことができる。 （女性の笑顔の画像と普通の顔の画像から笑顔を取り出し、男性の普 通の画像をもとに男性の笑顔の画像を生成する、など） GAN・・・Generatorが生成した画像と実際の画像を比較し、 Discriminatorというモデルがその画像は作られたものかを判定する。 Discriminatorは正確に判定するために重みを更新し、Generatorは Discriminatorが判定ができないように画像を生成することを目標に重 みを更新する。
- 132. Kaggle • Kaggle・・・データ分析やAIなどの分野の世界一を決めるような世 界大会が開かれているサイト。運用はGoogleが実施しているが、企 業がCompetitionを開いて賞金を出すものもある。 • KernelやDiscussionなどを見るとよい。 • コンテストに出るときには、PCでやりたければデータセットが少な いものにする、などデータセットの見極めが重要。 • 特徴量ごとに1000以上のスクリプトができたりするため、スクリプ トの管理が重要。 • 自分だけの力でやろうとすると順位は上がらないことが多いため、 そこそこのスコアが出るKernelを利用して作成すると順位が上がり、 モチベーションが上がる。 • Kernelに上がっているものでDiscussionを利用して作成する。 • 最初はシングルモデルでもよいが、それでは太刀打ちできないため、 チームで良いところを集めてアンサンブルすることで精度が上がる。