Downloaded 98 times
![my_model = Sequential ([
Dense(64, activation=relu),
Dense(64, activation=relu),
Dense(10, activation=softmax)
])
with default_options(activation=relu):
my_model = Sequential([
For(range(2), lambda: Dense(64)),
Dense(10, activation=softmax)
])
net = Dense(64, activation=relu)(net)
net = Dense(64, activation=relu)(net)
net = Dense(10, activation=softmax)(net)
普通に実装
Sequential()
For()
活性化関数にReLU を
使う 2つの隠れ層と
Softmaxを使う出力層
を実装した３つの例](https://image.slidesharecdn.com/r6fa1p3truazv6jwtdw7-signature-693ba3e44e1482f197cdb156e01e464b4a53cc63925736ed9c64c75737dd4460-poli-180918212955/85/Deep-Learning-2-Deep-Learning-81-320.jpg)
![def create_model(model_uri, num_classes, input_features, feature_node_name, last_hidden_name, new_prediction_node_name='pred
base_model = C.load_model(download_from_uri(model_uri))
feature_node = C.logging.find_by_name(base_model, feature_node_name)
last_node = C.logging.find_by_name(base_model, last_hidden_name)
cloned_layers = C.combine([last_node.owner]).clone(C.CloneMethod.clone,
{feature_node: C.placeholder(name='features')})
feat_norm = input_features - C.Constant(114)
cloned_out = cloned_layers(feat_norm)
return C.layers.Dense(num_classes, activation=None, name=new_prediction_node_name) (cloned_out)](https://image.slidesharecdn.com/r6fa1p3truazv6jwtdw7-signature-693ba3e44e1482f197cdb156e01e464b4a53cc63925736ed9c64c75737dd4460-poli-180918212955/85/Deep-Learning-2-Deep-Learning-91-320.jpg)
Uploaded byDaiyu Hatakeyama
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
Deep Learning の技術的基礎部分を中心にまとめています。実装をする際の各種ハイパーパラメータの概要は理解できる程度に。
More Related Content
Similar to 機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
![[第2版]Python機械学習プログラミング 第13章](https://cdn.slidesharecdn.com/ss_thumbnails/13-190318023252-thumbnail.jpg?width=640&height=640&fit=bounds)
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
- 1.
- 4. トレーニングデー タ 独立したデータ, 特徴, シグナル,属 性 “Predict したい分類, クラス, ラ ベル, 依存しているデータ
- 5.
- 6. Activate Function Input Layer HiddenLayer （妥当な数で） 重み （Weight）
- 7. 入力層 隠れ層 出力層 𝑦1𝑤11 𝑦2 𝑤12 𝑏1 𝑦 = 𝑓 𝑦1 𝑤11 + 𝑦2 𝑤12 + 𝑏1 𝑦: 出力 𝑤: 重み 𝑏: バイアス 𝑓 𝑥 : 活性化関数 パラメータ更新：誤差逆伝播法(Back Propagation) → 全ての「重み」と「バイアス」を調整する Loss Function (実際値と予測値の差を計算) Activation Function: 例: ReLU 人間の脳の動きを模倣した分析手法
- 11.
- 12.
- 13. 28 pixel 28pixel 0 12 9 特徴量
- 14. 28 pixel 28pixel 0 12 9 色無し シナプスに0/(サンプル数/10)が足される 色あり シナプスに1/(サンプル数/10)が 足される
- 15. 28 pixel 28pixel 0 12 9 色あり シナプスに1/(サンプル数/10)が 足される 色無し シナプスに0/(サンプル数/10)が足される
- 17.
- 18. 28 pixel 28pixel 0 12 色が付いているニューロンと繋がっている シナプスのみを残し、そのシナプスの値を アウトプットのニューロンごとに足して平均を計算 0 1 2 3 4 5 6 7 8 9 0.2 0.85 0.3 0.4 0.3 0.3 0.34 0.71 0.4 0.4 １
- 21. 0 1 2 ニューロンは784＋10＝ 794個 784 x 10 = 7840本
- 22. 0 1 2 ニューロンは 784＋100＋10＝894個 784 x 100 + 100 x 10 = 785000本 隠れ層
- 24.
- 25.
- 26. ニューロン数 正解率 なし 76% 100x 1 87% 200 x 1 88% 400 x 1 90% 784 x 1 91% 784 x 2 92% 784 x 3 92% 200 x 2 90% 隠れ層内のニューロン数を変えた場合 隠れ層の数 正解率 なし 76% １ 87% ２ 88% ３ 89% ４ 87% 隠れ層の数を変えた場合 (各層100ニューロン)
- 28.
- 29.
- 31.
- 33.
- 34.
- 35.
- 36. 最適化 (Optimization) とは、関数やパラメータなどを最適な状態に近づ けること 最適化(Optimization) とは、目的関数を最小化（または最大化）するた めの 最適化対象となるパラメータを探索手法を用いて探索すること 言いかえると 重要なのはこの３つ 「目的関数」、 「最適化対象」、 「探索
- 37.
- 38. • 各層間の「重み」 • 平均二乗誤差 (MeanSquared Error / Classification Error) • 交差エントロピー誤差 (Cross-Entropy Error) • 勾配法 (Gradient method) 最適化対象 （Optimization Target） 目的関数 （別名：損失関数 - loss function） 探索手法 （別名：Optimizer, Learner） ニューラルネットワークにおける学習とは、 モデルの予測値と実際の値との誤差から、パラメータ（重み）を適切に更新 すること
- 39. 平均二乗誤差 (Mean Squared Error/ Classification Error) •交差エントロピー誤差 (Cross-Entropy Error) σ(z) がsigmoid 関数の場合、0,1近傍 で微分が≃0となってしまい、コスト 関数の変化(学習)が止まってしまう 差が大きくなればなるほど、コスト 関数の変化も大きくなる Cross-entropyが使われることが多いが、Cognitive Toolkit のチュートリアルでは両方使っている。
- 40. Activate Function Input Layer HiddenLayer （妥当な数で） ↑学習対象 These are target Activate Function
- 41.
- 42. Input Layer HiddenLayer Output Layer 直線がない 直線がある 総和 1
- 43. 入力画像データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある
- 44. 学習用データ Input LayerHidden Layer Output Layer 直線がない 直線がある
- 45. 学習用データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある 結果が違う場合は、 勾配法で学習（調整） 入力データを計算していく
- 46. SGD MomentumSGD • 色々な勾配法 - GradientDescent - SGD - MomentumSGD - AdaGrad - AdaDelta - Adam - RMSpropGraves - NesterovAG 学習率 （Learning Rate） 学習率 モーメンタム （Momentum） 「学習率」を ハイパーパラメータとして指定 「学習率」と「モーメンタム」を ハイパーパラメータとして指定
- 48. 勾配消失問題 (Vanishing Gradient) 過学習 （Overfitting） モデルの学習では重みの勾配 (精度に与える影響 度)を 求める必要があるが、その勾配が「0」 になって しまうこと 過学習 (Overfitting) とは、学習データに対して学 習されているが、未知のデータに対して適合でき ていない (汎化できていない)状態。 特にニューラルネットは複雑なモデルのため 過学習に陥りやすい • Batch Normalization • Dropout • Regularization • Expanding the training data 内容 解決策課題 引用元: http://qiita.com/supersaiakujin/items/935bbc9610d0f87607e8 https://arxiv.org/pdf/1512.03385v1.pdf
- 49.
- 50.
- 51. L1 regularization L2 regularization Cost function(C0) にL1正規化項を追加 ※λ:正規化パラメータ wが大きい：L1 shrinks the weight much less than L2 does. wが小さい： L1 shrinks the weight much more than L2 does. Cost function(C0) にL2正規化項を追加 ※λ:正規化パラメータ →The effect of regularization is to make it so the network prefer to learn small weight Wight decay it makes weight smaller lower complexity reduce overfitting 引用例：http://sig.tsg.ne.jp/ml2015/ml/2015/06/29/techniques-of-learning.html
- 52.
- 53. 元データ ずらしたり 広げたり回転させたり さらに回転させたり ！？ “Is algorithm A better than algorithm B??” “What training data set are you using?”
- 55. • uniform • normal •xavier • glorot_uniform • glorot_normal • he_uniform • he_normal • bilinear • initializer_with_rank • truncated_normal Xavierの初期値 Heの初期値 Glorotの初期値
- 56. Learning rate η？ HiddenLayer の数は？ Mini-batchはどのくらい必要？ Cost functionをどうする？ 何epochでやるの？ Weight initializationはど うする？ Regularization parameter λ？
- 58. Cost function epoch η= 2.5 η=0.025 η= 0.25
- 61.
- 63. Is there adeer in the image? Where is the deer in the image? Where exactly is the deer? What pixels? Which images are similar to the query image? Image Classification Object detection Image segmentation Image Similarity Similar image Query imageYes
- 64. Jabil, Printed CircuitBoard Defect Detection Schneider Electric, Circuit Breaker Defect Detection Shell, Counting Grey Stock of Pipes for Inventory Management Land O’Lakes, Sustainability Farming, Map Labeling Brillio - Which images are similar to the query image? Image Classification Object detection Image segmentation Image Similarity Darlie, Retail Store Inspection
- 65. 深層学習による主な画像解析 Image Classification Object Detection What? What? Where? What? Where?Shape? What are specified? Algorithms CNN Fast(er) R-CNN Mask R-CNN Microsoft の例 Custom Vision, CNTK Custom Vision, CNTK ..(In near future?) 複雑 単純
- 66. 2015 • Fast R-CNN 2015-16 •Faster R- CNN 2015-16 • YOLO 2015-16 • SSD 2017 • Mask R-CNN Object Detection Image Segmentation
- 67.
- 68. 畳み込み プーリング 畳み込みプーリング 全結合層 出力入力 犬 (0.01) 猫 (0.04) ボート(0.94) 鳥 (0.01) ガウシアンフィルタの様な処理をして特徴を自動抽出する層
- 69.
- 70. 1 2 30 0 1 2 3 3 0 1 2 2 3 0 1 2 0 1 0 1 2 1 0 2 15 16 6 15
- 71. 1 2 30 0 1 2 3 3 0 1 2 2 3 0 1 2 0 1 0 1 2 1 0 2 15 1*2=2 2*0=0 3*1=3 0*0=0 1*1=1 2*2=4 3*1=3 0*0=0 1*2=2
- 72. 1 2 30 0 1 2 3 3 0 1 2 2 3 0 1 2 0 1 0 1 2 1 0 2 15 16
- 73. 1 2 30 0 1 2 3 3 0 1 2 2 3 0 1 2 0 1 0 1 2 1 0 2 15 16 6
- 74. 1 2 30 0 1 2 3 3 0 1 2 2 3 0 1 2 0 1 0 1 2 1 0 2 15 16 6 15
- 76. 1 4 25 1 8 7 14 2 5 1 8 7 1 42 5 1 8 7 1 4 25 1 8 7 1 4 2 51 8 7 1 4 2 5 18 7 1 4 2 5 1 87 4 2 5 2 5 1 5 1 8
- 77. 12 102 1425 … 54 99 21 33 … 76 90 20 223 … … … … … … 12 102 14 25 … 54 99 21 33 … 76 90 20 223 … … … … … … 12 102 14 25 … 54 99 21 33 … 76 90 20 223 … … … … … … 12 102 14 25 … 54 99 21 33 … 76 90 20 223 … … … … … …
- 80. Dense （ 全 結 合 層 ） ReLU Dense ReLU Dense Softmax Input Layer HiddenLayer Output LayerHidden Layer
- 81. my_model = Sequential([ Dense(64, activation=relu), Dense(64, activation=relu), Dense(10, activation=softmax) ]) with default_options(activation=relu): my_model = Sequential([ For(range(2), lambda: Dense(64)), Dense(10, activation=softmax) ]) net = Dense(64, activation=relu)(net) net = Dense(64, activation=relu)(net) net = Dense(10, activation=softmax)(net) 普通に実装 Sequential() For() 活性化関数にReLU を 使う 2つの隠れ層と Softmaxを使う出力層 を実装した３つの例
- 82.
- 83.
- 84.
- 86.
- 87.
- 88. Training Validation Test 70002000 1000
- 89.
- 90.
- 91. def create_model(model_uri, num_classes,input_features, feature_node_name, last_hidden_name, new_prediction_node_name='pred base_model = C.load_model(download_from_uri(model_uri)) feature_node = C.logging.find_by_name(base_model, feature_node_name) last_node = C.logging.find_by_name(base_model, last_hidden_name) cloned_layers = C.combine([last_node.owner]).clone(C.CloneMethod.clone, {feature_node: C.placeholder(name='features')}) feat_norm = input_features - C.Constant(114) cloned_out = cloned_layers(feat_norm) return C.layers.Dense(num_classes, activation=None, name=new_prediction_node_name) (cloned_out)
- 92.
- 93.
- 100.
- 106. Transfer Learning で使いまわ し LearningRate でより細かく Data Augmentation で水増し Imbalanced データには気を付 けて
- 107.
- 109.