Recommended
More Related Content
What's hot
What's hot (20)
Similar to ラビットチャレンジレポート 深層学習Day1
Similar to ラビットチャレンジレポート 深層学習Day1 (19)
Recently uploaded
Recently uploaded (6)
ラビットチャレンジレポート 深層学習Day1
- 2. 目次 ニューラルネットワークの全体像 Section1: 入力層～中間層 Section2: 活性化関数 Section3: 出力層 Section4: 勾配降下法 Section5: 誤差逆伝播法 2
- 4. ニューラルネットワークの全体像 4 概要 ニューラルネットワーク: 機械学習モデルの一種。人間の脳を模した数理モデルで回帰、分類を問わず様々な分野 に応用されている。入力層、中間層、出力層で構成される。 ディープラーニング: 中間層を増やし多層にしたニューラルネットワークモデルのこと。 ニューラルネットワークの模式図 入力層 中間層 出力層 入力層: 3ノード1層 中間層: 2ノード2層 出力層: 1ノード1層 ディープラーニングの応用例 画像認識(VGG、ResNet)、物体検知(R-CNN、YOLO)、骨格推定(OpenPose)、 機械翻訳(GPT、BERT)、画像生成(VAE、GAN)、ゲームAI(DQN、AlphaGo)など
- 5. ニューラルネットワークの全体像 5 確認テスト Q1. ディープラーニングは何をやろうとしているか2行以内で述べよ。 A1. ニューラルネットワークを多層にしてモデルの表現力を高め、より優れた機械学習モデルを構築すること。 Q2. 次の中のどの値の最適化が最終目的か。すべて選べ。 A2. ③重み[W]、④バイアス[b] Q3. 入力層2ノード1層、中間層3ノード2層、出力層1ノード1層のネットワークをかけ。 A3. 入力層 中間層 出力層
- 7. Section1: 入力層～中間層 7 概要 入力層: 入力データ𝒙に対し重み𝑾を掛け合わせバイアス𝑏を加え𝒖を出力する層。 中間層: 入力層から出力された𝒖を活性化関数と呼ばれる非線形関数𝑓で変換した𝒛を出力する層。 𝒖 = 𝑗=1 𝑛 𝑤𝑗𝑥𝑗 + 𝑏 = 𝑾𝒙 + 𝑏 入力層の式 𝒛 = 𝑓(𝒖) 中間層の式 活性化関数𝑓について詳細はSection２でまとめる
- 8. Section1: 入力層～中間層 8 確認テスト Q1. 講義資料の図式に動物分類の実例を入れてみよう。 A1. Q3. 1-1のファイルから中間層の出力を定義しているソースを抜き出せ。 A3. Q2. 𝑢 = 𝑤1𝑥1 + 𝑤2𝑥2 + 𝑤3𝑥3 + 𝑤4𝑥4 = 𝑾𝒙 + 𝑏をPythonで書け。 A2. 𝑥1 𝑤1 𝑥2 𝑥3 𝑥4 𝑏 𝑤2 𝑤3 𝑤4 𝑢 𝑧 𝑧 𝑥1: 体長(3.2m) 𝑥2: 体重(6000kg) 𝑥3: 耳の大きさ(1m) 𝑥4: 足の長さ(50cm) 𝑧: ゾウ
- 11. Section2: 活性化関数 11 活性化関数の式と実装 サンプルコード ReLU関数の式 𝑓 𝑥 = 𝑥(𝑥 > 0) 0 (𝑥 ≤ 0) シグモイド関数の式 𝑓 𝑥 = 1 1 + 𝑒−𝑥 ステップ関数の式 𝑓 𝑥 = 1(𝑥 > 0) 0 (𝑥 ≤ 0) ReLU シグモイド関数 ステップ関数 ReLUは勾配消失問題に強く、シグモイド関数やステップ関数よりも優れているといわれている
- 12. Section2: 活性化関数 12 確認テスト Q1. 線形と非線形の違いを図に書いて簡易に説明せよ。 A1. 線形: 足し算と定数倍のみで表され、グラフにすると直線になるもの。 非線形: 直線のグラフで表されないもの。 Q2. 配布されたソースコードより𝒛 = 𝑓(𝒖)に該当する箇所を抜き出せ。 A2. Section１のQ３と同様 線形 非線形
- 13. Section3: 出力層 13
- 14. Section3: 出力層 14 概要 出力層: 中間層の出力結果を目的に合わせて活性化関数で変換したものを出力する層。 回帰問題では恒等写像、2クラス分類ではシグモイド関数、多クラス分類ではソフトマックス関数がよく用いられる。 誤差関数: 出力層の出力(予測値)と真値との誤差の度合いを定量的に表すための関数。損失関数ともよばれ、これを0 に近づけるために重み𝑾とバイアス𝑏の学習を進めていく。 出力層の活性化関数の式 回帰(恒等写像) 𝑓 𝑢 = 𝑢 二値分類(シグモイド関数) 𝑓 𝑢 = 1 1 + 𝑒−𝑢 多クラス分類(ソフトマックス関数) 𝑓 𝒊, 𝒖 = 𝑒𝑢𝑖 𝑘=1 𝐾 𝑒𝑢𝑘 誤差関数の式 回帰(二乗誤差) 𝐸 𝑾 = 1 2 𝑖=1 𝐼 (𝑦𝑖 − 𝑑𝑖)2 分類(交差エントロピー) 𝐸 𝑾 = − 𝑖=1 𝐼 𝑑𝑖log 𝑦𝑖 分類問題では、出力層において各クラスに対する予測確率が出力されその総和が1になる必要がある。 そのため分類問題では出力層にシグモイド関数やソフトマックス関数を使用する。 回帰問題では特に制限がないため恒等写像を用いる。
- 15. Section3: 出力層 15 確認テスト(1/2) Q1. なぜ引き算ではなく二乗するか述べよ。 A1. 誤差を絶対値の大きさで評価するため。例として真値が(3, 8)のデータに対し、予測値が(5, 6)の場合 (3-5)+(8-6)=０となり、誤差は存在しているが誤差関数の値が0となってしまう。このような問題を回避するため に二乗して誤差を大きさのみで評価する。 Q2. 下式の1/2はどういう意味をもつか述べよ。 A2. 誤差関数の最小化には、誤差関数を学習パラメータで微分する必要がある。二乗の式を微分すると係数に2が表 れるため、もとから1/2を乗じておくことで係数を1にするように調整する意味をもっている。 Q3. ①~③の数式に該当するソースコードを示し、一行ずつ処理の説明をせよ。 A3. 𝐸 𝑾 = 1 2 𝑗=1 𝐼 (𝑦𝑖 − 𝑑𝑗)2 = 1 2 (𝒚 − 𝒅) 2 ソフトマックス関数 𝑓 𝒊, 𝒖 = 𝑒𝑢𝑖 𝑘=1 𝐾 𝑒𝑢𝑘 ① ② ③ ① def softmax(x) ② np.exp(x) ③ np.sum(np.exp(x))
- 16. Section3: 出力層 16 確認テスト(2/2) Q4. ①~②の数式に該当するソースコードを示し、一行ずつ処理の説明をせよ。 A4. 交差エントロピー 𝐸𝑛 𝑾 = − 𝑖=1 𝐼 𝑑𝑖log 𝑦𝑖 ① ② ① def cross_entropy_error(d, y) ② -np.sum(np.log(y[np.arange(batch_size), d] + 1e-7)) / batch_size
- 18. Section4: 勾配降下法 18 概要 勾配降下法: 誤差関数を最小化するパラメータを発見するために利用するアルゴリズム。 確率的勾配降下法: 勾配降下法を全データを用いるのではなくランダムにサンプリングしたデータで行う手法。 計算コストの削減や局所解への収束を防ぐなどのメリットがある。 ミニバッチ勾配降下法: 勾配降下法をあらかじめランダムに分割したデータごとに行う手法。確率的勾配降下法より も並列化の容易さなどが利点といてあげられる。 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸 𝛻𝐸 = 𝜕𝐸 𝜕𝒘 = 𝜕𝐸 𝜕𝑤1 ⋯ 𝜕𝐸 𝜕𝑤𝑀 勾配降下法の式 𝜀: 学習率 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸𝑛 確率的勾配降下法の式 誤差関数を微分した値𝛻𝐸が正の場合は負の方向へ、𝛻𝐸が負の場合は正の方向へ重みを更新し誤差関数を最小化する 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸𝑡 ミニバッチ勾配降下法の式 𝐸𝑡 = 1 𝑁𝑡 𝑛∈𝐷𝑡 𝐸𝑛 𝑁𝑡 = 𝐷𝑡 学習率の決定や収束性を向上させるのは非常に難しい課題であり、確率的勾配降下法のアルゴリズムとして Momentum/AdaGrad/Adadelta/Adamなどが考案されている。
- 19. Section4: 勾配降下法 19 確認テスト(1/2) Q1. 該当するソースコードを探してみよう。 A1. 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸 𝛻𝐸 = 𝜕𝐸 𝜕𝒘 = 𝜕𝐸 𝜕𝑤1 ⋯ 𝜕𝐸 𝜕𝑤𝑀 Q2. オンライン学習とは何か。2行でまとめよ。 A2. 学習データが入ってくるたびに、そのデータのみを用いてパラメータを更新して学習を進めていく方法。 一方バッチ学習では、一度に全てのデータを使用してパラメータを更新する 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸 𝛻𝐸 = 𝜕𝐸 𝜕𝒘 = 𝜕𝐸 𝜕𝑤1 ⋯ 𝜕𝐸 𝜕𝑤𝑀
- 20. Section4: 勾配降下法 20 確認テスト(2/2) Q3. この数式の意味を図に書いて説明せよ。 A3. エポック𝑡毎にパラメータ(重み)𝒘が更新されていくことを意味する。 𝒘(𝑡+1) = 𝒘(𝑡) − 𝜀𝛻𝐸𝑡 𝒘(𝑡) 𝒘(𝑡+1) 𝒘(𝑡+2) 𝑡 𝑡 + 1 𝑡 + 2 エポック 重み −𝜀𝛻𝐸𝑡 −𝜀𝛻𝐸𝑡+1
- 24. Section5: 誤差逆伝播法 24 確認テスト Q1. 誤差逆伝播法では不要な再帰的処理を避けることができる。既に行った計算結果を保持しているソースコード を抽出せよ。 A1. Q2. 2つの空欄に該当するソースコードを探せ。 A2. 𝜕𝐸 𝜕𝒚 𝜕𝐸 𝜕𝒚 𝜕𝒚 𝜕𝒖 𝜕𝐸 𝜕𝒚 𝜕𝒚 𝜕𝒖 𝜕𝒖 𝜕𝑤𝑖𝑗 (2) delta2 = functions.d_mean_squared_error(d, y) delta1 = np.dot(ddelta2, W2.T) ＊ functions.d_sigmoid(z1) grad[‘W1’] = np.dot(x.T, delta1)