Downloaded 138 times
![karugamoが写っているの
に、
モデルは推定できなかっ
た
▶モデルの見逃し
あり[予
測]
なし[予
測]
あり[正
解]
XX XX
なし[正
解]
XX XX](https://image.slidesharecdn.com/or4stdcstso3y2ge9y9j-signature-374c82f34edef39b70b04446703e9695f18e1b3f7ea39a07954eb973cfcf3ba4-poli-181106173251/85/slide-36-320.jpg)
![Karugamo でないもの
に、
Karugamo と推定
▶モデルの過検知？
あり[予
測]
なし[予
測]
あり[正
解]
XX XX
なし[正
解]
XX XX](https://image.slidesharecdn.com/or4stdcstso3y2ge9y9j-signature-374c82f34edef39b70b04446703e9695f18e1b3f7ea39a07954eb973cfcf3ba4-poli-181106173251/85/slide-37-320.jpg)
![Challenges
• 探索箇所が広大
• 低密度の中での、最適な値の組み合
わせ
• 評価までのリソースが膨大(時間、人、
カネ)
例えば..
• Number_of_layers と
learning_rate の最適値
• Number_of_layers – [2, 4, 8]
• learning_rate – 0 から 1 の間の
あらゆる値](https://image.slidesharecdn.com/or4stdcstso3y2ge9y9j-signature-374c82f34edef39b70b04446703e9695f18e1b3f7ea39a07954eb973cfcf3ba4-poli-181106173251/85/slide-100-320.jpg)
Uploaded byDaiyu Hatakeyama
エンジニアのための機械学習の基礎
JAZUG 女子部 第13回勉強会の資料。 機械学習の基礎について説明します。 https://jazug.connpass.com/event/106003/
More Related Content
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...](https://cdn.slidesharecdn.com/ss_thumbnails/dl20220318dlfin-220322065433-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to エンジニアのための機械学習の基礎
More from Daiyu Hatakeyama
エンジニアのための機械学習の基礎
- 1.
- 3.
- 4.
- 6. Class 1 Class2 2つ以上でも良い
- 7. Is there adeer in the image? Where is the deer in the image? Where exactly is the deer? What pixels? Which images are similar to the query image? Image Classification Object detection Image segmentation Image Similarity Similar image Query imageYes
- 8.
- 9. Input data Data Transformation TrainModel Algorithm Split Data Score Model Evaluate Model
- 11.
- 12.
- 13.
- 14. 2 + 3= 5
- 15. 2 + 3= 5 簡単 大変…
- 16. 2 + 3= 5 簡単 大変…
- 17.
- 18. Program = Algorithm 人が書く タスクの仕様の定義 アルゴリズムは固定 アルゴリズムは容易に説明できる ソフトウェアが書く 目的:汎化 アルゴリズムはデータに依存 アルゴリズムは時間とともに変わる
- 19. Program = Algorithm 人が書く タスクの仕様の定義 アルゴリズムは固定 アルゴリズムは容易に説明できる ソフトウェアが書く 目的:汎化 アルゴリズムはデータに依存 アルゴリズムは時間とともに変わる 実世界の全てを想定して、 プログラミングするのは、難しい…
- 20. <Python> Modelの保存 出力された Model<C#>Model の読み込み <C#>Model の利用 (実行)
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. • 強い因果関係と説明責任が必要 • 想定外の事態での危機管理な ど • 因果関係が必要な予測 • 人間の予測と機械学習の予 測の両方を使う • 相関関係が分かればいいことの 予測 • 誰が正しいのか議論しても あまり意味がないもの
- 27.
- 30. Kate Crawford’s NIPS2017 Keynote presentation: Trouble with Bias
- 34.
- 35. ①True Positive（真陽性） :100%に近いほど良好 ⇒A/(A+C) ②False Positive（偽陽性） : 0%に近いほど良好 ⇒B/(B+D) ③True Negative : 100%に近いほど良好 ⇒D/(B+D) ④False Negative : 0%に近いほど良好 ⇒C/(C+D) ⑤Accuracy（正解率） : 100%に近いほど良好 ⇒「○」「×」を正しく予測できた割合 ⇒(A+D)/(A+B+C+D) : 100%に近いほど良好 ⑥Precision（適合率） : 100%に近いほど良好 ⇒A/(A+B) ⑦Recall（再現率） : 100%に近いほど良好 ⇒①に同じ ⑧F1 Score :1.0に近いほど良好 ⇒⑥、⑦の複合指標 ⇒2×(⑥×⑦)/(⑥+⑦) 検証用データ 予測で得たクラス ○ × 正解の クラス ○ A件 C件 × B件 D件 正解が「○」 のデータ 推測で「○」と されたデータ A件C件 B件 D件 予測結果例 主な評価指標
- 36.
- 37.
- 38.
- 39. プログラミング 機械学習 アプローチ 演繹的帰納的。つまりブラックボック スは残る 機能保証 (≒ 精度): Function Test 可能 訓練データ次第。ただ、統計の 域を出ない 性能保証: Performance Test 可能 可能 妥当性確認試験: Validation Test 可能 やってみないと、わかならい
- 41. トレーニング済みのモデル ビジネスロジックにMLをアタッチ Azure Databricks VMs DeepLearning Framework Deep Learning モデルの作成 TensorFlow KerasPytorch Azure Machine Learning LanguageSpeech … SearchVision On-premises Cloud Edge 生産性の高いサービス データサイエンティストと開発チームの生産性を上げる パワフルな Compute Deep Learning の学習と推論の加速 柔軟な推論環境の選択肢 Cloud と Edge へのモデル展開と管理 Chainer
- 42. Automated Machine Learning Hyperparameter tuning Distributed Deep Learning New FPGA-powered models Python SDK Azure Notebook 連携
- 43. My Computer Experiment Docker Image DataStore Compute Target Azure ML Workspace
- 45.
- 46.
- 47. Mileage Condition Car brand Year ofmake Regulations … Parameter 1 Parameter 2 Parameter 3 Parameter 4 … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Mileage Gradient Boosted Criterion Loss Min Samples Split Min Samples Leaf Others Model Which algorithm? Which parameters?Which features? Car brand Year of make
- 48. Criterion Loss Min Samples Split MinSamples Leaf Others N Neighbors Weights Metric P Others Which algorithm? Which parameters?Which features? Mileage Condition Car brand Year of make Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Nearest Neighbors Model 繰り返し Gradient BoostedMileage Car brand Year of make Car brand Year of make Condition
- 49. Mileage Condition Car brand Year ofmake Regulations … Gradient Boosted Nearest Neighbors SVM Bayesian Regression LGBM … Gradient Boosted SVM Bayesian Regression LGBM Nearest Neighbors Which algorithm? Which parameters?Which features? 繰り返し Regulations Condition Mileage Car brand Year of make
- 50.
- 51. from azureml.train.automl importAutoMLConfig ##Local compute 'classification' 'AUC_weighted' 12000 20 3 0.9985 'kNN' 'LinearSVM'
- 53.
- 54.
- 56. © 2018 MicrosoftCorporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
- 59. #azurejp ドアの後ろに人がいます 入ってくる人は、男性 / 女性のどちらで しょうか? 既知の情報は以下のみ 年齢: 35歳 年収: 600万円 有給残数: 12日 F (性別) = (0.03 * 年齢) + (0.07 * 年収) – (0.04 * 有給残数) + 0.05 = (0.03 * 3.5) + (0.07 * 6.0) – (0.04 * 1.2) + 0.05 = 0.41 0.5 よりも小さいから = 女性
- 60. トレーニングデー タ 独立したデータ, 特徴, シグナル,属 性 “Predict したい分類, クラス, ラ ベル, 依存しているデータ
- 61.
- 62. Activate Function Input Layer HiddenLayer （妥当な数で） 重み （Weight）
- 63. 入力層 隠れ層 出力層 𝑦1𝑤11 𝑦2 𝑤12 𝑏1 𝑦 = 𝑓 𝑦1 𝑤11 + 𝑦2 𝑤12 + 𝑏1 𝑦: 出力 𝑤: 重み 𝑏: バイアス 𝑓 𝑥 : 活性化関数 パラメータ更新：誤差逆伝播法(Back Propagation) → 全ての「重み」と「バイアス」を調整する Loss Function (実際値と予測値の差を計算)
- 64. Dense （ 全 結 合 層 ） ReLU Dense ReLU Dense Softmax Input Layer HiddenLayer Output LayerHidden Layer
- 65.
- 66. 学習用データ Input LayerHidden Layer Output Layer 直線がない 直線がある 計算していく
- 67. 学習用データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある 結果が違う場合は、 勾配法で最適化
- 68. 1. 課題の特定 2. データの取得と加工 3.モデルの設計 4. モデルの学 習 5. モデルの テストと評価 a. 初期化 b. データセットからミニバッチ データ取得 c. 損失(差分)を計算d. 最適化: 損失(差分)の最小 化 e. 重みづけの更新 y =Wx + b loss = |desired – actual outcome|δ 6. 展開と推論
- 69.
- 70. 最適化 (Optimization) とは、関数やパラメータなどを最適な状態に近づ けること 最適化(Optimization) とは、誤差を最小化（または最大化）するための 最適化対象となるパラメータを探索手法を用いて最適化(探索)すること 言いかえると
- 71.
- 72. • 各層間の「重み」と 「バイアス」 • 平均二乗誤差 (MeanSquared Error / Classification Error) • 交差エントロピー誤差 (Cross-Entropy Error) • 勾配法 (Gradient method) 最適化対象 （Optimization Target） 損失関数 （別名：目的関数 - loss function） 最適化手法 （別名：探索、Optimizer, Learner） ニューラルネットワークにおける学習とは、 モデルの予測値と実際の値との誤差から、パラメータ(重み)を適切に更新する こと
- 73. 学習用データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある 入力データを計算していく
- 74. 平均二乗誤差 (Mean Squared Error/ Classification Error) 回帰や二項分類でよく使われる 交差エントロピー誤差 (Cross-Entropy Error) 多項分類でよく使われる σ(z) がsigmoid 関数の場合、0,1近傍 で微分が≃0となってしまい、コスト 関数の 変化(学習)が止まってしまう 差が大きくなればなるほど、コスト 関数の 変化も大きくなる Cross-entropyが使われることが多いが、Cognitive Toolkit のチュートリアルでは両方使っている。
- 75. Activate Function Input Layer HiddenLayer （妥当な数で） ↑学習対象 These are target Activate Function
- 76.
- 77. Input Layer HiddenLayer Output Layer 直線がない 直線がある 総和 1
- 78. 入力画像データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある
- 79. 学習用データ Input LayerHidden Layer （妥当な数で） Output Layer 直線がない 直線がある 結果が違う場合は、 勾配法で最適化 計算していく
- 80. SGD MomentumSGD • 色々な勾配法 - GradientDescent - SGD - MomentumSGD - AdaGrad - AdaDelta - Adam - RMSpropGraves - NesterovAG 学習率 （Learning Rate） 学習率 モーメンタム （Momentum） 「学習率」を ハイパーパラメータとして指定 「学習率」と「モーメンタム」を ハイパーパラメータとして指定
- 82. 勾配消失問題 (Vanishing Gradient) 過学習 （Overfitting） モデルの学習では重みの勾配 (精度に与える影響 度)を 求める必要があるが、その勾配が「0」 になって しまうこと 過学習 (Overfitting) とは、学習データに対して学 習されているが、未知のデータに対して適合でき ていない (汎化できていない)状態。 特にニューラルネットは複雑なモデルのため 過学習に陥りやすい • Batch Normalization • Dropout • Regularization • Expanding the training data 内容 解決策課題 引用元: http://qiita.com/supersaiakujin/items/935bbc9610d0f87607e8 https://arxiv.org/pdf/1512.03385v1.pdf
- 83.
- 84.
- 85. L1 regularization L2 regularization Cost function(C0) にL1正規化項を追加 ※λ:正規化パラメータ wが大きい：L1 shrinks the weight much less than L2 does. wが小さい： L1 shrinks the weight much more than L2 does. Cost function(C0) にL2正規化項を追加 ※λ:正規化パラメータ →The effect of regularization is to make it so the network prefer to learn small weight Wight decay it makes weight smaller lower complexity reduce overfitting 引用例：http://sig.tsg.ne.jp/ml2015/ml/2015/06/29/techniques-of-learning.html
- 86.
- 87. 元データ ずらしたり 広げたり回転させたり さらに回転させたり ！？ “Is algorithm A better than algorithm B??” “What training data set are you using?”
- 89. • uniform • normal •xavier • glorot_uniform • glorot_normal • he_uniform • he_normal • bilinear • initializer_with_rank • truncated_normal Xavierの初期値 Heの初期値 Glorotの初期値
- 90. Learning rate η？ HiddenLayer の数は？ Mini-batchはどのくらい必要？ Cost functionをどうする？ 何epochでやるの？ Weight initializationはど うする？ Regularization parameter λ？
- 92. Cost function epoch η= 2.5 η=0.025 η= 0.25
- 95.
- 96. Automated Machine Learning Hyperparameter tuning Distributed Deep Learning New FPGA-powered models Python SDK Azure Notebook 連携
- 98. Number_of_ hidden_layers Number_of_ nodes_in_layer Input layer Hidden layer1 Hidden layer 2 Output layer E.g. Learning_rate Batch_size
- 100. Challenges • 探索箇所が広大 • 低密度の中での、最適な値の組み合 わせ •評価までのリソースが膨大(時間、人、 カネ) 例えば.. • Number_of_layers と learning_rate の最適値 • Number_of_layers – [2, 4, 8] • learning_rate – 0 から 1 の間の あらゆる値
- 101. #1 #2 #𝑝 𝑟𝑢𝑛1 𝑟𝑢𝑛2 𝑟𝑢𝑛 𝑝 … Hyperparameter Tuningruns in Azure ML 𝑟𝑢𝑛𝑗 𝑟𝑢𝑛𝑖 𝑟𝑢𝑛 𝑘 (B) 起動中のジョブの管理 • どれくらいの間実行してい るのか? ??? (A) 新規ジョブ起動 • 探索する、Parameter を設 定 𝒓𝒖𝒏 𝟏= {learning rate=0.2, #layers=2, …} 𝒓𝒖𝒏 𝟐= {learning rate=0.5, #layers=4, …} 𝒓𝒖𝒏 𝒑= {learning rate=0.9, #layers=8, …}
- 102.
- 103. ## エスティメーターの作成 from azureml.train.dnnimport TensorFlow script_params = { '--data-folder': ws.get_default_datastore().as_mount(), '--batch-size': 50, '--first-layer-neurons': 300, '--second-layer-neurons': 100, '--learning-rate': 0.01 } estimator = TensorFlow(source_directory=script_folder, script_params=script_params, compute_target=compute_target, entry_script='tf_mnist.py', use_gpu=True)
- 104. ## 探索空間の設定 from azureml.train.hyperdriveimport GridParameterSampling param_sampling = GridParameterSampling( { "num_hidden_layers": choice(1, 2, 3), "batch_size": choice(16, 32) } ) ## 探索空間の設定 from azureml.train.hyperdrive import MedianStoppingPolicy early_termination_policy = MedianStoppingPolicy(evaluation_interval=1, delay_evaluation=5) ## Hyperparameter Search 設定 from azureml.train.hyperdrive import HyperDriveRunConfig hyperdrive_run_config = HyperDriveRunConfig(estimator=estimator, hyperparameter_sampling=param_sampling, policy=early_termination_policy, primary_metric_name=’accuracy’, primary_metric_goal=PrimaryMetricGoal.MAXIMIZE, max_total_runs=100, max_concurrent_runs=4)