Recommended
More Related Content
What's hot
What's hot (20)
Similar to 機械学習と深層学習入門
Similar to 機械学習と深層学習入門 (16)
機械学習と深層学習入門
- 2. 目次 1 1. 機械学習（Machine Learning）について ・機械学習とは ・機械学習の種類 ・教師あり学習の手法 （k-NN, 線形回帰, ロジスティック回帰, SVM） 2. 深層学習（Deep Learning）について ・深層学習とは ・活性化関数と学習手法 ・深層学習の種類（CNN, RNN, GAN） 3. 書籍紹介
- 4. 機械学習とは 「人間が持つ学習にあたる仕組みを 機械（特にコンピュータ）で実現する 技術・手法の総称」（Wikipedia） 何かしらの目的を達成するための 知識や行動を、データを読み込ま せることで機械に獲得させるため の技術 3 AI 機械学習 (Machine Learning) 深層学習 （Deep Learning） 例)PC, スマホ 例)線形回帰 ロジスティック回帰 SVM 例)CNN RNN
- 5. 教師あり学習 （supervised learning） 教師なし学習 （unsupervised learning） 強化学習 （reinforcement learning） 機械学習 （machine learning） 機械学習の種類 4
- 7. モデル 特徴 利点 欠点 K-近傍法(k-neighbors) 訓練データセットから一番近い点 を見つける 最も単純・理解しやすい 処理速度が遅い・多数の特徴量を 扱えない 線形モデル(linear model) 線形関数（linear function）を用い て予測を行う・係数や切片を予測 訓練も予測も高速・予測手法を理 解しやすい モデルの制約が強い ナイーブベイズ(naive bayes) 各要素が独立に予測対象に影響を 与えていると仮定して、ベイズの 定理を用いて確率を予測 線形モデルより高速 線形モデルより精度が劣る 決定木(decision tree)) 木構造のモデルによって分類 結果のモデルが容易に可視化でき る・データスケールに影響されな い 過剰適合しやすく、汎化性能が低 い ランダムフォレスト (random forest) 異なる決定木を大量に生成し、結 果を集計して予測 汎化性能が高い・パラメータ チューニングやスケール変換がい らない・最も一般的手法 高次元で疎なデータ（テキスト 等）に機能しない・訓練も予測も 遅い 勾配ブースティング決定木 (gradient boosting) 一つ前の決定木の誤りを次の木が 修正するように順番に複数の決定 木を生成する 最も強力で広く使われている・パ ラメータの設定がうまくいけばラ ンダムフォレストより性能がよい パラメータのチューニングが重 要・訓練の時間が長い・高次元で 疎なデータに機能しない サポートベクターマシン (support vector machine) 回帰によって分類する・マージン の最大化を取り入れたもの さまざまなデータセットに対して 機能する強力なモデル 理解が難しい・データの前処理と パラメータ調整が高度 ニューラルネットワーク (neural network) 生物のシナプス結合を模したネッ トワーク・様々な種類があり教師 あり学習と教師なし学習の両方が ある 大量のデータから複雑なモデルを 構築できる 大量のデータと十分な計算時間が 必要・理解が難しい
- 12. 11 教師あり学習の手法 線形モデル(linear model)を用いた回帰 𝑤 ∶ 特徴量 𝑥 に対する「重み」（傾き）𝑥 ∶ 特徴量 𝑏 ∶ バイアス （切片） データの分布を線形関数(linear function)で近似する手法 重回帰（2つ以上の入力データからある値を予測） 単回帰（1つの入力データからある値を予測） （例）身長(x)から体重(y)を予測 （例）身長(x1)・ウエスト(x2)・体脂肪率(x3)から体重(y)を予測
- 13. 12 通常最小二乗法(ordinary least squares :OLS) （引用： https://mathtrain.jp/leastsquares ） 正規方程式による解法 （解析的手法：式変形により解を求める手法） 厳密な解が得られる一方で常に解があるとは限らない 計算コストが大きい →LinearRegression（パラメータの調整がいらない） 勾配降下法による解法 （数値的解法：具体的な数値を代入し続け、近似的な解を得る手法） 誤差が生じることもあるが、ほとんどの場合解が求められる →SGDRegressor（パラメータ（学習率）の調整が必要）
- 15. 勾配降下法の種類 14 手法 特徴 メリット デメリット バッチ勾配降下法 （最急降下法） 全ての訓練データを 使用 ・安定している ・遅い ・Local Minimumに 収束しやすい 確率的勾配降下法 （SGD） ランダムに一個の データを選んで使用 ・速い ・Global Minimum に収束しやすい ・安定しない ミニバッチ勾配 降下法 ランダムに選んだ 複数のデータを使用 ・速い ・安定している ・Global Minimum ・特になし Global MinimumとLocal Minimum→
- 20. 19 教師あり学習の手法 ロジスティック回帰(Logistic regression)とは 数値の説明変数から確率を計算して予測をおこなう分類モデル （正確には線形モデルではなく、一般化線形モデル） 一般化線形モデルとは 目的変数が正規分布以外の確率分布に従う場合でも 使うことができるようにした線形モデル （例）目的変数：服のサイズ（S, M, L）（離散） 説明変数：身長（連続） →目的変数の確率に対しリンク関数（log）を導入 →交差エントロピー誤差を最小化し、パラメータβを最適化
- 21. 20 教師あり学習の手法 線形サポートベクトルマシン (Linear Support Vector Machine) 汎化性の高さや応用分野の広さから、 データ分析の現場で最も注目を集めるモデル 「マージン最大化」という考えに基づき主に 2値分類で使われる （他クラス分類や回帰への拡張も可能） 計算コストが大きいため大規模なデータには 適さない（中規模データセットで使われる）
- 25. 深層にするメリット 26 層を適切に重ねることで非線形表現を可能にする（＝任意の関数を近似できる） 単一のニューロンの活性化を表す式 𝑦 = 0 (𝑤1 𝑥1 + 𝑤2 𝑥2 ≤ θ) 1 (𝑤1 𝑥1 + 𝑤2 𝑥2 > θ) https://qiita.com/fan2tamo/items/dfe09498cbd6a89f6ef7 を用いて表せるのは線形表現（OR, AND, NAND）のみ →w1, w2 , θの値をうまく調整することで表現できる （ANDの例: w1=0.5, w2=0.5, θ=0.7） ＊赤丸が出力y=0, 黒丸が出力y=1 https://watlab-blog.com/2019/12/12/mlp-xor/ XORを表現するには OR, AND, NANDの組み合わせが必要
- 32. 畳み込みニューラルネットワーク（CNN） 33 • 画像認識によく用いられるニューラルネット • 生物の視覚野に学んだ構造 • 入力は画像データ • 畳み込み層(Convolution layer)とプーリング層(Pooling layer)の繰り返し CNN（Convolutional Neural Network）とは https://products.sint.co.jp/aisia/blog/vol1-16
- 33. 34 畳み込みニューラルネットワーク（CNN） 畳み込み層（Convolution layer） • 入力画像にフィルタをかけて 特徴を抽出した特徴マップを出力 • 画像全体をフィルタがスライドし 特徴がどこにあっても抽出できる • フィルタは誤差逆伝播法での学習に より自動生成される （CNNの学習とはフィルタを更新すること） • フィルタの数だけ特徴マップが生成 される https://products.sint.co.jp/aisia/blog/vol1-16
- 34. 35 畳み込みニューラルネットワーク（CNN） プーリング層（Pooling layer） • 特徴マップから重要な情報を残しながら 元の画像を縮小=次元削減 • プーリング層の出力が次の畳み込み層の 入力となり、新しいフィルタを生成する • 特徴の位置感度を低下することで、 位置に対するロバスト性を高める https://products.sint.co.jp/aisia/blog/vol1-16
- 35. 再帰型ニューラルネットワーク（RNN） 36 • 自然言語処理や音声認識によく用いられるニューラルネット • ある層の出力が遡って入力される再帰結合を持つ • 入力は時系列データ • 過去の情報を保持しながら学習を進める • LSTM, GRU, Attention RNN等多くの発展形がある RNN（Recurrent Neural Network）とは https://deepage.net/deep_learning/2017/05/23/recurrent-neural-networks.html
- 36. 敵対的生成ネットワーク（GAN） 37 • 画像生成等の生成モデル（あるデータを元に新しいデータを生成する） として用いられるニューラルネット • 生成器（Generator）と識別器（Discriminator）から構成される • GeneratorはDiscriminatorに偽物だと識別されないようなデータを生成し DiscriminatorはGeneratorに騙されないように識別をおこなう GAN（Generative Adversarial Network）とは https://ledge.ai/gan/
- 37. 38 書籍紹介
- 40. 機械学習入門したい人向け（深層学習編） 41 ゼロから作るDeep Learning①② （Deep Larningやるなら誰もが通る道。 フレームワークなしで構築するから勉強になる。 ②は自然言語処理） PyTorchによる発展ディープラーニング （Pytorchユーザーはこれやってる人が多い印象。 やってないから詳細はわかりません。 ディープラーニングのフレームワークを使った実装は 公式のtutorialとQitta以上に役立つ書籍出会えてない。）
- 42. 参考資料 ・【書籍】Pythonではじめる機械学習~sckit-learnで学ぶ特徴量 エンジニアリングと機械学習の基礎~ （オライリー・ジャパン） ・【書籍】東京大学のデータサイエンティスト育成講座 ~pythonで手を動かして学ぶデータ分析~ （マイナビ出版） ・【HP】 MathWorks社「機械学習とは？」 （https://jp.mathworks.com/discovery/machine-learning.html） ・【HP】 Platinum Data Blog 「強化学習入門〜これから強化学習を学びたい人のための基礎知識〜」 （http://blog.brainpad.co.jp/entry/2017/02/24/121500） ・【HP】その他 都度リンク挿入しました 43