• AI と Deep Learning について私的にまとめたもの
• By @wata909 。正しいかどうかは・・・?
• つっこみぷりーず
• 内容は以下の感じ
• そもそも「 AI (人工知能)」とは?
• 人工知能の研究の歴史と、現在の状態
• Deep Learning (深層学習)と関連手法
• CNN 、 GAN 、 RNN 、 LSTM などの技術
• 強化学習も加えたい
• ライセンスについて
• wata909 が書いた部分については CC0 1.0 全世界
• 引用している図等については、それぞれの著作権者が権利
を有しています
人工知能と Deep Learning についての私的メモ
そもそも
AI (人工知能)とは?
たとえば
人間のように判断し、話すコンピューター
人工知能
間違えではないが,全てではない
• 1956 年のダートマス会議で定義された用語
• 「機械に人間の知的能力を模倣知的能力を模倣させるもの」(三宅、 2016 )
• 「知的能力を模倣」させるので、方法は色々
• エキスパートシステム、遺伝的アルゴリズム、マルコフ
モデル、ベイジアンネットワーク、ニューラルネット
ワーク、 etc…
• 「知的能力を再現」ではない(あくまで、模倣)
• 人間と同じアルゴリズムで知的能力を発揮するわけでない
• 強い AI と弱い AI
• 特定の問題の解決に特化したものが弱い弱い AIAI
• 知性を持ったといえるものが強い強い AIAI
• 今活用されている AI は「弱い弱い AIAI 」である
• が、哲学的議論もあってこの辺はいろいろ
そもそも「 AI (人工知能)」とは?
• 人工知能研究の歴史
• 2 度の冬の時代と 3 度のブーム。現在は現在は 33 度目のブーム度目のブーム
• 期待と失望が繰り返される
そもそも「 AI (人工知能)」とは?
https://www.google.co.jp/search?q=%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD+%E5%86%AC%E3%81%AE%E6%99%82%E4%BB
%A3&source=lnms&tbm=isch&sa=X&ved=0ahUKEwj8rNewlcbcAhWHVLwKHajsDpIQ_AUIDCgD&biw=1132&bih=956
「人工知能 + 冬の時代」の画像検索結果
Deep Learning と
関連手法
• Deep LearningDeep Learning (深層学習)の開発
• 第 3 次 AI ブームのきっかけ
• 四層以上のニューラルネットワークのことといわれる
• アルゴリズム的には、誤差逆伝搬とディープ・オートエン
コーダの開発により実用化
• 学習に必要なビックデータの収集ビックデータの収集と、 GPUGPU の普及による計
算能力の向上も要因
Deep Learning と関連手法
Large Scale Visual Recognition Challenge (ILSVRC) 誤判定率。
2012 に Deep Learning が登場して以降、圧倒的正答率を示している。
https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa
• Deep Learning の位置づけ
Deep Learning と関連手法
機械学習のサブセット機械学習のサブセットであるディープラーニングディープラーニングが、これまでにない破壊破壊
的イノベーション的イノベーションを起こしています
出典: https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
• Deep Learning と機械学習の比較
• 従来の機械学習:人による人による特徴量の設定
• 利点:データが少なくとも可能、金銭的、計算能力的に安
価、モデルを解釈しやすい
• Deep Learning :特徴量抽出、モデル構築、分類を自動自動
化化
• 分類精度が高い、データのスケールメリット、複雑な特徴
選択が不要、適応性、応用性が高い
Deep Learning と関連手法
https://jp.mathworks.com/discovery/deep-learning.html
人による人による
特徴量設定特徴量設定
画像処理に画像処理に
よる特徴抽よる特徴抽
出出
モデルによるモデルによる
分類分類
学習用画像学習用画像
の準備の準備
AIAI による特徴量の抽による特徴量の抽
出と画像の分類出と画像の分類
• Deep Learning と機械学習の使いどころ
• Deep Learning :データが多く多く、複雑複雑な現象
• 1 カテゴリー、 1000 サンプルといわれる
• 機械学習:データが少なく少なく、単純単純な現象
• 色々な Deep Learning
• Deep Learning といっても様々複数の手法がある
Deep Learning と関連手法
https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa
• 畳み込みニューラルネットワーク( CNNCNN )
• 「畳み込み」と「プーリング」を繰り返す
• 画像の特徴量を抽出
• なぜ抽出できるのかは、不明
• 主に「分類分類」に使われる
• 写っているのが、犬か猫か等々
Deep Learning (深層学習)と関連手法
畳み込みニューラルネットワークの構造
畳み込み層と
プーリング層の処理
https://www.slideshare.net/Takayosi/nvidia-51814334
• 再帰型ニューラルネットワーク( RNNRNN )と
LSTMLSTM (Long short-term memory)
• RNN: 内部にループを持ち、情報を持続させる
• t-1 のデータを保持
• LSTM:RNN の一種で、長期依存性を扱える
• 例えば p ステップ前の状態など
• ブロックの中の処理で、保持すべき情報、忘却すべき情報を
学習する
• 音声、言語、映像認識等、時系列を持ったデータ時系列を持ったデータに強い
Deep Learning (深層学習)と関連手法
RNN の概念図
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
LSTM の概念図
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
• 敵対的生成ネットワーク( GANGAN )
• 分類ではなく生成モデル生成モデル
• Generator と Discriminator の二つを教育
• Generator が偽札を作り Discriminator がその真偽を判定、と
例えられる
• 十分学習した Discriminator が、真偽の判断が難しい画像を
Generator が作るのがゴール
• pix2pixpix2pix が有名
• 線画から着色、白黒からカラーへ
• https://github.com/phillipi/pix2pix
Deep Learning (深層学習)と関連手法
敵対的生成ネットワーク( GAN )の概念図
https://products.sint.co.jp/aisia/blog/vol1-19
ラーメン画像を学習させた例
https://qiita.com/octpath/items/acaf5b4dbcb4e105a8d3
• 人工知能は「知的能力を模倣」するもの
• 現状は問題特化型の「弱い AI 」。イメージとは異なる
• 「人工知能」だからといって、人間のような総合的な判人間のような総合的な判
断ではない断ではない
• Deep LearningDeep Learning により三回目のブーム
• 画像分類等に高い性能を示す
• CNN 、 RNN 、 LSTM 、 GAN 等の手法
• 解決したい問題により、手法の選択が必要
とりあえずのまとめ

AIとDeep Learningについての私的メモ

  • 1.
    • AI とDeep Learning について私的にまとめたもの • By @wata909 。正しいかどうかは・・・? • つっこみぷりーず • 内容は以下の感じ • そもそも「 AI (人工知能)」とは? • 人工知能の研究の歴史と、現在の状態 • Deep Learning (深層学習)と関連手法 • CNN 、 GAN 、 RNN 、 LSTM などの技術 • 強化学習も加えたい • ライセンスについて • wata909 が書いた部分については CC0 1.0 全世界 • 引用している図等については、それぞれの著作権者が権利 を有しています 人工知能と Deep Learning についての私的メモ
  • 2.
  • 3.
  • 4.
    • 1956 年のダートマス会議で定義された用語 •「機械に人間の知的能力を模倣知的能力を模倣させるもの」(三宅、 2016 ) • 「知的能力を模倣」させるので、方法は色々 • エキスパートシステム、遺伝的アルゴリズム、マルコフ モデル、ベイジアンネットワーク、ニューラルネット ワーク、 etc… • 「知的能力を再現」ではない(あくまで、模倣) • 人間と同じアルゴリズムで知的能力を発揮するわけでない • 強い AI と弱い AI • 特定の問題の解決に特化したものが弱い弱い AIAI • 知性を持ったといえるものが強い強い AIAI • 今活用されている AI は「弱い弱い AIAI 」である • が、哲学的議論もあってこの辺はいろいろ そもそも「 AI (人工知能)」とは?
  • 5.
    • 人工知能研究の歴史 • 2度の冬の時代と 3 度のブーム。現在は現在は 33 度目のブーム度目のブーム • 期待と失望が繰り返される そもそも「 AI (人工知能)」とは? https://www.google.co.jp/search?q=%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD+%E5%86%AC%E3%81%AE%E6%99%82%E4%BB %A3&source=lnms&tbm=isch&sa=X&ved=0ahUKEwj8rNewlcbcAhWHVLwKHajsDpIQ_AUIDCgD&biw=1132&bih=956 「人工知能 + 冬の時代」の画像検索結果
  • 6.
  • 7.
    • Deep LearningDeepLearning (深層学習)の開発 • 第 3 次 AI ブームのきっかけ • 四層以上のニューラルネットワークのことといわれる • アルゴリズム的には、誤差逆伝搬とディープ・オートエン コーダの開発により実用化 • 学習に必要なビックデータの収集ビックデータの収集と、 GPUGPU の普及による計 算能力の向上も要因 Deep Learning と関連手法 Large Scale Visual Recognition Challenge (ILSVRC) 誤判定率。 2012 に Deep Learning が登場して以降、圧倒的正答率を示している。 https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa
  • 8.
    • Deep Learningの位置づけ Deep Learning と関連手法 機械学習のサブセット機械学習のサブセットであるディープラーニングディープラーニングが、これまでにない破壊破壊 的イノベーション的イノベーションを起こしています 出典: https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
  • 9.
    • Deep Learningと機械学習の比較 • 従来の機械学習:人による人による特徴量の設定 • 利点:データが少なくとも可能、金銭的、計算能力的に安 価、モデルを解釈しやすい • Deep Learning :特徴量抽出、モデル構築、分類を自動自動 化化 • 分類精度が高い、データのスケールメリット、複雑な特徴 選択が不要、適応性、応用性が高い Deep Learning と関連手法 https://jp.mathworks.com/discovery/deep-learning.html 人による人による 特徴量設定特徴量設定 画像処理に画像処理に よる特徴抽よる特徴抽 出出 モデルによるモデルによる 分類分類 学習用画像学習用画像 の準備の準備 AIAI による特徴量の抽による特徴量の抽 出と画像の分類出と画像の分類
  • 10.
    • Deep Learningと機械学習の使いどころ • Deep Learning :データが多く多く、複雑複雑な現象 • 1 カテゴリー、 1000 サンプルといわれる • 機械学習:データが少なく少なく、単純単純な現象 • 色々な Deep Learning • Deep Learning といっても様々複数の手法がある Deep Learning と関連手法 https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa
  • 11.
    • 畳み込みニューラルネットワーク( CNNCNN) • 「畳み込み」と「プーリング」を繰り返す • 画像の特徴量を抽出 • なぜ抽出できるのかは、不明 • 主に「分類分類」に使われる • 写っているのが、犬か猫か等々 Deep Learning (深層学習)と関連手法 畳み込みニューラルネットワークの構造 畳み込み層と プーリング層の処理 https://www.slideshare.net/Takayosi/nvidia-51814334
  • 12.
    • 再帰型ニューラルネットワーク( RNNRNN)と LSTMLSTM (Long short-term memory) • RNN: 内部にループを持ち、情報を持続させる • t-1 のデータを保持 • LSTM:RNN の一種で、長期依存性を扱える • 例えば p ステップ前の状態など • ブロックの中の処理で、保持すべき情報、忘却すべき情報を 学習する • 音声、言語、映像認識等、時系列を持ったデータ時系列を持ったデータに強い Deep Learning (深層学習)と関連手法 RNN の概念図 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM の概念図 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
  • 13.
    • 敵対的生成ネットワーク( GANGAN) • 分類ではなく生成モデル生成モデル • Generator と Discriminator の二つを教育 • Generator が偽札を作り Discriminator がその真偽を判定、と 例えられる • 十分学習した Discriminator が、真偽の判断が難しい画像を Generator が作るのがゴール • pix2pixpix2pix が有名 • 線画から着色、白黒からカラーへ • https://github.com/phillipi/pix2pix Deep Learning (深層学習)と関連手法 敵対的生成ネットワーク( GAN )の概念図 https://products.sint.co.jp/aisia/blog/vol1-19 ラーメン画像を学習させた例 https://qiita.com/octpath/items/acaf5b4dbcb4e105a8d3
  • 14.
    • 人工知能は「知的能力を模倣」するもの • 現状は問題特化型の「弱いAI 」。イメージとは異なる • 「人工知能」だからといって、人間のような総合的な判人間のような総合的な判 断ではない断ではない • Deep LearningDeep Learning により三回目のブーム • 画像分類等に高い性能を示す • CNN 、 RNN 、 LSTM 、 GAN 等の手法 • 解決したい問題により、手法の選択が必要 とりあえずのまとめ