Submit Search
Upload
NN, CNN, and Image Analysis
•
1 like
•
4,020 views
Yuki Shimada
Follow
NNの基礎, CNNとImage Analysis入門
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 25
Download now
Download to read offline
Recommended
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
機械学習プロフェッショナルシリーズ 異常検知と変化検知 第8章 ガウス過程回帰による異常検知
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
https://math-coding.connpass.com/event/147508/ Math&coding#6 の発表資料
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
yukihiro domae
スペクトルアプローチのGraphConvolution について解説
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
論文「Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition」を読んでみました
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
尼崎Pythonの会#3での発表資料です。
Prml sec6
Prml sec6
Keisuke OTAKI
PRML, sec6 slide.
深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについて
ryosuke-kojima
人工知能セミナー:確率プログラミングの世界:論理と確率をつなぐ人工知能「深層学習と確率プログラミングを融合したEdwardについて」講演資料 ディープラーニングと確率モデルを統合的に扱うことのできるPythonライブラリEdwardの紹介と解説
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
Recommended
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
機械学習プロフェッショナルシリーズ 異常検知と変化検知 第8章 ガウス過程回帰による異常検知
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
https://math-coding.connpass.com/event/147508/ Math&coding#6 の発表資料
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
yukihiro domae
スペクトルアプローチのGraphConvolution について解説
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
論文「Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition」を読んでみました
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
尼崎Pythonの会#3での発表資料です。
Prml sec6
Prml sec6
Keisuke OTAKI
PRML, sec6 slide.
深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについて
ryosuke-kojima
人工知能セミナー:確率プログラミングの世界:論理と確率をつなぐ人工知能「深層学習と確率プログラミングを融合したEdwardについて」講演資料 ディープラーニングと確率モデルを統合的に扱うことのできるPythonライブラリEdwardの紹介と解説
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
yukihiro domae
論文「FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis」を読んでみました
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
人生ではじめて作ったスライド
Learning Depthwise Separable Graph Convolution from Data Manifold
Learning Depthwise Separable Graph Convolution from Data Manifold
yukihiro domae
論文「Learning Depthwise Separable Graph Convolution from Data Manifold」を読んでみました
線形識別モデル
線形識別モデル
貴之 八木
上智大学宮本研究室の勉強会発表資料です. PRML(パターン認識と機械学習)の第4章「線形識別モデル」から一部抜粋してまとめました.
2値分類・多クラス分類
2値分類・多クラス分類
t dev
機械学習の勉強会で発表したもの。 『深層学習』(岡谷貴之)のChapter2.4.3および2.4.4を解説した。
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Tomoki Yoshida
CVXPYの使い方の説明とラグランジュ双対問題について説明 ※縮小表示だと日本語が消えることがあるので全画面で御覧ください
確率プロット
確率プロット
Tomoyuki Tarumi
probability plot
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
Morpho, Inc.
今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去(デノイジング)や、不要なテクスチャの除去(スムーシング)等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法((TV最適化など))と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。 Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
ICML2013読み会 Distributed training of Large-scale Logistic models の発表資料
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。 画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識(Prior)を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。 制約付き最適化問題の解放として、ADMM(Alternating Direction Method of Multipliers; 交互方向乗数法)が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。 ------------------ Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
Miyoshi Yuya
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML復々習レーン #9の発表資料
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
2013/3/10(日) @株式会社VOYAGE GROUP セミナールーム Pangea
はじめてのパターン認識 第6章 後半
はじめてのパターン認識 第6章 後半
Prunus 1350
第6章「線形識別関数」(後半)
Image interpolation
Image interpolation
KokuiSai
some algorithms for image interpolation
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
上智大学宮本研究室の勉強会発表資料です.
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
hirokazutanaka
ニューラルネットワーク 単層ネットワーク-パーセプトロン(perceptron) パーセプトロンの学習則とその収束定理 パーセプトロンの記憶容量: Coverの数え上げ定理 パーセプトロンの限界:線形分離問題 ニューラルネットワーク 多層ネットワーク 関数近似としての教師あり学習 関数近似定理 応用例: NetTalk, Grove-TalkII, 自動運転 誤差逆伝播アルゴリズム 二乗誤差(回帰問題)とクロスエントロピー(分類問題) 確率勾配降下アルゴリズム 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
2019年1月17日(木) 秋田県立大学システム科学技術学部情報工学科 「画像信号処理」特別講義
More Related Content
What's hot
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
yukihiro domae
論文「FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis」を読んでみました
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
人生ではじめて作ったスライド
Learning Depthwise Separable Graph Convolution from Data Manifold
Learning Depthwise Separable Graph Convolution from Data Manifold
yukihiro domae
論文「Learning Depthwise Separable Graph Convolution from Data Manifold」を読んでみました
線形識別モデル
線形識別モデル
貴之 八木
上智大学宮本研究室の勉強会発表資料です. PRML(パターン認識と機械学習)の第4章「線形識別モデル」から一部抜粋してまとめました.
2値分類・多クラス分類
2値分類・多クラス分類
t dev
機械学習の勉強会で発表したもの。 『深層学習』(岡谷貴之)のChapter2.4.3および2.4.4を解説した。
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Tomoki Yoshida
CVXPYの使い方の説明とラグランジュ双対問題について説明 ※縮小表示だと日本語が消えることがあるので全画面で御覧ください
確率プロット
確率プロット
Tomoyuki Tarumi
probability plot
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
Morpho, Inc.
今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去(デノイジング)や、不要なテクスチャの除去(スムーシング)等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法((TV最適化など))と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。 Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
ICML2013読み会 Distributed training of Large-scale Logistic models の発表資料
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
今回は、最適化アルゴリズムとノイズ除去アルゴリズムを組み合わせた非線形画像復元のフレームワークを紹介します。 画像復元とは、劣化した観測画像からクリーンな未知の原画像を推定するタスクであり、ボケ除去や超解像、インペインティングなど幅広い問題を内包しています。 一般に、観測画像は原画像の情報を十分に持っていないので、原画像の推定は劣決定となり解が一意に定まりません。 そのため、原画像に関する事前知識(Prior)を与えた最適化問題として画像復元を定式化し、解空間に制約を与えることがよく行われます。 制約付き最適化問題の解放として、ADMM(Alternating Direction Method of Multipliers; 交互方向乗数法)が有名です。 ADMMは非 Deep Learning 系の反復アルゴリズムの一種であり、もとの問題を複数の小さな部分問題に分割し順番に更新することで最適化を実現します。 また、部分問題が単純であれば一次収束が保証されるメリットがあります。 ------------------ Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
Miyoshi Yuya
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML復々習レーン #9の発表資料
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
2013/3/10(日) @株式会社VOYAGE GROUP セミナールーム Pangea
はじめてのパターン認識 第6章 後半
はじめてのパターン認識 第6章 後半
Prunus 1350
第6章「線形識別関数」(後半)
Image interpolation
Image interpolation
KokuiSai
some algorithms for image interpolation
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
上智大学宮本研究室の勉強会発表資料です.
What's hot
(20)
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Learning Depthwise Separable Graph Convolution from Data Manifold
Learning Depthwise Separable Graph Convolution from Data Manifold
線形識別モデル
線形識別モデル
2値分類・多クラス分類
2値分類・多クラス分類
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
確率プロット
確率プロット
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
はじめてのパターン認識 第6章 後半
はじめてのパターン認識 第6章 後半
Image interpolation
Image interpolation
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
Similar to NN, CNN, and Image Analysis
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
hirokazutanaka
ニューラルネットワーク 単層ネットワーク-パーセプトロン(perceptron) パーセプトロンの学習則とその収束定理 パーセプトロンの記憶容量: Coverの数え上げ定理 パーセプトロンの限界:線形分離問題 ニューラルネットワーク 多層ネットワーク 関数近似としての教師あり学習 関数近似定理 応用例: NetTalk, Grove-TalkII, 自動運転 誤差逆伝播アルゴリズム 二乗誤差(回帰問題)とクロスエントロピー(分類問題) 確率勾配降下アルゴリズム 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
2019年1月17日(木) 秋田県立大学システム科学技術学部情報工学科 「画像信号処理」特別講義
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
Restricted Boltzmann Machinesの基礎と実装
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
こちらでの発表資料です https://quantum-tokyo.connpass.com/event/188682/ ・量子機械学習アルゴリズムの中から、「量子サポートベクターマシン(量子SVM)」をQiskitでの実装例とともに学びます。 ・IBM Qで量子機械学習が実装された論文のうち量子SVMに関する内容を、古典SVMの概要から量子SVMのコード紹介まで説明していきます。
Long short-term memory (LSTM)
Long short-term memory (LSTM)
Kenta Ishii
東大羽藤研でのゼミ資料です. 交通行動の履歴依存性を検討するために元論文をレビューしました.
レポート1
レポート1
YoshikazuHayashi3
課題提出
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant Function
Shintaro Takemura
パターン認識と機械学習 4.1 識別関数 11/5 改訂版
A yet another brief introduction to neural networks
A yet another brief introduction to neural networks
Yuta Kikuchi
研究室で過去に発表したもののだいぶ改訂版です.
Deep learning入門
Deep learning入門
magoroku Yamamoto
deep learning,theano
機械学習と深層学習の数理
機械学習と深層学習の数理
Ryo Nakamura
機械学習や深層学習(Deep Learning)に使われる数学をまとめたので公開します. 微積と線形代数の初歩的な知識があれば大丈夫です. 主なトピックは,誤差逆伝播法,重回帰モデル,正則化,CNN,ボルツマンマシン,RBN,強化学習などです.
Deep Learningについて(改訂版)
Deep Learningについて(改訂版)
Brains Consulting, Inc.
Deep Learningについて、日本情報システム・ユーザー協会(JUAS)のJUAS ビジネスデータ研究会 AI分科会で発表しました。その際に使用した資料です。専門家向けではなく、一般向けの資料です。 なお本資料は、2015年12月の日本情報システム・ユーザー協会(JUAS)での発表資料の改訂版となります。
ディープラーニング基礎.pptx
ディープラーニング基礎.pptx
norimatsu5
ディープラーニング基礎
Hive/Pigを使ったKDD'12 track2の広告クリック率予測
Hive/Pigを使ったKDD'12 track2の広告クリック率予測
Makoto Yui
LT@DSIRNLP http://partake.in/events/9a6f86d3-5cd0-4c3b-8082-fd20ce332350
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
今回は Deep Unrolling(あるいは Deep Unfolding、Algorithm Unrolling)と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
多次元信号処理の基礎と画像処理のための二次元変換技術
多次元信号処理の基礎と画像処理のための二次元変換技術
Shogo Muramatsu
電子情報通信学会中国支部学生向け講演会
パターン認識モデル初歩の初歩
パターン認識モデル初歩の初歩
t_ichioka_sg
パターン認識モデル初歩の初歩
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
Takao Yamanaka
文献紹介のスライドです。学部4年生〜修士課程1年生くらい向けです。1枚目に8本の文献リストを載せていますが、最初の3本しか説明していません。 - p. 26のωに対するFisher Vectorの式を修正したました (2014/01/14)
Fourier transform
Fourier transform
ShinoharaTakuto
This presentation is about Fourier transform.
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1 はっぴょう
これならわかる最適化数学8章_動的計画法
これならわかる最適化数学8章_動的計画法
kenyanonaka
dynamic programming 動的計画法 DP
Similar to NN, CNN, and Image Analysis
(20)
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Quantum Support Vector Machine
Quantum Support Vector Machine
Long short-term memory (LSTM)
Long short-term memory (LSTM)
レポート1
レポート1
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant Function
A yet another brief introduction to neural networks
A yet another brief introduction to neural networks
Deep learning入門
Deep learning入門
機械学習と深層学習の数理
機械学習と深層学習の数理
Deep Learningについて(改訂版)
Deep Learningについて(改訂版)
ディープラーニング基礎.pptx
ディープラーニング基礎.pptx
Hive/Pigを使ったKDD'12 track2の広告クリック率予測
Hive/Pigを使ったKDD'12 track2の広告クリック率予測
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
多次元信号処理の基礎と画像処理のための二次元変換技術
多次元信号処理の基礎と画像処理のための二次元変換技術
パターン認識モデル初歩の初歩
パターン認識モデル初歩の初歩
Fisher Vectorによる画像認識
Fisher Vectorによる画像認識
Fourier transform
Fourier transform
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
これならわかる最適化数学8章_動的計画法
これならわかる最適化数学8章_動的計画法
NN, CNN, and Image Analysis
1.
畳込みNN(CNN) と 画像解析 NNの基礎から 1
2.
第一部 NN基礎 Neural Network 2
3.
データの表記 𝒙 𝟏 𝒙
𝟐 … 𝒙𝒊 … 𝒙 𝑫 𝑥 𝑛𝑖 D N 𝒕 𝐭 𝟏 𝐭 𝟐 1 0 0 1 0 1 1 0 𝐭 𝟏 𝐭 𝟐 … 𝐭 𝐤 … 𝐭 𝐊 1 0 0 0 0 1 𝑡 𝑛𝑘 0 1 0 𝒕 0 1 1 0 or 𝒕 0 K 1 or 説明変数、Features 目的変数、Target 連続値 (ガウシアン) 2クラス判別 (ベルヌーイ, 二項) 多クラス判別 (多項) K 𝑥 𝑛 𝑇 3
4.
ネットワーク図 ・ ・ ・ 𝑥 𝐷 𝑥1 𝑥0 =
1 (バイアス) 𝑧0 = 1 (バイアス) 𝑧1 𝑧 𝑀 𝑤 𝑀𝐷 (1) 𝑤10 (1) 𝑤 𝐾𝑀 (2) 𝑦1 𝑦 𝐾 𝑤10 (2) . 𝑥𝑖 . . 𝑧𝑗 . . 𝑦 𝑘 . 𝑧𝑗 = ℎ 𝑖=1 𝐷 𝑤𝑗𝑖 (1) 𝑥𝑖 + 𝑤𝑗𝑜 (1) 入力層 出力層 隠れ層 𝑦 𝑘 = 𝜎 𝑗=1 𝑀 𝑤 𝑘𝑗 (2) 𝑧𝑗 + 𝑤 𝑘𝑜 (2) 𝑦 𝑘: 𝑡 𝑘の予測値 ℎ ∙ : 活性化関数 ロジスティックシグモイド関数やtanh関数が良く使われるが、 ディープラーニングの場合、最適化計算の効率が良いReLu関数 やMaxOut関数が良く使われる 𝜎 ∙ : 出力層活性化関数 連続値: 恒等関数 2クラス: ロジスティックシグモイド関数 多クラス判別: ソフトマックス関数 ”1隠れ層ニューラルネットワーク”の例 . 𝑤𝑗𝑖 (1) . . 𝑤kj (2) . 4 ノード
5.
ネットワーク訓練 - 誤差関数 𝐸
𝑤 = 1 𝑁 𝑛=1 𝑁 𝑦𝑛 − 𝑡 𝑛 2 𝑦𝑛 = 𝑦 𝑥 𝑛, 𝑤 𝑥 𝑛 = 𝑥𝑖 𝑛 すべての 𝑖 𝑤 = 𝑤𝑗𝑖 (1) , 𝑤 𝑘𝑗 (2) すべての 𝑖, 𝑗, 𝑘 𝑖 = 1,2, ⋯ , 𝐷. 𝑗 = 1,2, ⋯ , 𝑀. 𝑘 = 1,2, ⋯ , 𝐾. 𝐸 𝑤 = − 𝑛=1 𝑁 𝑡 𝑛 𝑙𝑛(𝑦 𝑛) + 1 − 𝑡 𝑛 𝑙𝑛(1 − 𝑦 𝑛) 連続値 2乗和誤差関数 2クラス判別 交差エントロピー誤差関数 /Cross-entropy error function 多クラス判別 交差エントロピー誤差関数 /Cross-entropy error function 𝐸 𝑤 = − 𝑛=1 𝑁 𝑘=1 𝐾 𝑡 𝑛𝑘 𝑙𝑛(𝑦 𝑛𝑘) 誤差関数(𝐸(∙))を最小にする重みパラメータ(𝑤)を推定する (次ページ参照) 5
6.
正規化指数関数/ソフトマックス関数 正規化指数関数/ソフトマックス関数 𝐸 𝑤 =
− 𝑛=1 𝑁 𝑘=1 𝐾 𝑡 𝑛𝑘 𝑙𝑛(𝑦 𝑛𝑘) ロジスティックシグモイド関数の多クラスへの一般化 𝑝 𝐶 𝑘|𝑥 = exp 𝑤 𝑘 ′ 𝑥 exp 𝑤1 ′ 𝑥 + exp 𝑤2 ′ 𝑥 + ⋯ + exp 𝑤 𝐾 ′ 𝑥 𝑝 𝐶 𝑘|𝑥 : オブザベーション𝑥が与えられたときの クラスk (𝐶 𝑘)に分類される確率 尤度 𝑝 𝑇|𝑤1, 𝑤2, ⋯ , 𝑤 𝐾 = ෑ 𝑛=1 𝑁 ෑ 𝑘=1 𝐾 𝑝 𝐶 𝑘|𝑥 𝑛 𝑡 𝑛𝑘 = ෑ 𝑛=1 𝑁 ෑ 𝑘=1 𝐾 𝑦 𝑛𝑘 𝑡 𝑛𝑘 𝑇 = 𝑡 𝑛𝑘 N×Kの行列 σ 𝑘 𝑡 𝑛𝑘 = 1 n = 1,2, ⋯ , 𝑁. 𝑘 = 1,2, ⋯ , 𝐾. 誤差関数(尤度の負の対数) 6
7.
ネットワーク訓練 - 勾配情報を用いたアプローチ
(1) 𝐸(𝑤) 𝑤 𝒘解 • 𝐸 𝑤 is min • 𝛻𝐸 𝑤 = 0 𝛻𝐸 𝑤 : 勾配(誤差関数の変化率が最大となる方向) ニューラルネットワークの誤差関数( 𝐸(∙) )は強い非線型。 𝛻𝐸(𝑤) ≅ 0となる𝑤が多数存在する 𝐸 𝑤 is minではないが𝛻𝐸 𝑤 = 0となる 局所解が存在するため、初期値を変えて何度か最適計算を 実行し、𝒘解を計算する必要がある 誤差関数(𝐸(∙))を最小にする重みパラメータ(𝑤)を推定する 7
8.
ネットワーク訓練 - 勾配情報を用いたアプローチ
(2) 𝐸(𝑤) 𝑤 𝑤(0) 重みパラメータ(𝑤)を勾配情報(𝛻𝐸 𝑤 )と学習率(η )に従って繰り返し 更新する 𝑤(0) ---> 𝑤(𝑡) -> 𝑤(𝑡+1) ---> 𝑤解 𝑤(𝑡) 𝑤(𝑡+1) ->- - -> 𝛻𝐸 𝑤(𝑡) : 勾配(誤差関数の変化率が最大となる方向) 𝑤(𝑡+1) = 𝑤(𝑡) − η𝛻𝐸 𝑤(𝑡) 学習率/Learning Ratio 8
9.
ネットワーク訓練 - 勾配情報を用いたアプローチ
(3) 𝐸 𝑤 = 𝑛=1 𝑁 𝐸 𝑛 𝑤 各更新において、 毎回すべてのデータを使用 各更新において、 データの部分集合を使用 各更新において、 一つのデータのみを使用 𝐸 𝑤(𝑡) = 𝑛=1 𝑁 𝐸 𝑛(𝑤(𝑡) ) 𝐸 𝑤(𝑡) = 𝑛=𝑙 𝑙+𝑏 𝐸 𝑛(𝑤(𝑡) ) 𝑏 : バッチサイズ 𝐸 𝑤(𝑡) = 𝑛=𝑙 𝑙+1 𝐸 𝑛(𝑤(𝑡) ) バッチ訓練 ミニバッチ訓練 オンライン訓練 更新における誤差関数の計算(データ使用量)に関して 勾配降下法, 最急降下法, 共役勾配法, 準ニュートン法 逐次的勾配降下法, 確率的勾配降下法 精度が悪い PRML参照 9
10.
ネットワーク訓練 - 誤差逆伝播/Backpropagation 𝛻𝐸
𝑤 を求める方法 ・ 𝑥 𝐷 𝑥1 𝑥0 𝑧0 𝑧1 𝑧 𝑀 𝑦1 𝑦 𝐾. 𝑥𝑖 . . . 𝑦 𝑘 . 入力層 出力層 隠れ層 𝑤𝑗𝑖 (1) 𝑤kj (2) 𝑡1 𝑡 𝐾 . 𝑡 𝑘 .𝛿 𝑘 誤差より計算 𝑧𝑗 .・ 𝛿𝑗 ⅆ𝐸 ⅆ𝑤𝑗𝑖 (1) = 𝛿𝑗 𝑥𝑖 ⅆ𝐸 ⅆ𝑤 𝑘𝑗 (2) = 𝛿 𝑘 𝑍𝑗 𝛿𝑗 = 𝑧𝑗 ′ 𝑘=1 𝐾 𝑤 𝑘𝑗 𝛿 𝑘 𝛿 𝑘 , 𝛿𝑗 : 誤差と呼ばれる ① 𝛿 𝑘 を計算 ② 𝛿𝑗 を計算 ③ ⅆ𝐸 ⅆ𝑤 𝑘𝑗 (2) と ⅆ𝐸 ⅆ𝑤 𝑗𝑖 (1) を計算 実測値 10 𝑧𝑗は直前の層の出力の活性化 関数を通した出力. 微分 (𝑧𝑗 ′ )計算の効率の良い関 数を選ぶ必要がある
11.
過学習を防ぐ 過学習の制御方法 ユニット数(M)の数を調整(= 重みパラメータ(𝒘)の数を調整) ⇒
複数のMを試し、検証用データの誤差が最小になるものを採用 正則化 ⇒ 誤差関数を以下のように定義する。 𝐸 𝑤 + λ 2 𝑤′ 𝑤 , λ: 正則化係数 早期終了 ⇒ 検証用データの誤差が最小になる時点の重みパラメータ(𝑤)を採用 11
12.
第二部 CNN Convolutional Neural Network 12
13.
画像データ 13 カラー画像 100 100 100 100 3 RGB表現 3チャンネル Red: 8bit, [0,
255] Green: 8bit, [0, 255] Blue: 8bit, [0, 255] 濃淡(モノクロ)画像 1チャンネル 8bit, [0, 255] 100 100 100 100
14.
不変性 14 画像データの判別によくある問題 「入力の位置やサイズにかかわらず、同じ出力結果を得たい」 4つのアプローチ: ① 学習データのパターンを人工的に作成し、様々なパターンのデータを増やす ② 接線伝播法(モデルに不変性を持たせる方法) ⇒
PRML 5.5.4 参照 ③ 入力データが不変性を持つように前処理を行う ⇒ パターンを認識し、どの特徴をどう処理するか分からないことが多いのでは? ④ ニューラルネットワーク(NN)の構造に不変性を持たせる ⇒ 畳込みニューラルネットワーク(Convolutional NN)
15.
ネットワーク図 ”畳込みニューラルネットワーク(CNN)”の例 15 𝑥𝑖𝑗 𝑆 𝑆 入力画像 𝑦 𝑘𝑙 𝐾 𝐾 𝑦
𝑘𝑙 𝑦 𝑘𝑙 𝑦 𝑘𝑙 𝐾′ プーリング畳込み 𝑧ⅆ𝑓 M M 𝑧ⅆ𝑓 𝑧ⅆ𝑓 𝑧ⅆ𝑓 𝐾′ . . . . 出力 𝑀×𝑀×𝐾′ 畳込み層 プーリング層 全結合層 普通の多層NN • 様々なパターンで入力の特徴抽出を行う • 1入力に対して𝐾′ 種のフィルタを掛け合 わせ(畳込み)、𝐾′ チャネルの特徴マッ プを作成(N入力の場合、フィルタは 𝐾′ × 𝑁種になる) . . • 一部の情報を捨て、不変性を持たせる • 各𝐾′ チャネルの特徴マップにおいて、 重要でない情報を削除する • 少なくとも2回は畳込み層、 プーリング層を繰り返す
16.
畳込み層 16 入力画像の特定の範囲を集約(特徴抽出)し、特徴マップを作成 𝑥𝑖𝑗 入力がチャネル数1(グレースケール画像)の例 𝑤𝑖′ 𝑗′ 𝑢
𝑘𝑙⊛ 𝑆 𝑆 𝐿 𝐿 𝑦 𝑘𝑙 = ℎ(𝑢 𝑘𝑙) 𝑥𝑖𝑗 𝑖, 𝑗 ∈ [0, 𝑆 − 1] × [0, 𝑆 − 1] 𝑢 𝑘𝑙 = (𝑝,𝑞)∈𝑃 𝑘𝑙 𝑥 𝑝𝑞 𝑤 𝑝−𝑘 𝑞−𝑙 + 𝑏 𝑃𝑘𝑙 = { 𝑘 + 𝑖′ , 𝑙 + 𝑗′ |𝑖′ = 0, . . , 𝐿 − 1, 𝑗′ = 0, . . , 𝐿 − 1} 0 ≤ 𝑘 ≤ 𝑆 − (𝐿 − 1) 0 ≤ 𝑙 ≤ 𝑆 − (𝐿 − 1) 𝑏:バイアス 𝐾 𝐾 = 𝑆 − (𝐿 − 1) 𝑤𝑖′ 𝑗′, 𝑏 が学習で推定される 間隔をあけてスライドする、Strideする方法もある 特徴マップのサイズを入力のサイズから変更しない、 Paddingする方法もある フィルタ 特徴マップ プーリング層 入力 𝑤𝑖′ 𝑗′ 𝑖′ , 𝑗′ ∈ [0, 𝐿 − 1] × [0, 𝐿 − 1] 畳込み式 ℎ ∙ :活性化関数 「入力の(𝑳 × 𝑳)の範囲の情報をフィルタを掛け合わせる(畳込む)ことによりスカラーに集約する」 「 (𝑳 × 𝑳)の範囲を順にスライドして行く」 𝑦 𝑘𝑙𝐾 例では𝐾′ = 1としているが、通常は𝐾′ > 1 𝐾′ 種のフィルタを畳込み、複数チャネル(𝐾′ )の特徴マップを作成
17.
畳込み層 17 𝑥𝑖𝑗𝑘 𝑤𝑖′ 𝑗′ 𝑘′ 𝑢
𝑘𝑙⊛ 𝑆 𝑆 𝐿 𝐿 𝑦 𝑘𝑙 = ℎ(𝑢 𝑘𝑙) 𝑥𝑖𝑗𝑐 𝑖, 𝑗, 𝑐 ∈ [0, 𝑆 − 1] × [0, 𝑆 − 1] × [1, 𝑁] 𝑢 𝑘𝑙 = 𝑐=1 𝑁 (𝑝,𝑞)∈𝑃 𝑘𝑙 𝑥 𝑝𝑞𝑐 𝑤 𝑝−𝑘 𝑞−𝑙 𝑐 + 𝑏 𝑐 𝑃𝑘𝑙 = { 𝑘 + 𝑖′ , 𝑙 + 𝑗′ |𝑖′ = 0, . . , 𝐿 − 1, 𝑗′ = 0, . . , 𝐿 − 1} 0 ≤ 𝑘 ≤ 𝑆 − (𝐿 − 1) 0 ≤ 𝑙 ≤ 𝑆 − (𝐿 − 1) 𝑏 𝑐:バイアス 𝐾 𝐾 = 𝑆 − (𝐿 − 1) フィルタ 特徴マップ プーリング層 入力 𝑤𝑖′ 𝑗′ 𝑐 𝑖′ , 𝑗′ , 𝑐 ∈ [0, 𝐿 − 1] × [0, 𝐿 − 1] × [1, 𝑁] 畳込み式 ℎ ∙ :活性化関数 𝑦 𝑘𝑙𝐾 入力が複数チャネル(RGB画像、プーリング層からの出力)の例 𝑥𝑖𝑗𝑘 𝑥𝑖𝑗𝑘 𝑥𝑖𝑗𝑐 𝑤𝑖′ 𝑗′ 𝑘′ 𝑤𝑖′ 𝑗′ 𝑘′ 𝑤𝑖′ 𝑗′ 𝑐 𝑁 𝑁 「入力の(𝑳 × 𝑳)の範囲の情報をフィルタを掛け合わせ(畳込む)、 さらにこれをN枚分足し合わせることによりスカラーに集約する」 例では𝐾′ = 1としているが、通常は𝐾′ > 1 𝐾′ 種のフィルタを畳込み、複数チャネル(𝐾′ )の特徴マップを作成
18.
プーリング層 18 特徴マップの情報を一部捨て、不変性を持たせる 𝑦 𝑘𝑙 𝐾 𝐾 =
𝑆 − (𝐿 − 1) 特徴マップ 𝐾 𝑧ⅆ𝑓 𝑀 𝑀 畳込み層 (再び畳込み層への入力となる) or 全結合層 プーリング 𝑧ⅆ𝑓 = 1 |𝑄ⅆ𝑓| (𝑘,𝑙)∈𝑄 𝑑𝑓 𝑦 𝑘𝑙 𝑄ⅆ𝑓 = ⅆ, 𝑓 ⅆ = 2, . . , 𝑓 = 2, . . }:Pooling Window |𝑄ⅆ𝑓|:Pooling Windowの面積 𝑧ⅆ𝑓 = max (𝑘,𝑙)∈𝑄 𝑑𝑓 𝑦 𝑘𝑙 𝑀 = ൗ𝐾 𝑃𝑜𝑜𝑙𝑖𝑛𝑔 𝑊𝑖𝑛ⅆ𝑜𝑤の辺の長さ 平均プーリング /Average Pooling 最大プーリング /Max Pooling 「Pooling Windowの中から、代表値を取り出す」 「特徴マップ上を、Pooling Windowを重なりなくスライドさせる」
19.
例 19 畳込み層、プーリング層での処理の例 ……… ……… 100 21 80 20 畳込み プーリング フィルタリングの範囲 Pooling
Window 21×21 スカラー 4×4 スカラー 21×21 4×4 • フィルタを入力 へ畳込む 入力 100×100 特徴マップ 80×80 • 特徴マップから代 表値を取り出す プーリング後の出力 20×20
20.
学習精度/効率向上のための方法 (1) 20 過学習の制御 入力画像の正規化 正規化 •
CNNにおいては、特徴マップに正規化を実施(明るさ をそろえる)してからプーリングする • 正規化すると精度や学習効率が向上するらしい…。 Dropout • 全結合層で利用 • パラメータ学習において、毎回ランダムに一定割 合の入力層、隠れ層のノードを消す • 消されたノードのパラメータは更新されな い
21.
学習精度/効率向上のための方法 (2) 21 計算効率の良い活性化関数の選択 確率的勾配降下法の効率向上 (パラメータ(𝑤)の推定の効率向上) Adam •
今回の更新で使われる勾配(𝛻𝐸 𝑛 𝑤(𝑡) )だけでなく、 前の更新で使われた勾配(𝛻𝐸 𝑛 𝑤(𝑡−1) 等)も(平均と 分散として)考慮にいれて次のパラメータ(𝑤(𝑡+1) )を 更新 ReLU 関数 𝑧 = max(0, 𝑥) • 微分計算が容易(0 or 1) • 0の場合、パラメータは更新されない • 深いネットワークにも強い 𝑧 𝑥
22.
CNNにおけるハイパーパラメータ 22 モデル • 隠れ層の数 •
ユニット数 • 活性化関数 • フィルタ数、サイズ • プーリング関数 • Pooling Windowサイズ 訓練(最適化計算) • 学習率/Learning Ratio • バッチサイズ • 訓練回数、epoch数 • パラメータ初期値 ランダム探索やグリッド探索を行い、最適なハイパーパラメータの組み合わせを推測する
23.
Chainer実装例 23 class CNN1(Chain): def __init__(self): super(CNN1,
self).__init__( conv1 = L.Convolution2D(1, 10, 21), # 畳込みにおける(入力のチャネル数, フィルタの枚数, フィルタのサイズ) conv2 = L.Convolution2D(10, 15, 21), l1 = L.Linear(1500, 100), # 全結合層における(入力数, 隠れ層の数) l2 = L.Linear(100, 2), # 全結合層における(隠れ層の数, 出力数) ) def __call__(self, x): h = F.max_pooling_2d( F.relu( F.local_response_normalization(self.conv1(x)) ), (2,2), stride=2) # F.max_pooling_2d( 畳込み層からの入力, Pooling Windowサイズ ) h = F.max_pooling_2d( F.relu( F.local_response_normalization(self.conv2(h)) ), (2,2), stride=2) # F.local_response_normalization : 正規化 h = F.dropout( F.relu(self.l1(h)), train=True ) # F.dropout : Dropout y = F.softmax(self.l2(h)) return y 100 入力画像 プーリング 畳込み . . . . 出力 . . 10 ⊛100 21 21 10 80 80 10 40 40 10×15 ⊛ 21 畳込み 21 15 20 20 プーリング 15 10 10 フィルタ フィルタ 10×10×15 =1500 100 2 特徴マップ 特徴マップ
24.
参考文献 24
25.
25 Chainerマニュアル http://docs.chainer.org/en/stable/#
Download now