Download as PDF, PPTX
![コード上では
def make_step(net, step_size=1.5, end='inception_4c/output', jitter=32, clip=True):
'''Basic gradient ascent step.'''
...
net.forward(end=end) # 決められた「印象」のレイヤーまで生成
dst.diff[:] = dst.data # 中間層の発火パターンを逆伝播の微分要素として代入 (ここよくわかってない)
net.backward(start=end) # 逆伝播の実行
g = src.diff[0]
# apply normalized ascent step to the input image
src.data[:] += step_size/np.abs(g).mean() * g # 逆伝播された結果を基に画像を変更
通常の NeuralNetwork 学習 DeepDream
逆伝播するもの -(出力の二乗誤差の微分 ) あるレイヤーのニューロンの発火状況
更新するもの ネットワークの重み 入力の画像（＝入力ニューロンの発火）
更新方向 誤差を少なくする方向 有るレイヤーの発火パターンを 強調する方向
3.3 印象生成アルゴリズム
DeepDream のコード](https://image.slidesharecdn.com/deepdream-150721124216-lva1-app6892/75/Deep-dream-34-2048.jpg)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]近年のエネルギーベースモデルの進展](https://cdn.slidesharecdn.com/ss_thumbnails/energybasedmodel-200124020855-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Attention Is All You Need](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks170714-170714005330-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Deep Learning 第15章 表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]World Models](https://cdn.slidesharecdn.com/ss_thumbnails/20180427-180427003856-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]1次近似系MAMLとその理論的背景](https://cdn.slidesharecdn.com/ss_thumbnails/20190412kondo-190412002418-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]画像を使ったSim2Realの現況](https://cdn.slidesharecdn.com/ss_thumbnails/imagesim2real-201030025320-thumbnail.jpg?width=640&height=640&fit=bounds)
Deep dream 機械が見た夢
- 1.
- 2. 目次 1. はじめに 1.1. 本日の注意 1.2.夢とはなにか 1.3. DeepDream について 2. 動かしてみる 2.1. 動かしてみる 2.2. 何が起こっているのか 2.3. なぜ夢なのか 3. 技術的なお話 3.1. 基礎知識 3.2. ネットワーク構成 3.3. 印象強調アルゴリズム 3.4. レイヤーと抽象度
- 3.
- 4. 1.1 本日の注意 ● 技術的な点 ○DeepLearning については話しません ○ 正確さよりなんとなく分かる、を重視してます ○ 誤りがある可能性があります ■ @halhorn が独自にコードを読んで解釈したものです ● グロい画像が出てくる可能性があります ○ 世界がグロいんだからしかたありません ○ 不完全な生命の描写は気持ち悪いのです
- 5. 1.2 夢とは何か 記憶と映像の閉じられたループ - トリガーは外的・内的刺激であっ ても、見る世界は記憶から作ら れた映像 夢というのは、主としてレム睡眠の時に出現するとされ、睡眠中は感覚遮断に近い状態でありながら、大 脳皮質や（記憶に関係のある）辺縁系の活動水準が覚醒時にほぼ近い水準にあるために、外的あるいは 内的な刺激と関連する興奮によって脳の記憶貯蔵庫から過去の記憶映像が再生されつつ、記憶映像に 合致する夢のストーリーをつくってゆく wikipedia より 現実 夢
- 6.
- 7.
- 8.
- 9.
- 10. 2.2 何が起こっているのか(ざっくり) 画像を見る 印象を増幅 （鳥っぽいなぁ） 印象から 画像を描く 画像を見る印象を増幅 ... 鳥にしか見え なくなった 正確には順序は逆。 印象を強める用に画像を加工する。繰り返し印象強調
- 11. 2.2 何が起こっているのか 岩を見る→点が目のように見えた →その印象を絵に書いた→岩を見る→岩 が犬の顔に見えた→その印象を絵に書いた →・・・（不正確な表現ですが）
- 12.
- 13.
- 14. もう少し詳しく！ 印象強調と映像生成の閉じられたループ がどのようなアルゴリズムなのか ● 基礎知識 -ニューラルネットについて ● DeepDreamのネットワーク構成 ● 印象強調アルゴリズム
- 15.
- 16.
- 17. 3.1 基礎知識 -NeuralNetwork 脳を模して作られた学習モデル 画 像 犬 猫 鳥
- 18. 3.1 基礎知識 -NeuralNetwork R G B R G 犬 猫 鳥 人間にはよくわからないもやもやとした 中間表現ができる 簡単に言うと 印象 みたいなもの 0.9 0.1 0.0 1.2 0.1 0.7 0.2
- 19. 3.1 基礎知識 -DeepLearning 多層型の NeuralNetwork を学習させる手法 犬 猫 鳥 多層
- 20. 3.1 基礎知識 -DeepDream 元々は画像に写っているものの種類を答えるネットワーク 犬 猫 鳥
- 21.
- 22. 3.2 DeepDream -ネットワーク構成 画像入力
- 26.
- 27. 3.2 DeepDream -ネットワーク構成 全体図はこれ
- 28. 3.2 DeepDream -ネットワーク構成 ざっくり分けると、入力(画像)・3つの中間層・出力(種類) に分けられる 犬 猫 鳥 inception 3 inception 4 inception 5
- 29.
- 30.
- 31.
- 32.
- 33.
- 34. コード上では def make_step(net, step_size=1.5,end='inception_4c/output', jitter=32, clip=True): '''Basic gradient ascent step.''' ... net.forward(end=end) # 決められた「印象」のレイヤーまで生成 dst.diff[:] = dst.data # 中間層の発火パターンを逆伝播の微分要素として代入 (ここよくわかってない) net.backward(start=end) # 逆伝播の実行 g = src.diff[0] # apply normalized ascent step to the input image src.data[:] += step_size/np.abs(g).mean() * g # 逆伝播された結果を基に画像を変更 通常の NeuralNetwork 学習 DeepDream 逆伝播するもの -(出力の二乗誤差の微分 ) あるレイヤーのニューロンの発火状況 更新するもの ネットワークの重み 入力の画像（＝入力ニューロンの発火） 更新方向 誤差を少なくする方向 有るレイヤーの発火パターンを 強調する方向 3.3 印象生成アルゴリズム DeepDream のコード
- 35. アルゴリズムまとめ 中間層=「印象」の発火パターンが 顕著になるよう、 入力画像を修正していく 3.3 印象生成アルゴリズム 通常の NeuralNetwork学習 DeepDream 逆伝播するもの -(出力の二乗誤差の微分 ) あるレイヤーのニューロンの発火状況 更新するもの ネットワークの重み 入力の画像（＝入力ニューロンの発火） 更新方向 誤差を少なくする方向 有るレイヤーの発火パターンを 強調する方向
- 36.
- 37.
- 38.
- 39.
- 40.
- 41. 中間層 3a を強調 inception_3a/output (3のレイヤーの画像寄り) ●エッジ ● つぶつぶ 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 42. 中間層 3b を強調 inception_3b/output (3aの一つ奥) ●テクスチャ的なの ● 絵画的 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 43. 中間層 4a を強調 inception_4a/output (4のレイヤーの画像寄り) ●目、犬 ● 意味が出てくる 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 44. 中間層 4c を強調 inception_4c/output (4のレイヤーa-eのうち3番目) ●目、犬、木、建物(?) ● より意味が出てくる ● 目=微小単位が少し抑制 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 45. 中間層 5a を強調 inception_5a/output (5のレイヤーの画像寄り) ●魚？ ● 体の部分ではなく体全体 ● 微小単位がより抑制 ○ 目が殆ど無い 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 46. 中間層 5b を強調 inception_5a/output (最も奥のレイヤー) ●なんかの生物 ● 全体像 犬 猫 鳥 ince ptio n 3 ince ptio n 4 ince ptio n 5 3.4 レイヤーと抽象度
- 47. まとめ ● DeepDream ○ 画像→ 印象 → 印象強調 → 画像 → 印象 … ○ 印象強調と映像生成の閉じられたループ ● 学習手法 ○ 重みの更新の代わりに入力画像を更新 ○ 特定の「印象」レイヤーの発火を強調する方向に ● 試したい！ ○ DeepDreamを動かすまで ○ DeepDreamのWebInterface ○ DeepDreamのソースコード