Submit Search
Upload
Large scale gan training for high fidelity natural
•
Download as PPTX, PDF
•
6 likes
•
18,963 views
K
KCS Keio Computer Society
Follow
These slides were presented in Yagami-ai seminar.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 48
Download now
Recommended
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ゼミで発表した資料です。間違っていたらTwitterに連絡ください。@ottamm_190
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
IIBMP2016(第五回生命医薬情報学連合大会)での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に,深層生成モデル(VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
2017/12/12 強化学習アーキテクチャ勉強会の資料
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
2021/03/12 Deep Learning JP: http://deeplearning.jp/seminar-2/
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
zansa Sep/27th/2012
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
2019/03/08 Deep Learning JP: http://deeplearning.jp/seminar-2/
Recommended
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ゼミで発表した資料です。間違っていたらTwitterに連絡ください。@ottamm_190
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
IIBMP2016(第五回生命医薬情報学連合大会)での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に,深層生成モデル(VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
2017/12/12 強化学習アーキテクチャ勉強会の資料
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
2021/03/12 Deep Learning JP: http://deeplearning.jp/seminar-2/
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
zansa Sep/27th/2012
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
ガウス過程回帰の概要と,導出過程および計算例を示します.最後に,計算コストや高速化の方法について議論します.
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
2019/03/08 Deep Learning JP: http://deeplearning.jp/seminar-2/
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット
Ken'ichi Matsui
機械学習プロフェッショナルシリーズの「深層学習」第6章 畳込みニューラルネットの輪読会スライドです。
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降,画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった.CNNは画像分類だけではなく,セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている.本講演では,AlexNet以降の代表的なCNNの変遷を振り返るとともに,近年提案されている様々なCNNの改良手法についてサーベイを行い,それらを幾つかのアプローチに分類し,解説する.更に,実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い,それぞれ解説を行う. Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 https://stair.connpass.com/event/126556/
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
2019/2/23 ステアラボ人工知能シンポジウム2019 https://stair.connpass.com/event/113616/ での招待講演資料です。 大層なタイトルですが前半は「Deep Learning による視覚×言語融合の最前線」と題して喋っている講演のダイジェスト版です。Acadexit した4つの理由はその後のパネルディスカッションにつなげるための頭出し程度の分量です。
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[第3回分析コンペLT会 、オンライン開催] (https://kaggle-friends.connpass.com/event/220927/) での発表資料です。 画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
第9回全日本コンピュータビジョン勉強会「ICCV2021論文読み会」の発表資料です https://kantocv.connpass.com/event/228283/ ICCV'21 Best PaperであるSwin Transformerを完全に理解するためにふんだんに余談を盛り込んだ資料となります
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
2019/09/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
機械学習プロフェッショナルシリーズの劣モジュラ最適化と機械学習の1章の発表資料です。
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
Hideo Terada
2020-06-18 JAISA画像処理PJでの講演資料
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
2015年5月30日第29回コンピュータビジョン勉強会@関東「有名論文を読む会」発表用資料。 Curriculum Learning [Bengio+, ICML 2009] とその後続を紹介。
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
Neural Network with Attention Mechanism for Natural Language Processing: survey
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
2022/10/14 Deep Learning JP http://deeplearning.jp/seminar-2/
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
6/9 (木) 14:45~15:15 メイン会場 講師:石井 雅人 氏(ソニーグループ株式会社) 概要: 機械学習技術の急速な発達により、コンピュータによる知的処理は様々なタスクで人間に匹敵あるいは凌駕する性能を達成してきた。一方、このような高い性能は大量かつ高品質な学習データによって支えられており、多様化する機械学習応用においてデータの収集コストが大きな導入障壁の1つとなっている。本講演では、少ないデータやラベルから効率的に学習するための様々な技術について、「足りない情報をどのように補うか?」という観点から概観するとともに、特に画像認識分野における最新の研究動向についても紹介する。
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法 6月10日 (木) 11:00 - 12:30 メイン会場(vimeo + sli.do) 登壇者:松井 孝太 氏(名古屋大学) 概要:転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識(データ、特徴、モデルなど)を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
2020/11/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
Iclr2016 vaeまとめ
Iclr2016 vaeまとめ
Deep Learning JP
2016/9/16 Deep Learning JP: http://deeplearning.jp/workshop
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
物体検出やセグメンテーションタスクに利用可能な階層的Vision Transformerのサーベイ
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
第5回統計・機械学習若手シンポジウム(StatsMLSymposium'20)にて招待講演依頼を受け発表しました。 https://sites.google.com/view/statsmlsymposium20/%E3%83%9B%E3%83%BC%E3%83%A0?authuser=0 そのときの発表動画はこちらです。 https://www.youtube.com/watch?v=ZbVfah9pnb4 アブストラクト: 正則でない統計モデルのベイズ汎化誤差を解析するための数学的基礎(特異学習理論)が構築され,行列分解のベイズ汎化誤差を司る学習係数(実対数閾値)は完全に解明されている.しかしパラメータ空間に制約条件が付いた場合については明らかにされていない.本研究ではパラメータ制約付きモデルの代表として非負値行列分解(NMF)と潜在ディリクレ配分(LDA)を対象とし,それらのベイズ汎化誤差に対する理論解析を実施する.
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
今回は Deep Unrolling(あるいは Deep Unfolding、Algorithm Unrolling)と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
More Related Content
What's hot
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット
Ken'ichi Matsui
機械学習プロフェッショナルシリーズの「深層学習」第6章 畳込みニューラルネットの輪読会スライドです。
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降,画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった.CNNは画像分類だけではなく,セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている.本講演では,AlexNet以降の代表的なCNNの変遷を振り返るとともに,近年提案されている様々なCNNの改良手法についてサーベイを行い,それらを幾つかのアプローチに分類し,解説する.更に,実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い,それぞれ解説を行う. Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 https://stair.connpass.com/event/126556/
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
2019/2/23 ステアラボ人工知能シンポジウム2019 https://stair.connpass.com/event/113616/ での招待講演資料です。 大層なタイトルですが前半は「Deep Learning による視覚×言語融合の最前線」と題して喋っている講演のダイジェスト版です。Acadexit した4つの理由はその後のパネルディスカッションにつなげるための頭出し程度の分量です。
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[第3回分析コンペLT会 、オンライン開催] (https://kaggle-friends.connpass.com/event/220927/) での発表資料です。 画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
第9回全日本コンピュータビジョン勉強会「ICCV2021論文読み会」の発表資料です https://kantocv.connpass.com/event/228283/ ICCV'21 Best PaperであるSwin Transformerを完全に理解するためにふんだんに余談を盛り込んだ資料となります
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
2019/09/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
機械学習プロフェッショナルシリーズの劣モジュラ最適化と機械学習の1章の発表資料です。
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
Hideo Terada
2020-06-18 JAISA画像処理PJでの講演資料
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
2015年5月30日第29回コンピュータビジョン勉強会@関東「有名論文を読む会」発表用資料。 Curriculum Learning [Bengio+, ICML 2009] とその後続を紹介。
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
Neural Network with Attention Mechanism for Natural Language Processing: survey
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
2022/10/14 Deep Learning JP http://deeplearning.jp/seminar-2/
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
6/9 (木) 14:45~15:15 メイン会場 講師:石井 雅人 氏(ソニーグループ株式会社) 概要: 機械学習技術の急速な発達により、コンピュータによる知的処理は様々なタスクで人間に匹敵あるいは凌駕する性能を達成してきた。一方、このような高い性能は大量かつ高品質な学習データによって支えられており、多様化する機械学習応用においてデータの収集コストが大きな導入障壁の1つとなっている。本講演では、少ないデータやラベルから効率的に学習するための様々な技術について、「足りない情報をどのように補うか?」という観点から概観するとともに、特に画像認識分野における最新の研究動向についても紹介する。
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法 6月10日 (木) 11:00 - 12:30 メイン会場(vimeo + sli.do) 登壇者:松井 孝太 氏(名古屋大学) 概要:転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識(データ、特徴、モデルなど)を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
2020/11/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
Iclr2016 vaeまとめ
Iclr2016 vaeまとめ
Deep Learning JP
2016/9/16 Deep Learning JP: http://deeplearning.jp/workshop
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
物体検出やセグメンテーションタスクに利用可能な階層的Vision Transformerのサーベイ
What's hot
(20)
グラフィカルモデル入門
グラフィカルモデル入門
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
変分ベイズ法の説明
変分ベイズ法の説明
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
「深層学習」第6章 畳込みニューラルネット
「深層学習」第6章 畳込みニューラルネット
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
backbone としての timm 入門
backbone としての timm 入門
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Iclr2016 vaeまとめ
Iclr2016 vaeまとめ
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Similar to Large scale gan training for high fidelity natural
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
第5回統計・機械学習若手シンポジウム(StatsMLSymposium'20)にて招待講演依頼を受け発表しました。 https://sites.google.com/view/statsmlsymposium20/%E3%83%9B%E3%83%BC%E3%83%A0?authuser=0 そのときの発表動画はこちらです。 https://www.youtube.com/watch?v=ZbVfah9pnb4 アブストラクト: 正則でない統計モデルのベイズ汎化誤差を解析するための数学的基礎(特異学習理論)が構築され,行列分解のベイズ汎化誤差を司る学習係数(実対数閾値)は完全に解明されている.しかしパラメータ空間に制約条件が付いた場合については明らかにされていない.本研究ではパラメータ制約付きモデルの代表として非負値行列分解(NMF)と潜在ディリクレ配分(LDA)を対象とし,それらのベイズ汎化誤差に対する理論解析を実施する.
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
今回は Deep Unrolling(あるいは Deep Unfolding、Algorithm Unrolling)と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
Morpho, Inc.
詳細はTech Blogをご覧ください。 https://techblog.morphoinc.com
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
2018/12/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
第25回ステアラボ人工知能セミナー https://stair.connpass.com/event/143745/
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
Computational Materials Science Initiative
Computational Materials Science Initiative
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
これはとある勉強会でお話したBridgesamplingの話です。 BayesFactorの説明から、StanでBridgeSamplingを使ってBFを求める一歩手前の理論の話です。 間違っているところは多々あると思います。ご連絡頂ければ幸いです。
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
充足可能性問題のいろいろ
充足可能性問題のいろいろ
Hiroshi Yamashita
2019年3月のJOI春合宿で行った講義のスライドです
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
2022/9/2 Deep Learning JP http://deeplearning.jp/seminar-2/
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
RCCSRENKEI
配信講義 計算科学技術特論A (2019) https://www.r-ccs.riken.jp/library/event/tokuronA_2019.html
Non-autoregressive text generation
Non-autoregressive text generation
nlab_utokyo
非自己回帰型テキスト生成モデル(特に機械翻訳)について
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
Kunihiro Hisatsune
酸性雨情報交換会勉強会資料
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
Eiji Uchibe
NIPS Reading Group
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Deep Learning JP
2023/2/17 Deep Learning JP http://deeplearning.jp/seminar-2/
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
これは旧版です.修正版は「https://www.slideshare.net/naokihayashi714/ss-161469671/naokihayashi714/ss-161469671」を参照ください. ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip を参照ください.
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
. .
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
2014年8月26日の日本神経回路学会主催セミナー「Deep Learningが拓く世界」における発表スライドです。Deep Learningの主なフレームワークで共通する設計部分と、実験の仕方について説明しています。
Data assim r
Data assim r
Xiangze
Data assimilation & filtering in R
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
Kei Nakagawa
GARCHSKモデルを用いた条件付き固有モーメントの実証分析 日本ファイナンス学会第26回大会
Similar to Large scale gan training for high fidelity natural
(20)
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
あなたの心にBridgeSampling
あなたの心にBridgeSampling
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
充足可能性問題のいろいろ
充足可能性問題のいろいろ
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
Non-autoregressive text generation
Non-autoregressive text generation
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Data assim r
Data assim r
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
More from KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
These slides were presented in Yagami-ai seminar.
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
機械学習ゼミにおいて発表されたプレゼンテーション資料
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
機械学習ゼミにおいて発表されたプレゼンテーション資料
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
機械学習ゼミで行われた 深層学習第7.1~7.2の解説です。
Control by deep learning
Control by deep learning
KCS Keio Computer Society
機械学習ゼミでの発表内容です 2018_06_15
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
深層学習 第6章
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
Vector-Based navigation using grid-like representations in artificial agents
文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
機械学習ゼミ 5月11日発表
Word2vec alpha
Word2vec alpha
KCS Keio Computer Society
Word2Vec周りの解説です。
テンソル代数
テンソル代数
KCS Keio Computer Society
深層学習、第7章を理解するためのテンソル代数の導入
Hindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
Hindsight Experience Replay
Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
Kml 輪読514
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 5章 輪読
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
ELBO型VAEのダメなところ
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 4章 輪読
Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
Soft Actor Critic 解説
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 3.3~3.6章 輪読
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
Stochastic Thermodynamics Interpretation of Information Geometryを個人的に説明したものです.
Graph Convolutional Network 概説
Graph Convolutional Network 概説
KCS Keio Computer Society
Graph Convolutional Network について基礎的な所を簡単にまとめたスライドです. This slide explains basic of Graph Convolutional Netwrork simply.
More from KCS Keio Computer Society
(20)
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
Control by deep learning
Control by deep learning
深層学習 第6章
深層学習 第6章
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
文章生成の未解決問題
文章生成の未解決問題
Word2vec alpha
Word2vec alpha
テンソル代数
テンソル代数
Hindsight experience replay
Hindsight experience replay
Kml 輪読514
Kml 輪読514
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
Soft Actor Critic 解説
Soft Actor Critic 解説
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
Graph Convolutional Network 概説
Graph Convolutional Network 概説
Recently uploaded
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
オープンエンドな進化から着想を得て、個々の大規模言語モデル(LLM)が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
Toru Tamaki
Xinhong Ma, Yiming Wang, Hao Liu, Tianyu Guo, Yunhe Wang, "When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Segmentation" NeurIPS2023 https://proceedings.neurips.cc/paper_files/paper/2023/hash/157c30da6a988e1cbef2095f7b9521db-Abstract-Conference.html
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
我々はこれまで,新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し,その低減を目的としてアイディアの発想支援手法を提案してきた. これまでの研究では,便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの,行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった. そのため,本稿では行為の提示により便利の副作用に気づき,それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い,その有効性について検証する. 実験では,行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う.
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
Yuuitirou528 default
CS集会でお話した、通信技術のひとつである「変調」について解説した資料です。 https://x.com/vrc_cpu_science/status/1724784316738355560
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
0207sukipio
JSAI2024の発表スライドです.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
浜松で開催されたJSAI2024(第38回)での発表.
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
RIZAPテクノロジーズ株式会社の会社説明資料です。
Recently uploaded
(8)
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
Large scale gan training for high fidelity natural
1.
GANについて KCS AI班 理工学部学士3年 石井
智也 渡邉 寛悠 佐久間 拓哉
2.
1. GANについての説明 2. DCGAN 3.
BEGAN 4. SNGAN 5. SAGAN 自己紹介 石井智也 佐久間拓哉 渡邉寛悠 2019/1/26 2
3.
1.生成モデルとGANの概説 2019/1/26 3 担当:石井
4.
GANとは • 生成モデルと呼ばれる機械学習のモデルの1つ • 潜在変数を𝑧,
データを𝑥のように表した際𝑝(𝑧|𝑥)のような 形になるものは,データから潜在次元への分布をもとめ る確率モデルで,潜在変数 をラベルとみなすことで, いわゆる識別モデルとなる. • 対して生成モデルは𝑝(𝑥|𝑧)の表現を学習して,潜在分布か らデータを作成する. • GANは敵対的生成ネットワーク(Generative Adversarial Nets)の略称で2014年にIan Goodfellow が考案 2019/1/26 4
5.
生成モデルの利点 • 新規データのサンプリングができる • それはそう •
欠損値の補完 • 入力にノイズを加えたものに対し,デノイジングを学習するDAE(デノ イジングオートエンコーダ)といったものも存在する. • 欠損値 𝑥から本来の値を学習することによって,ノイズを除去するよう な〝ベクトル場〟を学習することができる • 生成結果が面白い • 学習のモチベーション的には結構重要(かも) 2019/1/26 5
6.
生成モデルの種類 名称 長所 短所 自己回帰モデル
生成画像は鮮明 学習が遅い 変分オートエンコーダ (VAE) 潜在変数の確率分布 が求まる 輪郭がぼやけやすい GANs 画像が鮮明 なものもある 学習が不安定 2019/1/26 6
7.
1枚で分かりそうなGAN(まじめ) • Min-Maxゲーム • min 𝐺 max 𝐷 𝔼
𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) log 𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑔𝑒𝑛(𝑧) log 1 − 𝐷 𝐺 𝑧 Discriminatorを本来の画像を 「本来の画像」として,認識 させる(最大化)ように学習 Discriminatorを生成画像を「偽物の画像」 として,認識させるよう(最大化)に学習 GeneratorはうまくDiscriminatorを だますようなサンプルを作らせる Discriminatorは正誤を正しく判別 できるように学習 2019/1/26 7
8.
1枚で分かりそうなGAN(いらすとや) 𝐺 𝐷 潜在変数𝑧 Generator 𝐺(𝑧) 𝑥 Discriminator こいつは偽物や! こっちは本物っぽい 2019/1/26 8
9.
1枚で分かるGANの進化(2014~2018) • Goodfellow氏のツイート 2019/1/26 9
10.
ざっと見るGANの歴史 • 2014 • Generative
Adversarial Networks • 2015 • DCGAN • Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks • 2016 • LSGAN (誤差関数:二乗誤差) • 2017 • Wasserstein-GAN(誤差関数:Earth-Mover距離) • WGAN-GP(誤差関数:上のヤツ+勾配への罰則) アーキテクチャの提案 CNNを学習に使用 誤差関数の試行錯誤 2019/1/26 10
11.
ざっと見るGANの歴史 • 2016 • Pix2Pix •
2017 • CycleGAN • Progressive-Growing GAN • サイズをだんだん大きくして高解像度の 画像を生成しよう! • 2018 • Spectral-Normalization GAN • Self-Attention GAN 画像データ→画像生成 高画質化 学習の安定化...? 2019/1/26 11
12.
2.DCGAN 2019/1/26 12 担当:佐久間
13.
GANの問題点 • 収束性 • モード崩壊 •
勾配消失 →学習が不安定で高解像度の画像を生成することが難しい CNNを利用しても高解像画像の生成は難しかった 2019/1/26 13
14.
DCGAN(Deep Convolutional GAN) •
DCGANはCNNを利用したGANのモデル • 学習をうまく進めるために様々なテクニックを用いている Radford et al. (2015)2019/1/26 14
15.
DCGANのテクニック① プーリング層を廃止 • Discriminatorではストライド2の畳み込みに置き換える • Generatorではfractionally-strided
convolutionでアップサンプ リング →ダウンサンプリング/アップサンプリングの重みを自ら 学習させる 2019/1/26 15
16.
DCGANのテクニック② 全結合層を廃止 • Discriminatorでglobal average
poolingに置き換える →パラメータが無くなることで過学習を防ぐ 2019/1/26 16
17.
global average pooling •
CNNの特徴マップをそれぞれクラスに割り当てる • 各特徴マップの平均によるベクトルをソフトマックス •パラメータが減るため過学習を抑制することができる •次元が減るためメモリの節約にもなる https://elix-tech.github.io/ja/2017/02/06/gan.html#dcgan2019/1/26 17
18.
DCGANのテクニック③ Batch Normalizationを利用 • Discriminatorの入力以外で適応 →パラメータの初期値に依存しにくくなる 勾配損失・爆発を防ぐ 2019/1/26
18
19.
Batch Normalization 𝑚個からなるミニバッチ𝐵 =
{𝑥1, … , 𝑥 𝑚}と学習されたパラメータ 𝛾, 𝛽に対して、ミニバッチ内での平均と分散を求める。 𝜇 𝐵 = 1 𝑚 𝑖=1 𝑚 𝑥𝑖 𝜎 𝐵 2 = 1 𝑚 𝑖=1 𝑚 𝑥𝑖 − 𝜇 𝐵 2 これらを使い、ミニバッチの各要素を次のように変換する 𝑥𝑖 = 𝑥𝑖 − 𝜇 𝜎 𝐵 2 + 𝜖 𝑦𝑖 = 𝛾 𝑥𝑖 + 𝛽 この手続きによって得られた{𝑦𝑖, … , 𝑦 𝑚}をBatch Normalizationの 出力とする 2019/1/26 19
20.
DCGANのテクニック④ Leaky ReLUを利用 • Generatorの出力層以外で適応 →での学習も可能にする Leaky
ReLU 𝑓 𝑥 = max(𝛼𝑥, 𝑥) DCGANでは𝛼 = 0.2 2019/1/26 20
21.
結果 2019/1/26 21
22.
3.BEGAN 2019/1/26 22 担当:渡邉
23.
2019/1/26 23
24.
2019/1/26 24
25.
2019/1/26 25
26.
2019/1/26 26
27.
2019/1/26 27
28.
2019/1/26 28
29.
2019/1/26 29
30.
2019/1/26 30
31.
参考文献等 • https://elix-tech.github.io/ja/2017/02/06/gan.html#dcgan • http://musyoku.github.io/2017/04/16/Boundary-Equilibrium- Generative-Adversarial-Networks/ •
https://qiita.com/underfitting/items/9c92be2d8ea42c612e88 2019/1/26 31
32.
4.Spectral Normalization GAN arXiv:1802.05957 2019/1/26
32 担当:石井
33.
SNGANの概要 • PFN(Preferred Networks)の宮戸氏+NII(国立情報学研究所)の吉田氏の論文 •
行列𝑊を最大特異値(=𝐿2ノルム)で割ることでLipschitz連続性を満たすよ うにさせ,Lipschitz定数をコントロールし安定性の向上を図った • この正規化層はDiscriminatorのみに設けてある. 2019/1/26 33
34.
Lipschitz連続ってなんだっけ • 写像𝑓の任意のドメインの2点𝑥, 𝑦に対して,作用前と作用後の 距離を定数𝐾で抑えられるときLipschitz連続(K-Lipschitz)という •
ちなみにこの時の𝐾はLipschitz定数と呼ばれる ∀𝑥, ∀𝑦, 𝑓 𝑥 − 𝑓 𝑦 2 ≤ 𝐾 𝑥 − 𝑦 2 • 入力値の微小摂動に対して,出力の変化が微小であることが保証されてい るため機械学習/深層学習分野では,小さな修正でこの条件を達成できる ようになることも相まってよく使われている. 2019/1/26 34
35.
行列のノルム • 集合𝑋の任意元𝑥に対し大きさとして扱える条件が満たされるような 𝑥
∈ ℝ1が定義され ているとき| 𝑥 |を𝑥のノルムという.(長さの一般化) • ベクトルの𝐿2ノルムはユークリッド距離に等しい • 行列の𝐿 𝑝ノルムは以下のように定義される 𝐴 𝑝 = sup 𝒙≠𝟎 𝐴𝒙 𝑝 𝒙 𝑝 = sup 𝒙 𝑝 =1 𝐴𝒙 𝑝 2019/1/26 35
36.
行列のノルム • 行列の𝐿2ノルムはスペクトルノルム(Spectral Norm)と呼ばれている •
先ほどの式は言い換えてしまえば単位ベクトルの入力に対する出力の最も大きく変形す る長さであるといえる • 𝑝 = 2のとき,直感的にこれは最大特異値(正方行列なら最大固有値)とわかる 𝐴 𝒙 ∈ 𝒙| 𝒙 2 = 1 𝐴𝒙 𝐴 2 2019/1/26 36
37.
Lipschitzノルム • Lipschitz連続は定義から任意元𝑥に対する勾配の𝐿2ノルムの 上界であるといえる.(∀𝑥, 𝑓
𝑥 + Δ𝑥 − 𝑓 𝑥 2 / Δ𝑥 2 ≤ 𝐾) • これを 𝑓 𝐿𝑖𝑝 のように表す.このノルムは劣乗法性( 𝑓 ∘ 𝑔 𝐿𝑖𝑝 ≤ 𝑓 𝐿𝑖𝑝 ⋅ 𝑔 𝐿𝑖𝑝 )が定義から成り立つ(証明略)ので,NNの𝑙層- 𝑙 + 1 層間の作用を ℎ𝑙 → 𝑊ℎ+1ℎ𝑙 𝐿𝑖𝑝 と表現し𝑙層目の活性化関数を| 𝑎𝑙 |と表せば,活性化 層が1-Lipschitzであるとき, 𝐿 層あるNNの射影𝐹のLipschitz Normは 各々の層の間の作用のLipschitz Normの総乗以下となる. 𝐹 𝐿𝑖𝑝 ≤ 𝑙=0 𝐿 ℎ𝑙 → 𝑊ℎ+1ℎ𝑙 𝐿𝑖𝑝 2019/1/26 37
38.
Lipschitzノルム • 射影 ℎ𝑙
→ 𝑊ℎ+1ℎ𝑙 は線形変換なのでこのLipschitz Normは 𝑊ℎ+1 2 である.したがって,各々の 𝑊ℎ+1 を𝐿2ノルムで割る ことで層の射影を1-Lipschitzに抑えることができるようになる • 結果としてNN全体のLipschitz Normが1以下に収まるといえる 𝐹 𝐿𝑖𝑝 ≤ 𝑙=0 𝐿 ℎ𝑙 → 𝑊ℎ+1 ℎ𝑙 𝐿𝑖𝑝 ≤ 1 2019/1/26 38
39.
結果 ピザ(論文内の例) 美少女(自分の実装の例) 2019/1/26 39
40.
5. Self-Attention GAN arXiv:1805.08318 2019/1/26
40 担当:石井
41.
Self-Attention GANの要点 • Spectrum
NormをGeneratorにも適用した • Two-Timescale Update RuleによってGANの学習速度が向上す ることが判明した • TTUR:GとDで異なる学習率を用いる • Arxiv:1706.08500 • 機械翻訳等で用いられるようなSelf-Attention層を考案した • 当時のSoTAを達成! 2019/1/26 41
42.
CNN層の問題点 • CNNはカーネルを走査的に適用するため,局所的受容野を持つ • そのため,大局的な受容野を持つためには何層も層を重ねる必 要がある. •
別の選択肢としてカーネルの大きさを大きくするという選択肢がある が,これでは局所的な畳込みによって得られる恩恵を失ってしまう • 3x3畳み込み層では物体に対して局所的なエッヂに対して反応する受容野を持つ ことが見込めるが13x13畳込み層ではこういった部分に対する反応が起きないか もしれない • 3x3を5回適用することと13x13を一回適用するとでは計算量の観点からも,局所 性の観点からでも性能が低下することが懸念される. • Self-Attention層により,大局的受容野を効率的に持つことが できる 2019/1/26 42
43.
Self-Attention機構 2019/1/26 43 • クエリが𝑓
𝑥 ,キーを𝑔(𝑥),バリューがℎ(𝑥)の辞書に対応している • 入力をℝ 𝐶×𝑁の形にする. • 論文中では𝑓 𝑥 = 𝑊𝑓 𝑥, 𝑊𝑓 ∈ ℝ 𝐶 8 ×𝐶 , 𝑔 𝑥 = 𝑊𝑔 𝑥, 𝑊𝑔 ∈ ℝ 𝐶 8 ×𝐶 で1x1畳み込み層で写像を定義 している • 𝑓 𝑥 の出力の転置と, 𝑔 𝑥 の出力を掛けて,ソフトマックスをする(行列𝜷とする) • 図中のAttention Mapに対応 𝑞𝑢𝑒𝑟𝑦と𝑘𝑒𝑦の類似度 正規化
44.
Self-Attention機構 2019/1/26 44 • 𝑓,
𝑔でどの画素とどの画素が似ているかを計算することができる. • 最後にℎ 𝑥 = 𝑊ℎ 𝑥, 𝑊ℎ ∈ ℝ 𝐶×𝐶をAttention Mapに掛ける. • 結果𝜎 𝑓 𝑥 𝑇 𝑔 𝑥 ℎ(𝑥)という演算と通して大局的受容野を持たせるように試みている • Self-Attentionの利点は下の隠れ層の全位置を参照できる点にある.
45.
Self-Attention機構 2019/1/26 45 • Self-Attentionの出力を𝑜として,もともとの入力𝑥に対して重み付き和を出力する •
𝑦 = 𝛾𝑜 + 𝑥(𝛾は0で初期化する) • 𝛾を学習パラメータとすることで次第にSelf-Attention機構が大局性を持って学習できる ようになる
46.
Self-Attention機構 2019/1/26 46 • 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛
𝑀𝑎𝑝の出力の例 • 一番左の画像のRGBに対応するAttentionMapが右の3つの画像である. • 色が似ている点に反応しなおかつ,長距離でも反応できていることが分かる.
47.
学習結果 2019/1/26 47 FIDはGANの精度(質)の評価 (低いほどGood) ISはGANの多様性の評価 (高いほどGood)
48.
おわり • 佐久間君が発表してくれなくて寂しかったです 2019/1/26 48
Download now