機械学習論文

1. どんなもの？
先行研究と比べて何がすごい？
技術の手法や肝は？
議論はある？
どうやって有効だと検証した？
次に読むべき論文は？
Deep Convolutional GAN（DCGAN）
論文では主に明示的なpg(x)の表現がないことと、トレーニング中にDとGをうまく同期させ
る必要があること（Dを更新せずにGを過度にトレーニングしてはいけない）と書いてある
。
またネットを調べるとGANには・収束性・Mode collapse・勾配消失の問題があるらしい。
訓練データ（画像データ）と生成された画像を比較する。
・一番右側が訓練データ、それ以外は生成されたもの。
GANではGenerator（生成器）とDiscriminator（識別器）の２つのネットワークがある。
・Generator（生成器）は訓練データと同じようなデータを生成しようとする。
・Discriminator（識別器）はデータが訓練データから来たものか、それとも生成モデル
から来たものかを識別する。
最終的には、Generatorは訓練データと同じようなデータを生成できるようになることが
期待される。このような状態では、訓練データと生成データを見分けることができなく
制限付きボルツマンマシン（RBM）やディープボルツマンマシン（DBM）はマルコフ連鎖
モンテカルロ法によって推定するがこの量と勾配はすべての場合について扱いにくい。また
、計算コストも高い。生成モデルとしては、１、自己回帰モデル2、変分オーとエンコーダ
ー（VAE)
Generative Adversarial Nets(GAN)は2014年にIan Goodfellowによって考案され効率的に生
成モデルを訓練させるためのモデリング手法。
訓練データを学習してそれらのデータと同じような新しいデータを生成するモデルを生成モ
デルと呼ぶ。言い換えると訓練データの分布と生成データの分布が一致するように学習して
いくようなモデル。
Generative Adversarial Nets
（2014年）Ian J.Goodfellow / Jean Pouget-Abandie, Mehdi Mirza, Bing Xu
https://arxiv.org/pdf/1406.2661.pdf
日付

2. どんなもの？
先行研究と比べて何がすごい？
技術の手法や肝は？
議論はある？
どうやって有効だと検証した？
次に読むべき論文は？
GANに関するsurvey論文。
特になし。
どの程度条件付きGANが有効かを調べるために、写真生成などのグラフィックタスクと
セマンティックセグメンテーション（画素（ピクセル）単位で物体を認識する手法）など
の視覚タスクの両方を含む、さまざまなタスクとデータセットで試した。
過去の研究とは異なり、 generator（生成器）では「U-Net」ベースのアーキテクチャ を使
用し、discriminatorでは完全畳み込み型の「PatchGAN」識別器を使用します。
「U-Net」とはautoencoderのencodeからdecodeにスキップ接続する手法。高品質な結果が
得られる。
PatchGANは、与えられた画像を小さいサイズに分割してDiscriminatorに与えます.
これによって入力画像が小さくなるため、ネットワークのパラメータを削減することができ
ます.また、小さい領域に注目して判定ができるため狙っていた高周波の成分の改善も見込
むことができます.
条件付きGANは、lossが学習されるという点で先行研究と異なり、理論的には、出力と
targetで異なる可能性のある構造にペナルティを科すことができる。私たちの方法は、ジェ
ネレーターとディスクリミネーターのいくつかのアーキテクチャの選択において、これらの
以前の作品とも異なります。
pix2pixとはなにかというと、２つの画像のペアを学習させ、２つの画像の関係性を把握
して、任意の画像からもう一方の画像を作り出すことができるというもの。たとえば、
地図と航空写真のセットを学習させると、任意の地図から航空写真を作り出すことがで
きます。
日付
Image-to-Image Translation with Conditional Adversarial
Networks
（２０１８年）Phillip Isola、Jun-Yan Zhu、 Tinghui Zhou、 Alexei A. Efros
https://arxiv.org/pdf/1710.03889.pdf

3. どんなもの？
先行研究と比べて何がすごい？
損失バリアントGAN
議論はある？
アーキテクチャバリアントGAN
次に読むべき論文は？
参照論文はないが、「GANはよく開発されており、今日さまざまな分野の研究者によく知
られているため、GANに関連する論文の数は2019年も増加傾向にあると想定されています
。また、近年、GANの研究の質が高いことを示しています。」
とある。
GANには、Generatorを更新するためのModeCollapse（モード崩壊）と勾配の消失という問
題がある。問題を解決するいくつかのGANバリアントを次の2つの側面から調査した。（1）
アーキテクチャバリアント。（2）損失変動(loss-variant)。これらの問題は、基本的に元の
GANの損失関数が原因です。したがって、GANの損失関数を変更することが最適な解決策
。どのGANが最適化なのかは定義できない。GANバリアントの選択はどんなアプリケーシ
ョンをしたいかによる。たとえば、自然なシーンの画像を生成するアプリケーションがある
場合、DCGAN、SAGANおよびBigGANが適切な選択です。BigGANは、他の2つと比較して
最もリアルな画像を生成できます。
アーキテクチャバリアントGANは、主にさまざまなアプリケーションを行う目的で提案され
ています。たとえば、画像から画像への転送 、画像の超解像度、画像の完成、テキストから
画像への生成。また、上記の3つの課題に対し、GANのパフォーマンスを改善する。
今回提案する７つの手法は、1, FCGAN 2, LAPGAN 3, DCGAN 4, BEGAN 5, PROGAN 6,
SAGAN 7,BIGGAN 。また、提案されているすべてのアーキテクチャバリアントは画質を向
上させることができる。
GANの損失バリアントは損失関数を変更することによって開発される。GANのトレーニ
ングの不安定な問題に対し貢献する。損失バリアントGANは、GANのトレーニングの安定
性を向上させるために広範囲に研究されています。
今回議論された９つの損失バリアントGANは、1, WGAN 2, WGAN-GP 3, LSGAN(LEAST
SQUAREGAN) 4, F-GAN 5,UGAN 6, LS-GAN(LossSensitiveGAN) 7, MRGAN(ModeRegularizedGAN)
8, GEOMETRIC GAN 9, RGAN(RELATIVISTIC GAN)
特になし
現在のGAN（生成的敵対ネットワーク）には主に3つの課題があり、それは、
（１）高品質の画像生成（２）多様な画像生成（３）安定したトレーニングの課題である。
多数のGAN関連の研究より、これらの3つの課題に対し、構造とloss関数という２つの観点
に着目した論文。
Generative Adversarial Netoworks: A
Survey and Taxonomy
（2019年）Zhengwei Wang/ Qi She
https://arxiv.org/pdf/1710.03889.pdf
日付

4. どんなもの？
先行研究と比べて何がすごい？
技術の手法や肝は？
深層学習異常検知の産業活用
手法
次に読むべき論文は？
とくになし。
・侵入検知、不正検知、マルウェア検出、映像監視⋯などがある。
・工業異常検知 → 風力タービン、発電所、高温エネルギーシステム、貯蔵庫などに
おける早期の異常検知と修理はとても重要。設備故障の発生はかなり数少ない。従来の
機械学習が利用されているケースがあるが、DeepLearningにおいても故障の早期検知で
せいかを上げてきている。
〇教師情報の有無による分類→１、教師あり深層異常検知 ２、半教師あり深層異常検
知 ３、教師なし深層異常検知
〇訓練目的による分類→１、ハイブリッド深層異常検知 ２、OneClassニューラルネッ
トワーク
〇深層学習で異常検知をする理由
・従来の手法では難しい画像や系列データの複雑な構造データを扱うのが難しい。
・大量のデータを扱う場合従来手法では難しい。
・深層学習手法はデータを構造的に区別する特徴量を学習するため、その道の専門家に
よる手動の特徴量設計の負担が軽減される
深層学習異常検知に関わる多くの研究まとめ論文があるが、１つのドメイン/領域に絞
ったうえでのレビューが多い
この論文では広い産業適用での活用状況をレビューと手法の分類方法にサブカテゴリ―
（ハイブリッド異常検知と１クラスニューラルネットワーク）を追加し、手法を整理し
てる。
・深層学習ベースの異常検知手法が注目を集め、数多くのタスクにおいて適用され始め
ている。
・体系的かつ包括的なDeepLearningベースの異常検知手法の整理
・様々な産業領域への適用事例・課題をまとめる。
Deep Learning for Anomaly Detection: A Survey
（2019年）Raghavendra Chalapathy / Sanjay Chawla
https://arxiv.org/pdf/1901.03407.pdf
日付

5. どんなもの？
先行研究と比べて何がすごい？
技術の手法や肝は？
議論はある？
どうやって有効だと検証した？
次に読むべき論文は？
1. Anomaly Detection with Generator Adversarial Networks
2. Efficient GAN-Based Anomaly Detection
・通常データでノイズｚが見つからない可能性
・ｚの探索の非効率さ
・医療画像でテスト、異常データはテストデータのみにふくまれ、訓練データは正常データ
のみで行い、潜在空間を獲得。
・テスト時（運用時）では、正常なデータと異常のデータ双方を含む未知データを入力。
・画像を潜在空間に写像し、ｚ（潜在変数）から元の画像が復元できたら正常、そうでなか
ったら異常と判別。
異常データはGANによってモデリングされないという仮定をもとに、入力画像を生成す
るようなノイズｚを勾配法で探索し、最適化したノイズの元での生成画像と入力画像の
距離を測る（二乗誤差＋Discriminatorのfeature matching）。
・GAN-baseで初めて異常検知をした。GANで教師なし異常検知をしたこと。
・Mappingなどを工夫することによって、異常データのアノテーション（あるデータに対し
て関連する情報（メタデータ）を注釈として付与すること。）がなくても異常検知できる。
・
GAN-baseで初めて異常検知した。正常・異常を分類するモデルではアノテーション作業
が膨大 or 異常データが少ないので、正常のみから学習するという点で意義がある。
GANを用いた異常検知論文の先駆け。
Unsupervised Anomaly Detection with Generative Adversarial Networks to
Guide Marker Discovery
（2017年）Thomas Schlegl, Philipp Seeböck, Sebastian M. Waldstein, Ursula
ScLangshmidt-Erfurth, Georg
https://arxiv.org/abs/1703.05921
日付