Semi-Supervised Neural Architecture Search

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
Semi-Supervised Neural
Architecture Search
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
修士1年赤坂駿斗

2
論文情報
• 著者
Renqian Luo, Xu Tan, Rui Wang, Tao Qin, Enhong Chen,
Tie-Yan Liu
- University of Science and Technology of China
- Microsoft Research Asia
• 発表
Advances in Neural Information Processing Systems 33
(NeurIPS 2020)
• リンク
https://papers.nips.cc/paper/2020/hash/77305c2f862ad1d353f
55bf38e5a5183-Abstract.html

3
概要
• ニューラルアーキテクチャ検索（NAS）は、優れた
コントローラを使用して、より優れたアーキテクチャを生成
したり、特定のアーキテクチャの精度を予測する.
- コントローラーの学習には, 高品質なアーキテクチャ及び精度が必要
- 精度を正確に評価するにはコストがかかる
• 本論文では, 半教師付きNASアプローチであるSemiNASを
提案する.
• 画像分類タスクおよび音声合成タスクでの実験により,
計算コストを削減して, 従来のNASと同等の精度を実現.
従来のNASと同等の計算コストでより高い精度を実現.

4
NAS
Neural Architecture Search with Reinforcement Learning
で2016年5月に提唱された
CNN・RNNの探索を行う
1. Controller RNNが設定したChild NetworkのハイパーパラメータでChild
Networkを学習する
2. 学習後のChild Networkで検証データに対するAccuracyを算出する
3. このAccuracyをController RNNの報酬とする
4. 報酬をもとに方策勾配法（Policy Gradient）によってController RNNを
更新する

5
背景
最初のNAS論文と関連研究により, 計算コストに問題が
あり, 計算コストと精度はトレードオフな関係であるこ
とがわかっている.
本論文では,
C = N × T
を計算コストとし提案手法のSemiNASによって,
Nを削減する.
C: 計算コスト
N: 候補アーキテクチャ数
(コントローラと精度のペア数)
T: 各候補アーキテクチャの計算時間

6
提案手法
• SemiNAS
ラベルありアーキテクチャとラベル無しアー
キテクチャの両方から学習する.
→半教師付き学習を適用

7
提案手法(半教師付き学習)
• SemiNASでは, 精度の数値がないアーキテク
チャを使って学習するため, 半教師付き学習を
訓練する.
?

8
提案手法(半教師付き学習)
• 半教師付き学習の3ステップ
- エンコーダ fe，予測器 fp，デコーダ fd を，N 個の
アーキテクチャと精度のペアで学習する．
各アーキテクチャを学習し，評価する．
- M個のラベルなしのアーキテクチャを生成し，
学習したエンコーダ fe と予測器 fp を用いて，
そのアーキテクチャの精度を予測する．
- N個のアーキテクチャ-精度ペアとM個の自己ラベル付き
ペアの両方を使って、より良い精度予測器を訓練する。

9
提案手法(SemiNAS)
1-4行目: 入力・設定
5行目: ラベルありの学習
6-8行目: ラベル無しの学習
9-10行目: 新しいアーキテクチャの生成(NAOの適用)
12行目: アウトプット
NAO: 2018年8月に発表されたニューラルアーキテクチャの
自動設計手法. 本論文のベースライン

10
画像分類への応用
• NASBench-101
- NASの実験用ベンチマーク
- SemiNASは同じ数のアーキテクチャで優れた精度を示し, より
少ないリソースでベースラインと同等の精度を示した.

11
画像分類への応用
• ImageNet
- 大規模なカラー写真の画像データベース
- SemiNASは他のNAS作品より優れたTop-1 エラー率を達成した.
Top-1 エラー率: 回答候補の不正解率
- 2021年 6月現在ではBossNet-T1+が17.8%でtop

12
Text to Speechへの応用
• Text to Speech
- テキストから自然な音声を合成することを目的としたタスク
- 他のタスクと比べて, 人間の評価を必要とする
• 評価指標
エンコーダとデコーダの間のアテンションアライメントの品質
が合成音声の品質に影響を与えることからDFRを用いる.
DFR: エンコーダとデコーダ間のアテンションマップの対角線
フォーカス率
• タスク設定
1) 低リソース設定
音声とテキストのデータが少ない
2) ロバストネス設定
テキストが規則的ではない

13
1. 低リソース設定
(データ数:1500, N: 100, M: 4000, T: 3)
Intelligibility Rate:
単語レベルの音声の明瞭度を評価するための一般的な指標[1]
• 結果
IRとDFRについてSemiNASが優れた結果を示した. 本論文提案
指標であるDFRがIRの結果と一致しており, 提案指標が優れた
精度に導くことを示している.
[1] Yi Ren, Xu Tan, Tao Qin, Sheng Zhao, Zhou Zhao, and Tie-Yan Liu. Almost unsupervised text
to speech and automatic speech recognition. arXiv preprint arXiv:1905.06791, 2019.

14
2. ロバストネス設定
(データ数:100, N: 100, M: 4000, T: 3)
Repeat: 単語の繰り返し
Skip: 単語の損失
Error: 文章単位のエラー率(RepeatやSkipを含む文)
• 結果
TTSモデルが苦手とするテキストが不規則な100文を選
択. SemiNASは他の手法に比べ, DFRを上げErrorを抑え
た.

15
まとめ
• ニューラルアーキテクチャ検索（NAS）は、優れた
コントローラを使用して、より優れたアーキテクチャを生成
したり、特定のアーキテクチャの精度を予測する.
- コントローラーの学習には, 高品質なアーキテクチャ及び精度が必要
- 精度を正確に評価するにはコストがかかる
• 本論文では, 半教師付きNASアプローチであるSemiNASを
提案する.
• 画像分類タスクおよび音声合成タスクでの実験により,
計算コストを削減して, 従来のNASと同等の精度を実現.
従来のNASと同等の計算コストでより高い精度を実現.

Semi-Supervised Neural Architecture Search

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Semi-Supervised Neural Architecture Search

Similar to Semi-Supervised Neural Architecture Search (20)

More from harmonylab

More from harmonylab (20)

Recently uploaded

Recently uploaded (9)

Semi-Supervised Neural Architecture Search