Download as PDF, PPTX
![投稿の多かった研究機関
12
CVPR2020 NAS関連の論文36件の手動集計の結果
1位 [5件] SenseTime
2位 [3件] Huawei, 北京大学
（内2件はHuaweiと北京大学が両方共著に入っている）
3位 [2件] NVIDIA, Google, 清華大学など多数
➢ 2位にランクインしたHuaweiについて
Huaweiの中でも特に Huawei Noah’s Ark Lab
というAI研究開発機関から投稿されている。
直近でAutoMLツールをリリースしており、
AutoMLやNASの研究にも力を入れていると
思われる。
VEGA: AutoML Toolchain by Noah’s Ark Lab](https://image.slidesharecdn.com/machinelearningarchitecturesandformulations-200724003848/75/CVPR-2020-Machine-Learning-Architectures-and-Formulations-12-2048.jpg)
Uploaded bycvpaper. challenge
【CVPR 2020 メタサーベイ】Machine Learning Architectures and Formulations
「CVPR 2020 網羅的サーベイ」により作成された Machine Learning Architectures and Formulations エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/
【CVPR 2020 メタサーベイ】Machine Learning Architectures and Formulations
- 1. CVPR 2020の動向・気付き・メタサーベイ 1 中村真裕，大日方孝輝 Group25: Machine Learning Architectures and Formulations
- 2. 2 今年度発表された論文の大枠 • 今年の大枠は以下の通り – Network構造 –学習手法 正規化手法 ロス関数 モデル関数 – NAS 発表された論文は全部で9本 →トレンドの中心は画像処理系とアルゴリズム系
- 3. 3 今年登場した大学や機関 • 大学 • スタンフォード大学、カリフォルニア大学などを始めとするトップクラ スの大学14校が参加 •機関 Google, Amazonを筆頭にMicrosoftやIntelなどの超有名企業7社が 参加
- 4. 4 注目の大学 • 中国科学院 – 1949年創立の科学技術学術機関及び自然科学・ハイテク総合 研究センターで中国最高峰 –レノボやセンスタイムを始めとする多くのAIベンチャーやユニ コーン企業を輩出実績あり • 在籍者らは今年度はNetwork構造の論文とNASの論文で参 加
- 5. 5 著名な企業も負けてない！ • NVIDIA – カリフォルニア州にある言わずと知れた半導体メーカー –同社が提供するGPUで計算処理能力の拡大に貢献しているの は周知の通り • 高次元のCNNの論文とNAS手法の論文にて参加
- 6. 6 モデル選択 • ディープラーニングでの過学習問題 ー過学習問題とは? • 複雑であるため過学習が起きてないか検証が難しい DatalessModel Selection With the Deep Frame PotentialにおいてDeep Frame Potentialと スキップに注目。Deep Frame Potentialの発生しにくさとエラーの減少のリンクを確認。
- 7. 7 正規化手法 • Batch Normalizationを超えたい –BNの問題点 • BNはバッチサイズが小さいと，平均と分散が偏り精度に影響が出る． • target dataが代わったときにパフォーマンスが下がる． • Batch Renormalization， Group Normalization が提案されたが，BNを超えたわけ ではない．また，バッチサイズが少ない事による問題点を解決できていない． Local Context Normalization, Filter Response Normalization Layerが提案され，0.数~1%程 度の改善を示した．
- 8. 8 High-Dimensional Convolutional Networksfor Geometric Pattern Recognition • Geometric pattern Recognitionに置いて32次元の深い畳込みを実現し ，更に従来手法を上回った． – 3次元データに対しても適用できる． – ↓F1スコアで5%ほどアップ
- 9. 9 Dynamic Refinement Network •物体同士の距離が近い場合にうまく特徴抽出ができない – Dynamic Refinement Network（DRN） • 物体に合わせた特徴量抽出．classification, regressionにも対応 – Feature Selection Module（FSM） • 物体の形状や回転に合わせて物体の見る領域を変更 – SKU110Kのrelabel – ベースラインと比較して精度が+1.1@mAP向上した。他のデータ セットにおいても改善が見られた．
- 10. 10 Robust Learning ThroughCross-Task Consistency • 同じ画像から法線推定やdepth推定などの一連のタスクを行ううえで双方の結果 は利用しあえるという発想．タスク間の整合性を考慮した学習を行うことでより正 確な予測が可能になる – Paper Award Nominees – 著者はtaskonomy(CVPR2018 best paper) • Amir R. Zamir, Alexander Sax, Jitendra Malik, Leonidas J. Guibas – 相互のタスク間から見つけられた教師なし情報を活用して精度が向上する．
- 11. NAS (Neural ArchitectureSearch) 11 CVPR2020におけるNAS ➢ NAS関連の論文は約36件 / 1,467件 (タイトルのみで判断) ➢ Workshopも開催されている NASについて ➢ 最近の潮流：Neural Architecture Search: A Survey Over 1,000 GPU days... 精度 演算量 メモリ ・セル構造探索 ・学習の簡易化 ・精度推定 探索回数の削減 モデル評価コストの削減 モデルの探索空間の制限 ・遺伝的アルゴリズム ・強化学習 ネットワーク構造探索 ・勾配情報の活用 初期のアプローチ例
- 12. 投稿の多かった研究機関 12 CVPR2020 NAS関連の論文36件の手動集計の結果 1位 [5件]SenseTime 2位 [3件] Huawei, 北京大学 （内2件はHuaweiと北京大学が両方共著に入っている） 3位 [2件] NVIDIA, Google, 清華大学など多数 ➢ 2位にランクインしたHuaweiについて Huaweiの中でも特に Huawei Noah’s Ark Lab というAI研究開発機関から投稿されている。 直近でAutoMLツールをリリースしており、 AutoMLやNASの研究にも力を入れていると 思われる。 VEGA: AutoML Toolchain by Noah’s Ark Lab
- 13. 13 UNAS: Differentiable ArchitectureSearch Meets Reinforcement Learning (A. Vahdat, A. Mallya, M. Y. Liu, J. Kautz, NVIDIA) NAS手法のメリット・デメリット ❏ 強化学習、遺伝的アルゴリズム ▲ 探索したい目的関数に制約が無い ▼ 探索コストが高い（↑1,000 GPU days） ❏ 勾配ベースの探索手法 ▲ 探索コストが低い（数 GPU days） ▼ 目的関数が微分可能である必要がる ● 微分不可能な目的関数（ex. 演算量）の予測モデルも同時に学習するアプローチも存在するが、 その予測モデルによって生まれる誤差が無視出来ないケースがある 上記の良い面をそれぞれカバーし、かつ近似の影響も排除した定式化を実現した また、離散変数の扱いや最適化関数の分解・整理が丁寧であり、適用可能性が広い