データ拡張 (Data Augmentation) を学習中に使い分けるRefined Data Augmentationについて解説しました。
He, Zhuoxun, et al. "Data augmentation revisited: Rethinking the distribution gap between clean and augmented data." arXiv preprint arXiv:1909.09148 (2019).
データ拡張 (Data Augmentation) を学習中に使い分けるRefined Data Augmentationについて解説しました。
He, Zhuoxun, et al. "Data augmentation revisited: Rethinking the distribution gap between clean and augmented data." arXiv preprint arXiv:1909.09148 (2019).
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
5月22日、研究所内勉強会の担当回だった時の資料(一部変更)。
画像説明文生成や真相学習を利用した画像生成など、以下のオーラル発表5本を紹介。
1. Show and Tell: A Neural Image Caption Generator
2. Long-term Recurrent Convolutional Networks for Visual Recognition and Description
3. Deep Visual-Semantic Alignments for Generating Image Descriptions
4. Deep Neural Networks are Easilly Fooled: High Confidence Predictions for Unrecognizable Images
5. Understanding Deep Image Representation by Inverting Them
2020/10/10に開催された第4回全日本コンピュータビジョン勉強会「人に関する認識・理解論文読み会」発表資料です。
以下の2本を読みました
Harmonious Attention Network for Person Re-identification. (CVPR2018)
Weekly Supervised Person Re-Identification (CVPR2019)
p7タイトル: "Do Better ImageNet Models Transfer Better? " -> "What makes ImageNet good for transfer learning?"の誤りでした。大変申し訳ございません。
cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。
http://xpaperchallenge.org/cv/
45. Normalize Layer
Local contrast normalization
Convolutional layer
Normalize layer
同一特徴マップにおける局所領域内で正規化する
vj,k = xj,k − wp,q xj+p,k+q∑
wp,q =1∑
yj,k =
vj,k
max(C,σ jk )
σ jk = wpqvj+p,k+q
2
∑
K. Jarrett, K. Kavukcuoglu, M. Ranzato and Y.LeCun ,“What is the Best Multi-Stage Architecture for
Object Recognition?”, ICCV2009
45
46. Normalize Layer
Local response normalization
Convolutional layer
Normalize layer
同一位置における異なる特徴マップ間で正規化する
yi
j,k = (1+α (yl
j,k )2
)β
l=i−N/2
i+N/2
∑
46
G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov ,“Improving neural
networks by preventing co-adaptation of feature detectors ”, arxiv2012
47. 学習時間について
CPU V.S. GPU(1回の更新にかかる時間)
Layer
CPU
(Core2
2.6GHz)
GPU
(GeForce
GT690)
比率
畳み込み層
カーネル:1
27.3ms
11.6ms
2.35倍
畳み込み層
カーネル:20
451.5ms
29.2ms
15.46倍
全結合層
ノード数:100
486ms
14.8ms
32.84倍
学習率
Pre training :0.5
Fine tuning :0.01
Mini-batch :10
47
69. 物体検出
R. Girshick, J. Donahue, T. Darrell, J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation”
, Conference on Computer Vision and Pattern Recognition, pp. 580–587, 2014.
Caffeをもとに,物体のLocalizationに応用
CNNで抽出した特徴量をSVMでクラス識別
Pascal VOCでトップの物体検出
69
CNNを特徴量の生成として使用
96. カリキュラムラーニング(1)
学習過程で難しいサンプルを追加する
(= similar with Bootstrap, but different…)
Y. Bengio, J. Louradour, R. Collobert, J. Weston, “Curriculum Learning”, ICML2009.
x1
x2
x3
xi
y1
y2
yj
y1
y2
y3
h1
h2
hj
初期の学習(単純なパターン)
学習の後期(複雑なパターン)
96