Surveyから始まる研究者への道 - Stand on the shoulders of giants -

Surveyから始まる研究者への道
- Stand on the shoulders of giants -
中部大学大学院工学研究科情報工学専攻博士前期課程
荒木諒介
1
2018/04/21 名古屋CV・PRML勉強会@中部大学名古屋キャンパス

はじめに
• 荒木諒介 (Ryosuke Araki)
– 機械知覚&ロボティクスグループ (MPRG)
2
DCNNによる把持位置検出
SSDによる未知物体検出
研究テーマ趣味
愛車: SUZUKI SWIFT RS
ZC72S ’13 5MT 91ps 1242cc
愛馬: YAMAHA YBR125
至尊天剣 ’15 5MT 10ps 124cc
無謀な長距離運転
鳥取砂丘↓
↓大学・アマチュア無線
・電子工作
・DeskTopMusic
@ryors_k

本題に入る前に
3
なぜ僕が論文サーベイについて語るのか？

本題に入る前に
4
なぜ僕が論文サーベイについて語るのか？
その理由は2017年の11月末に遡る……

2017年11月下旬の出来事……
5
いろいろ落ち着いて
だいぶ時間が出来たな～
ていうかもう
Advent Calendarの
時期か！
なんか書きたかったな～

その数日後……
6
数
日
後
人工知能エンジニアの年俸
2000万円ってマジ？
そういやTwitterでも誰か
そんなこと言ってたな……
この業界
アツアツなのでは？
2000万は流石に無理だけど……
東洋経済オンライン,“いきなり年収2000万円！今アツい仕事の真実”
[Online] http://toyokeizai.net/articles/-/105004 (2018年1月19日閲覧).

7
金欲しい

8
金欲しい
強くなりたい

9
金欲しい
強くなりたい
強くなるために今の自分に足りないことは……？

今の自分に足りないことは……
10
世界水準の研究のためにサーベイは必須
トレンドの把握だけでなく，自分の研究の
立ち位置の確認にもなる
……産総研片岡さん
https://www.slideshare.net/cvpaperchallenge/ss-72641629
荒木はサーベイする力が弱い
もっといろいろな論文を読んで
自身の立ち位置を確認すべき
……藤吉先生
参考文献が少ないので
研究の位置付けが曖昧です．
……某学会誌の査読結果
○○Netの手法はもう古いよ
……山下先生

今の自分に足りないことは……
11
世界水準の研究のためにサーベイは必須
トレンドの把握だけでなく，自分の研究の
立ち位置の確認にもなる
……産総研片岡さん
荒木はサーベイする力が弱い
もっといろいろな論文を読んで
自信の立ち位置を確認すべき
……藤吉先生
参考文献が少ないので
研究の位置付けが曖昧です．
……某学会誌の査読結果
○○Netの手法はもう古いよ
……山下先生
じゃあ……
アレを
やって
みますか

論文 Solo Advent Calendar
• 12月中毎日，1日1本論文を読んでまとめる
– 読めなかったら翌日2本
– 2日連続読めなかったら終了
• スタイルは論文読み会と同じ，またはもっと簡易に
– 精読はせず，アブストラクト，図，手法，結果等を読む
– 他の仕事を疎かにしないように簡単に読むだけ
• 他の仕事……研究，睡眠，大掃除，ゲーム
– 目標は「1本1時間で終わらせる！」
• 気になった論文などは精読対象として後日精読
– 後日研究室内で共有
• 対象論文は特に定めない
– 2017年のものじゃなくてもOKだけどできるだけ新しいものを
15

そして宣言通り完走
16
SUN MON TUE WED THU FRI SAT
1
Robotic Pick-and-
Place of Novel
Objects in Clutter
with …
2
FCN-Based 6D
Robotic Grasping
for Arbitrary
Placed Objects
3
Deep vision
networks for real-
time robotic grasp
detection
4
Learning Hand-Eye
Coordination for
Robotic Grasping
with Deep …
5
Supersizing Self-
supervision:
Learning to Grasp
from 50K Tries …
6
End-to-End
Training of Deep
Visuomotor Policies
7
Real-Time Object
Detection,
Localization and
Verification …
8
Grasping Novel
Objects with Depth
Segmentation
9
Robot grasp
detection using
multimodal deep
convolutional …
10
SSH: Single Stage
Headless Face
Detector
11
R-FCN: Object
Detection via
Region-based
Fully …
12
R-FCN-3000 at
30fps: Decoupling
Detection and
Classification…
13
Progressive
Growing of GANs
for Improved
Quality, Stability, …
14
Learning a Rotation
Invariant Detector
with Rotatable
Bounding Box
15
Interactively
Picking Real-World
Objects with
Unconstrained …
16
Deep Object-
Centric
Representations for
Generalizable …
17
Single-Shot
Refinement Neural
Network for Object
Detection
18
Sushi Dish : Object
detection and
classification from
real images
19
MarrNet: 3D Shape
Reconstruction via
2.5D Sketches
20
2D-Driven 3D
Object Detection in
RGB-D Images
21
Action Tubelet
Detector for Spatio-
Temporal Action
Localization
22
Generative
Adversarial
Networks
Conditioned by …
23
SSD-6D: Making
RGB-Based 3D
Detection and 6D
Pose Estimation …
24
Unsupervised
Creation of
Parameterized
Avatars
25
Scene Graph
Generation from
Objects, Phrases
and Region …
26
UberNet : Training
a ‘Universal’
Convolutional
Neural Network …
27
Learning non-
maximum
suppression
28
Annotating Object
Instances with a
Polygon-RNN
29
Multi-View 3D
Object Detection
Network for
Autonomous …
30
GuessWhat?!
Visual object
discovery through
multi-modal …
31
Cognitive Mapping
and Planning for
Visual Navigation

今日知って欲しいこと
• どうして論文を読むのか
– 論文サーベイの必要性，メリット
• どうやって論文を探すのか
– 効率的な論文の探し方
• どうやって論文を読むのか
– 効率的＆簡易的な読み方
– 便利なツール
• 論文を読んだ後どうするのか
– 論文のまとめ方
– 自らの研究へコミット
17

18

どうして論文を読む（サーベイする）のか
• 世界水準の研究のために必須
– 最新トレンドの把握
– 自研究の立ち位置の確認
– 新しい研究へのヒント
– 他の先生や研究者との共通の話題
19
もっと知りたい方は……
cvpaper.challenge片岡さんの資料をチェック
「優れた問いを見つける」
「個人/グループサーベイ法」

どうして論文を読む（サーベイする）のか
• 自らが論文を書くときの参考
– 手法に関する記述はもちろん
– 論文の構成，文法，図の作り方，結果の見せ方も参考に
20
1ページ目右上に
わかりやすい図が
ある論文が多い
大きい図は2カラムぶち抜く
関連研究の文量は？手法の説明は？
どうやって段落分け？

慣れてくると……
• 短時間で論文を簡単にまとめることができる
– 1時間，早いと数十分
– 精読するかはその後決定
• 論文を読んでいると「よい・よくない論文」がわかる
– 英文法が怪しい，簡単すぎる
– 参考文献の書き方に問題
– 構成がわかりにくい
– 逆に，自分が論文を書く時は上記に注意
• 英語力が上がる
– よく使う文法・表現が“なんとなく”わかる
• 有名な著者は名前を見るだけでわかる
– 誰がどの分野に強いか等
21

（逆に）サーベイをせずに研究すると
• 既存研究と内容がかぶる
– 他人と同じ研究をして出遅れる
– それどころか既存手法の劣化コピーをドヤ顔で出してしまう
• 論文を書く時に困る
– 関連研究が全く書けない
– 自分の研究の立ち位置を他人に説明できない
– どういう文体や表現を用いれば良いかわからない
• 方向性を見失う
– トレンドが分からないので何をすればいいかわからなくなる
22

23

論文の探し方
• 知っている論文の関連研究や参考文献を見る
– その論文に関係・その論文の理解に有益な論文が見つかる
24
関連研究の章
この2段落だけで20近くの引用
参考文献の一部
タイトルや引用元の文を見て大まかな内容を確認

論文の探し方
• 論文がまとめられているページや資料を探す
– サーベイ論文も有益
25
SlideShare
CVPR2017速報 – cvpaper.challenge
Qiita
畳み込みニューラルネットワークの最新研究
動向 (〜2017) – 内田さん

論文の探し方
• Twitterアカウントを使う
– 論文そのものをツイートするアカウントや内容を解説する方等
26
@icoxfog417さん@CVpaperChalleng
@arxiv_cscv

論文の探し方
• 検索サイトの活用
• 先生や先輩から助言を受ける
– どんなことが知りたいか思い切って聞いてみる
27
Google Scholar IEEE Xplore Digital Library

28

効率的な読み方（fhiro&ryorsk流）
• 論文の大まかな内容を把握してから読む
– まずはAbstract
– 1章から読まない
– 特に導入（Introduction）の最初の方や
関連研究（Related work）は読まない
• もう知ってることが書いてあるだけ
• その分野に疎いなら読んでも良い
• ここで作者の近況を書き出す変人も居る
• 先に大まかな内容を確認してから読むと
読みやすさが大きく違う
29
Abstract
全体を流し見
図や表や式および
そのキャプション
提案手法の説明
結果
上記をもう一度
詳しく読む
関連研究等
（ほとんど読まない）
読む順番（ryorsk流）

大まかな流れを把握しやすい部分
• 段落の最初のワードを見て確認
– 「We proposed」「This work」「Our approach」等
30
Abstract
全体を流し見
結果
詳しく読む
導入や関連研究

31
Abstract
全体を流し見
結果
詳しく読む
・CNNで把持位置検出
・sliding window不要
・GPUで13fps
・最新手法より14%正確
・RGB-D画像から把持位置検出
・Cornell grasping datasetを使用
・1枚の画像を1度だけ
ネットワークに入力する
・パフォーマンス向上
把持位置の表現方法は
従来手法と同じものを用いる
sliding windowは計算コストが
無駄だと考えている

32
Abstract
全体を流し見
結果
詳しく読む

33
Abstract
全体を流し見
結果
詳しく読む
（Cornel grasping datasetの詳細）
・250個の異なる物体
・把持位置の教師信号
・1物体につき複数の画像
・1画像につき複数の教師信号

図や表，式とそのキャプション
• 図を確認
– キャプションおよび参照している文章も確認
34
Abstract
全体を流し見
結果
詳しく読む
提案手法の
ネットワーク
・データセットの画像
・把持位置の付け方
・把持位置の表現方法
・中心座標と幅/高さ，角度から構成

• 図を確認
– 見慣れない図は特に注意
35
Abstract
全体を流し見
結果
詳しく読む
（見慣れない図……提案手法の肝？）
・画像をNxNグリッドに分割，各グリッドをセルと呼ぶ
・セルの中で1つの把持位置と
「true grasp（＝もっともらしい把持位置？）」を検出
・true graspが最大の把持位置を最終的な把持位置とする

• 結果の図や表もあわせて確認
– グラフがあれば表がわかりやすくなる場合も
36
Abstract
全体を流し見
結果
詳しく読む
直接回帰での
検出成功例（上）と失敗例（下）
失敗例でも把持できそうな場合あり
直接回帰では検出失敗するが
MultiGrasp？ならば検出成功（上2）
どちらの手法でも検出失敗する例（下2）

• 結果の図や表もあわせて確認
– グラフがあれば表がわかりやすくなる場合も
37
Abstract
全体を流し見
結果
詳しく読む
把持位置検出結果の表
従来手法（上3）と提案手法（下3）
直接回帰・回帰＋分類，MultiGraspでの評価
現状では何のことかよくわからないが，高速＆高精度
クラス分類結果の表

提案手法の説明を詳しく確認
• 図4でわかったことを念頭に置いて読む
38
Abstract
全体を流し見
結果
詳しく読む

39
Abstract
全体を流し見
結果
詳しく読む
Lenzらが提案した，
Jiangらによる把持位置検出の簡略版

40
Abstract
全体を流し見
結果
詳しく読む
把持位置を画像から直接推定
（→sliding windowを行わない）
・NNは6つの値を出力
・回転角は角度の2倍の値の
三角比を用いる（sin, cos）
・学習中に教師信号を変更
（過学習防止のため）
Fig3（ネットワーク構成）の説明
・AlexNetの拡大版
・Conv x5
・FC x3
・ConvでNormalizationとPooling

41
Abstract
全体を流し見
結果
詳しく読む
・出力層にユニットを追加して物体のカテゴリを検出することも可能
・他の層は変更しないため検出速度は変わらない
MultiGrasp（図4）の詳しい解説

実験概要の確認
42
Abstract
全体を流し見
結果
詳しく読む
• よくある実験方法なら読まなくてもOK

43
Abstract
全体を流し見
結果
詳しく読む
把持位置検出の評価方法
・教師信号と30度以下の誤差かつ
・以下の式を満たす
𝐴 ∩ 𝐵
𝐴 ∪ 𝐵
> 0.25
A: 検出領域
B: 教師信号領域
クロスバリデーション（5倍）で評価
・画像ごとに分割（Image-wise）
・物体ごとに分割（Object-wise）
（同じ物体がいくつか存在するため）

44
Abstract
全体を流し見
結果
詳しく読む
データセットの画像にクラス分類を付与
・クラス分類の評価のため
・「ボトル」「靴」「スポーツ用品」など16種類
・手動でつける（データセットには付随せず）
・ImageNetでPreトレイン
・距離画像を使う時は
RGBのBチャンネルをDに

45
Abstract
全体を流し見
結果
詳しく読む
学習の詳細
・25epoch
・学習率: 0.0005
・decay: 0.001
・Dropout: 50%
・GPU: Tesla K20
データの前処理とAugmentation
・Depth値を0-255に正規化して
Blueチャンネルと置き換え
・各チャンネルから144を引く
・クロップと回転
・入力は224x224

結果の確認
46
Abstract
全体を流し見
結果
詳しく読む
• 図表を中心に不明瞭な部分を紐解く感じ

結果の確認
47
Abstract
全体を流し見
結果
詳しく読む
結果について記述
・Image-wise/Object-wiseともに約85%の精度
・従来手法より10%以上高精度
・検出速度は13FPS
・sliding windowが不要なためここまで速く出来た

結果の確認
48
Abstract
全体を流し見
結果
詳しく読む

結果の確認
49
Abstract
全体を流し見
結果
詳しく読む
直接回帰の場合
・ペンなど細いものは検出しやすい
・皿や帽子などの大きいものは失敗する
回帰＋分類の場合
・検出精度を犠牲にせずクラス分類可能
MultiGraspの場合
・直接回帰よりも優れた結果
・同じように失敗する場合もある
・同様な速度で検出可能

（必要であれば）もう一度詳しく読む
• 必要ならばもう一度詳しく確認
– わからない部分などを詳細に
50
Abstract
全体を流し見
結果
詳しく読む
クラス分類を追加したら
結局出力ユニットはいくつになるの？
BlueチャンネルをDepthに
置き換える動機は？
直接回帰とMultiGraspの
ネットワークは異なる？

（必要であれば）導入部や関連研究
• 導入部を確認する目的
– 研究背景を知りたい
– この手法がどこで役立つのか知りたい
• 関連研究を確認する目的
– 他の論文を読みたい
– 論文中に知らない技術や手法があった
51
Abstract
全体を流し見
結果
詳しく読む

便利なツール
• Web翻訳
– 王道のGoogle翻訳，エキサイト翻訳等
– 使いすぎに注意
• 僕は自分の解釈の「答え合わせ」に使ってます
52

便利なツール
• 論文管理ツール
– Mendeley等
53
自分のライブラリから関連論文を
教えてくれることもある
論文タイトルや作者名，保存先PDFを
リストで一元管理

54

論文のまとめ方（例）
• 重要な情報だけ取捨選択してまとめる
– 目的，手法，新規性，結果etc……
• 上記を表形式でまとめる
– 項目ごとにまとめる
– どの部分が攻められていないかわかりやすい
55

（まとめの例）
Real-Time Grasp Detection
Using Convolutional Neural Networks
J. Redmon (University of Washington), A. Angelova (Google Research)
56今日の日記：このテンプレはAdvent Calendarで使ったものと同じです．せっかく毎日やるので，下部に日記欄をつけてみました．ちょっとした遊び心ですね．
https://pjreddie.com/media/files/papers/grasp_detection_1.pdfまとめの例

概要
• DCNNを用いた把持位置検出
– 単一のDCNNで検出可能
• Sliding windowより高速
• 高速かつ高精度
– 速度：13FPS @GPU
– 精度：最新手法より14%高精度
• 把持位置矩形は「5次元」で表現
– 中心座標(x,y)
– 幅・高さ
– 把持矩形回転角
– 従来手法と同じ 57
基本的にAbstractの内容
わかりやすい画像があれば乗せる
検出結果例
把持位置表現方法
まとめの例

手法・新規性
• ネットワーク構成：AlexNetより大きめのNW
– 入力画像はRed, Green, Depthの3ch
– 把持位置情報と物体クラスを学習
• 画像から複数の把持位置候補を検出（MultiGrasp）
– 画像をNxNグリッドに分割，各グリッドをセルと呼ぶ
– セルの中で1つの把持位置と「True grasp」を検出
– True graspが最大の把持位置を最終的な把持位置とする
58
提案手法を解説
特に，新しい部分をより詳細に
ネットワーク構成検出方法
まとめの例

結果
59
結果を簡単にまとめる
図や表はなるべく説明をつける
まとめの例
直接回帰では検出失敗するが
MultiGraspならば検出成功（上2）
どちらも検出失敗する例（下2）
赤青：教師信号，黄緑：検出結果
把持位置検出結果の表
従来手法（上3）と提案手法（下3）
直接回帰・回帰＋分類・MultiGraspでの評価
クラス分類結果の表
※クロスバリデーションで評価
Image-wise：画像ごとに分割
Object-wise：物体ごとに分割

自らの研究へコミット
• 論文読んだら次は研究！
– せっかく読んだのだから研究に役立てなければ損
• 具体的なコミットの例
– 誰も攻めていない領域を探して攻め込む
– よく使われているアイデアを自研究に取り込む
– 似ている研究を探して合体できないか試す
60

今日知って欲しいこと（再掲）
61

おわりに
• 今回紹介した方法はあくまで「一例」
– 他の人に聞くと違うやり方がわかるかも
– いろいろ試して自分のやりやすいやり方で
• 効率的にたくさんの論文を読んで知識を増やそう
62

Surveyから始まる研究者への道 - Stand on the shoulders of giants -

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Surveyから始まる研究者への道 - Stand on the shoulders of giants -

Similar to Surveyから始まる研究者への道 - Stand on the shoulders of giants - (20)

Surveyから始まる研究者への道 - Stand on the shoulders of giants -