第8回 全日本コンピュータビジョン勉強会でのトーク内容です。 https://kantocv.connpass.com/event/221786/

1. 2021/10/9 全日本コンピュータビジョン勉強会#8
@sakanazensen, Preferred Networks
深くは話せない
PFNでのお仕事

2. 2021/10/9 全日本コンピュータビジョン勉強会#8
@sakanazensen, Preferred Networks
深くは話せない
PFNでのお仕事
その代わり自分の仕事に
ついて広く浅く話します！

3. 自己紹介
@sakanazensen（おさかなさん）
学生時代
B 豊橋技科大（金澤研）：腸管内視鏡映像でのSfM
M 名古屋大（村瀬研*1）：Weakly-supervised 人検出（当時はHoG+SVM)
就職後
~2016.8 大手Web企業で社内システムの開発
2016.9~ Preferred Networks (PFN)で研究開発
なぜPFNに転職したか？
情シス・Webエンジニアも楽しく学びがあったがCV業への思いも募り…あとは出会い！
「最速での社会実装」をモットーに研究とエンジニアリングが高度に同居する点に惹かれた
五輪モード
*1 現在は井手研・出口研

4. 自己紹介：おさかなさんとCV勉強会
名古屋編
• B3のとき、第1回 名古屋CV/PRML勉強会に参加
• 2012~2013 2代目幹事*4
関東編
• Webエンジニア時代も参加
– 論文紹介したり
– 社内でも勉強会もしたり
• PFNに移ってから
– 会場を提供させていただいたり
たまーに喋ったり
2018年2月 関東CV#44@PFN会場*3
PFN前田先生による強化学習のレクチャー
CVの有名論文の紹介*1
関東CVでのツール紹介*2
*1 https://kantocv.connpass.com/event/76984/
*2 https://www.slideshare.net/belltailjp/kantocvselective-search-for-object-recoginition
*3 https://www.slideshare.net/belltailjp/chainertrt-chainertensorrt
*4 2年間、中部大 藤吉先生・中京大 橋本先生・名城大 堀田先生・名工大 福嶋先生・広島大（当時）玉木先生・先輩の久徳さんほか多くの方に大変お世話になりました…！

5. Preferred Networks (PFN) について

6. Preferred Networks (PFN) について：強みの4本柱

7. Preferred Networks (PFN) について：文化
*1 https://www.amazon.co.jp/dp/4046040491
*2 https://www.preferred.jp/ja/company/values/
2017年に全社員で
議論した内容を元に
決まりました
*1
*2

8. PFNでの業務（公知のもの）：スポーツ解析
主なタスク
• 映像からの姿勢推定
→ 体向き検出（担当外）
※解像度的にわりとむずい
• 選手位置情報からの
試合状況の自動認識
– 全く新しい方法論を開発
• 実はガチめのサッカーファン
なのでたのしい
（しらんがな）
*1 https://www.s-pulse.co.jp
*2 https://www.renofa.com
*1 *2

9. PFNでの業務（公知のもの）：手話の匿名CG化
今年7月にプレスリリース*1
*1 https://twitter.com/preferrednetjp/status/1419840712086941705

10. PFNでの業務（公知のもの）：手話の匿名CG化
SureTalk*1
Softbank社と共同で開発、CG生成エンジンがPFN
なぜ手話をCG化？
• 手話のスケーラブルで低コストな辞書を作りたい
• ユーザが自らをスマホ等で撮影し単語登録できる
• 生映像は直接出したくない → CG化！
コア技術
単眼RGB画像での3D keypoint検出とアバターへ転送
※2D vs 3Dの
イメージ*2
SureTalk*1の画面
*1 https://app.suretalk.jp/
*2 Occlusion-Aware Networks for 3D Human Pose Estimation in Video より引用
3D pose
2D pose

11. PFNでの業務（公知のもの）：手話の匿名CG化
手話特有の3D keypoint検出での難しさ
• 極端な手の形（データセット不足とも関連）
• Occlusion
• 「雰囲気で奥行き推定」は許されない
• SoTAを試しても意外と厳しい
CG化プロセスでの難しさ
• 推定結果をそのままCGに転送しても違和感が残る
• 要因：被写体とCGアバターでkinematicsが微妙に違う、など
全般に、ドメイン知識ガンガン入れるか？汎用的な手法で頑張るか？
は結構むずかしいポイント
*1 https://www.youtube.com/watch?v=HbE3dFVjvZg
*2 https://www.youtube.com/watch?v=0g39ViCBpWs
*1
*2
※さすがにこれは冗談
*3
*4
3Dキーポイント検出が
特に難しくなりそうな例
※実際のデータではない
*3 https://www.youtube.com/watch?v=IfN0iUZIoUY
*4 https://www.youtube.com/watch?v=IRlUPHpAzmQ
やっぱ人の目は
すごいなぁ…
（こなみ）

12. PFNでの業務（公知のもの）：手話の匿名CG化
手話特有の3D keypoint検出での難しさ
• 極端な手の形（データセット不足とも関連）
• Occlusion
• 「雰囲気で奥行き推定」は許されない
• SoTAを試しても意外と厳しい
CG化プロセスでの難しさ
• 推定結果をそのままCGに転送しても違和感が残る
• 要因：被写体とCGアバターでkinematicsが微妙に違う、など
全般に、ドメイン知識ガンガン入れるか？汎用的な手法で頑張るか？
は結構むずかしいポイント🤔🤔🤔
*1 https://www.youtube.com/watch?v=HbE3dFVjvZg
*2 https://www.youtube.com/watch?v=0g39ViCBpWs
*1
*2
※さすがにこれは冗談
*3
*4
3Dキーポイント検出が
特に難しくなりそうな例
※実際のデータではない
*3 https://www.youtube.com/watch?v=IfN0iUZIoUY
*4 https://www.youtube.com/watch?v=IRlUPHpAzmQ
やっぱ人の目は
すごいなぁ…
（こなみ）
で、どう対処したの？？
すみません、現時点では詳しく言えません＞＜
社会実装と先端研究が両輪で
回ることをPFNではかなり重視
*1 https://www.vecteezy.com/vector-art/1505083-refresh-vector-icon
*1

13. PFNでの業務（公知のもの）：余談
デモ大事！！
リリース内容にもよるが、わかりやすい動画のあるなしでSNSの反応が全く違う by 弊社広報

14. AI x シミュレーション*1
• 学習のためのシミュレーション
• シミュレーションのための学習 etc
どう差別化していこう
• 計算能力
• ドメイン知識
• 実装能力
– シミュレータやそれを使った
パイプラインの実装は簡単ではない
• Learn or Die
PFNでの研究開発業務：最近の社内トレンド
*1 https://www.nikkei.com/article/DGXZQOUC293OF0Z20C21A8000000/
*2 https://pc.watch.impress.co.jp/docs/news/1336421.html
汎用原子レベルシミュレータ
Matlantis*2
シミュレーションに対する
PFNの考え方*1

15. PFNでの研究開発業務：計算資源
システム（2021/10/9時点）
使用
• 必要なとき・必要な量のリソースをk8sで排他的に確保
• インターン生も同じクラスタを基本同じ優先度で使用
Green500 世界1位*2
x1024
V100*5
*1 https://www.preferred.jp/ja/news/pr20190318/
*2 https://www.preferred.jp/ja/news/pr20210628/
*3 https://www.slideshare.net/pfi/kubernetes-125013757
P100*4
x1024
MN-Core*2
x???
管理
GPUスパコン構築*1
ストレージ(PB級)
PFNのk8sクラスタの設計や
思想や使われ方の紹介*3
CPUノード*6
*4 P100 https://www.elsa-jp.co.jp/products/detail/tesla-p100/
*5 V100 https://www.nvidia.com/ja-jp/data-center/v100/
*6 Xeon https://www.intel.co.jp/content/www/jp/ja/products/details/processors/xeon/e/downloads.html
x???
クラスタチーム
計算ノード

16. PFNでの研究開発業務：計算資源の使い方( の場合）
*1 https://openaccess.thecvf.com
*2 http://perso.ens-lyon.fr/lucile.savary/
*3 https://pytorch.org
手法の
調査検討
実装
小規模に動かし
動作面を検証
1回全力で学習し
結果面を検証
Optuna*7で大規模に
ハイパラ探索！
バグ取りや速度面
をここで検証
手法が期待通りか検証。
自分のタスクでは1つの
学習に4~8GPUが多い
数十並列で学習して探索
計算機の空き状況も考慮
• 手法の見直し
• 次の手法を試す
実装見直し
手法見直し
Jupyterや
単体テストで
部品作り
ハイパラ最適化
してますか!?
*4
*3
*1 *2
*5
*6
*4 https://jupyter.org
*5 https://python.org
*6 https://code.visualstudio.com *7 https://optuna.org/

17. PFNでの研究開発業務：計算資源（余談）
計算クラスタを使い倒すにはかなりノウハウがいる
• 確保したぶんは100%使いたい
• ストレージ・ネットワーク律速はダメ
• そもそもk8sが難しい（それを本業としない人には）etc...
対処：内製フロントエンドでハードルを下げる
• k8sのラッパーCLIツール
• k8s自体を隠蔽したWebフロントエンド etc...
対処：情報の有機的な集約と共有
PFNのユースケースでMN-1/2を使いこなすための
社内チュートリアルの整備活動に参画
（※ 必要なものは自分で作ったり働きかけたりするの大事！）
社内の計算環境チュートリアル
*1 https://kodamaworld.github.io/aho-human/
*1

18. PFNでの研究開発業務：はたらきかた
勤務体制（リサーチャ・エンジニア）
裁量労働。ほぼフルリモート（業務上の必要性による）。自分は1年半で出社5~6回ぐらい
コミュニケーション
Slack、Google Meet、現チームではdailyで軽く＋weeklyで2~3回ガッツリ議論
情報や意思決定はできるだけフラット＆オープンに行う文化
雰囲気
チームによるが英語や日本語のミックス
比較的少数精鋭チームが多い？[要出典]のでLearn or dieしないとただdieする
特徴的なイベント
年数回の社内カンファレンスPFN Day*1
全社を挙げての夏のインターン*2 *1 https://tech.preferred.jp/ja/blog/pfn-day/
*2 https://www.preferred.jp/ja/news/internship2021/

19. We are hiring!!
https://www.preferred.jp/ja/careers/
https://apply.workable.com/preferred-networks/