Activity-Net Challenge 2021の紹介
•
0 likes•152 views
Activity-Net Challenge 2021の紹介 http://activity-net.org http://activity-net.org/challenges/2021/index.html http://activity-net.org/challenges/2022/index.html
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Activity-Net Challenge 2021の紹介
Similar to Activity-Net Challenge 2021の紹介 (20)
More from Toru Tamaki
More from Toru Tamaki (20)
Recently uploaded
Recently uploaded (9)
Activity-Net Challenge 2021の紹介
- 2. ActivityNet Challengeとは nCVPR workshopで開催される大規模な動画認識コンペ • 2016年から2021年 • 2022年も開催 n2021年は12challenge • Kinetics-700 • TinyAction • etc nそれぞれのチャレンジについて簡単な概要を紹介
- 4. Kinetics-700 challenge nKinetics700 • 65万動画，700クラス • 10秒にトリミングされている nコンペの概要 • 与えられた動画に対して行動ラベルを予測 • 教師あり，自己教師ありの2トラックで開催 • 使用可能なもの • 動画，音声，フロー，事前学習モデル • 提出するもの • 512次元の特徴ベクトル n評価指標 • Top-1, Top-5 accuracy • 特徴ベクトルをもとに線形識別器を学習して評価
- 5. TinyAction Challenge nTinyVIRAT-v2 • 低解像ビデオ • Train/val 7663/5166 • 26のアクションクラス nコンペの概要 • 低解像度の行動認識 n評価指標 • precision • recall • F1スコア Figure 1. Sample video frames for various actions from TinyVIRAT-v2 dataset. TinyVIRAT-v2 is a multi-class multi-label dataset with
- 7. ActivityNet Temporal Action Localization nActivityNet Version 1.3 • Untrimedなビデオ • 19994本 nコンペの概要 • 時間方向に行動定位 • tIoU > 0.5でmAPで評価 n評価指標 • mAP
- 8. HACS Temporal Action Localization Challenge nHACS • 50万動画，155万クリップ • 5万動画，セグメント付与 nコンペの概要 • 教師あり，弱教師ありの2トラック • 使用可能なもの • 教師あり • 音声，映像，事前学習モデル • 弱教師あり • アクションクラスのラベル n評価指標 • mAP
- 9. SoccerNet Challenge nSoccerNet • サッカー映像理解のための大規模データセット • 550のフルゲーム，12のシングルカメラ nコンペの概要 • アクションスポティング • 特定のアクションを特定する • カメラキャリブレーション • ピッチのマーキング，ポストの位置特定 n評価指標 • mAP (tight average-mAP)
- 11. AVA-Kinetics nAVA-Kinetics • AVAアノテーションプロトコルでKineticsを拡張 • 80のAVAアクションクラスがアノテーション nコンペの概要 • Bbox, action_id, scoreを予測 n評価指標 • Frame-mAP
- 12. ActEV SDL Unknown Facility (UF) nActEV SDL • Known/Unknown Facilityの2つ nコンペの概要 • 固定マルチカメラの自動行動検知 • アクティビティ検出 n評価指標 • 時間制約ありAUDC
- 14. ActivityNet Event Dense-Captioning nActivityNet Captions • 2万動画，10万センテンス nコンペの概要 • 動画内のイベントの検出と記述 n評価指標 • AP • tIoU = 0.3, 0.5, 0.7, 0.9 • BIEU • METEOR • CIDEr
- 15. ActivityNet Entities Object Localization nActivityNet-Entities • ActivityNet Captionsをベース nコンペの概要 • 説明文の評価 • 説明中の単語を特定，Bboxでローカライズ n評価指標 • Accuracy（IoU > 0.5で正解） • F1スコア
- 16. Video Semantic Role Labeling nVidSitu • 複雑な状況の映画の10秒クリップ • 2秒間隔でアノテーション nコンペの概要 • ビデオ内の関連事象の理解 n評価指標 • Top-k Accuracy • CIDEr
- 17. Multi-view & Cross- modal Video Understanding
- 18. nMMAct • 視覚，センサー • ７種のモダリティ nコンペの概要 • 2トラック開催 • マルチモーダル動作認識 • マルチモーダル時間行動定位 n評価指標 • mAP • AP MMAct Challenge
- 19. HOMAGE nHome Action Genome • 一人称視点を含むマルチビュー • 1752シーケンス nコンペの概要 • Atomic Action Localization • Scene-graph Generation • Privacy Concerned Activity Recognition n評価指標 • Second-mAP • SGCLS
- 20. まとめ nActivityNet Challenge2021の紹介 n2021年に開催予定 • ActivityNet Temporal Action Localization • ActivityNet Event Dense Captioning • AVA-Kinetics & Active Speakers • ActEV Self-Reported Leaderboard (SRL) • SoccerNet Challenge • TinyActions • HOMAGE