Recommended
More Related Content
Similar to Hangyo acl paperreading2017(Multi-Task Video Captioning with Video and Entailment Generation)
Similar to Hangyo acl paperreading2017(Multi-Task Video Captioning with Video and Entailment Generation) (20)
Hangyo acl paperreading2017(Multi-Task Video Captioning with Video and Entailment Generation)
- 1. Multi-Task Video Captioning with Video and Entailment Generation Ramakanth Pasunuru and Mohit Bansal 紹介する人:萩行 正嗣 (ウェザーニューズ) ACL読み会2017@東工大
- 2. Video Captioning • 動画(画像の系列)のキャプション(単語の系列)を生成するタスク • 動画の長さは数秒から数十秒 • キャプションの長さは1文だが、正解は1つの動画に複数付いている ACL読み会2017@東工大
- 3. Multi-Task Learning • 複数のタスクでニューラルネットのパラメータを共有する • メインのタスクの精度向上が前提で、サブタスクでも同精度か向上 することが多い • Sequence-to-SequenceでEncoderやDecoderのパラメータを共有 [Luong+ 2016] • 最近少しブーム？ • ACL、EMNLPともにMulti-taskとタイトルに入っている論文が4本 • 今回の論文では3つのタスクでパラメータを共有 • Caption generation • Unsupervised video prediction • Entailment generation ACL読み会2017@東工大
- 4. Baseline 1: Sequence-to-Sequence Model ACL読み会2017@東工大 Pre-trainedな画像認識モデルの 隠れ層の出力をLSTMに入れる
- 5. Baseline 2: Attention Model ACL読み会2017@東工大 画像(動画)からの入力
- 8. Entailment Generation • Attention付きのSequence-to-Sequenceとして、Premise(前提)から Hypothesis(仮説)を予測 • Stanford Natural Language Inference(SNLI)から ”Entailment”のラベルが付いた190,113文対を使用 ACL読み会2017@東工大
- 9. Results: Caption Generation (Youtube2Text) ACL読み会2017@東工大 括弧内のアルファベットは、画像処理のモデル(e.g., V = VGGNet)。 (E)はそのモデル内でのEnsembleの意味。
- 10. Examples of Generated Video Caption (1) • Baselineよりよくなった例 ACL読み会2017@東工大
- 11. Examples of Generated Video Caption (2) • 正解に曖昧性があるが、提案手法がそのうちの1つを当てた例 ACL読み会2017@東工大
- 12. Examples of Generated Video Caption (3) • 提案手法もBaselineもいまいちな例 ACL読み会2017@東工大
- 13. Results & Examples: Entailment Generation ACL読み会2017@東工大
- 14. まとめと感想 • Multi-Task LearningでVideo Caption Generationがよくなった • Video caption generation • Unsupervised video prediction • Entailment generation • 時間の方向性(temporally-directed)と推論の方向性(logically- directed)の関連性に注目した点が面白い • 個々のモデル自体はbaseline的なものなので、複雑にした時にうまく Multi-taskとして組めるかは気になる ACL読み会2017@東工大