Recommended
Recommended
More Related Content
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (8)
Automatic Understanding of Image and Video Advertisements
- 1. Automatic Understanding of Image and Video Advertisements Zaeem Hussain, Mingda Zhang, Xiaozhong Zhang, Keren Ye, Christopher Thomas, Zuha Agha, Nathan Ong, Adriana Kovashka 1
- 2. 論文概要 • 著者 • Zaeem Hussain, Mingda Zhang, Xiaozhong Zhang, Keren Ye, Christopher Thomas, Zuha Agha, Nathan Ong, Adriana Kovashka • CVPR 2017 • 広告画像から受ける印象やメッセージをいかに機 械学習を用いて理解するか、データを収集して分 析、方向性を調査した論文 • 現在の物体認識システムではまだまだ自動で認識 ができるレベルまでは到達していないことが基礎 的な実験で示される • データセットを収集、構築し、今後取り組むべき 課題をいくつか提案
- 4. Motivation • 最近の画像解析：映っている物体、行動、属性 の推定 • 画像を用いた広告：視聴者へのアピール、メッ セージ 女性がスーツケースを運んでいるという事 実から休暇を取った 彼女がスーツケースの後ろにある血から死 んだ動物を運んでいる推測 人間による解釈 “Don’t buy exotic animal souvenirs”
- 5. Motivation • 最近の画像解析：映っている物体、行動、属性 の推定 • 画像を用いた広告：視聴者へのアピール、メッ セージ 人 商売 道 仕事 株式 町 男の人が食べ物のレジの前で立っている 男の人が店のレジの前に立っている Burger Kingの食べ物はとてもおいしいから、 競合他社の人がこっそり買いに来てしまっ た 物体検出 画像キャプション 人間の解釈 最新技術でも、広告の裏に書かれた目的を解釈することができていない
- 6. Dataset 画像収集 • 注釈付き画像広告のデータセット • 宣伝や何らかの取り組みを示唆する広告を含む • 階層づけたキーワードで画像を取得 • bag-of-wordsで類似度を計算し、重複したも のを削除 • 広告ではない画像の削除 • 画像データの一部をMturkへ提出し、広告か非広告 かのラベル付けを行ってもらう • ラベル付けを行ったデータセットをResNetで学習 を行い、広告か非広告かを分ける
- 7. Dataset 画像広告のアノテーションの収集 • 回答者にトピックや感情を自由に書き込んでも らう • 半自動でクラスター化し、38のトピックと30 の感情リストを作成 • そのあとのタスクではその中のトピックから選 ぶよう依頼 • すべての広告でアノテーションを収集 • 画像ごとに3人から5人の作業者で収集する • 作業者間でのアノテーションの合意は85% トピックと感情ワードの例
- 8. Dataset 質問と答え • 202,090の質問とその答えを集め、１つの画 像につき3つの質問と回答の対をつける • 回答者に「この広告を見て何をすべきで、それ はなぜ？」と質問する • I should [Action] because [Reason].の形式で答 えてもらう 集めた質問と回答の対 よく見られた回答例
- 9. Dataset シンボリズム • Mturkerを使ってシンボルとその意味の対応リ ストを作成 • 二段階の質問 • 簡単に理解できるか • 詳細に境界を決めた意味リストでラベル付けを行う • 稀有なものを除き、221個のシンボルリストが できた
- 10. Dataset 課題 • 収集スピード、コスト、質の3つの面で課題 • 画像広告と動画広告のアノテーション収集に $13,030 • Mturkerがオプションを選ぶタスクでは、質を 上げるために多数決に頼った • 質問応答では、ヒューリスティックス、短いか 反復的な回答の数、および回答に含まれる辞書 以外の単語の数を使用して、不審な回答を選定 • シンボリズムでは、手作業でランダムに応答の サブセットを見直した
- 11. どうすれば広告をデコードできるか？ • 方針：視覚的理解と広告戦略の両方を取り込む • 広告戦略のリスト作成 • 著者5名で100個の広告に広告戦略のラベル付け • 自由形式のテキストやすでにリスト化されていたも のからも選び、拡張も行う • 相互に一貫性のチェックを行いマージ
- 12. 広告のデコード • 統計から、物体認識から単純に認識できる広告 は50％未満 • 残りの各戦略の広告をデコードを行うには以下 の課題がある • 広告のシンボリズムをデコードする方法の開発 • 物理プロセスを理解する技術の開発 • 高度に非写実的なモダリティに関してもオブジェク ト認識できる強力なアルゴリズム • 驚きや興味深さを理解する技術
- 13. 動画広告のデータセット • 画像よりも作成に金額がかかり、データの数が より少なくなる • データ収集 • Youtubeから20万回以上再生され、高評価のほう が多い動画を選択 • 最初と最後の30フレームを平均化して単一の画像 表現を作成、ハッシュアルゴリズムで重複の判断 • 低解像度、非常に古い、なりすまし、単に広告では ない動画を削除 • アノテーション作成 • 画像で用いた方法を用いる
- 14. 実験：Question-answering for image ads • コンピュータは暗黙の視覚的レトリックを理解 できているか • この課題に対して11.48％の精度 • 質問全文を30のプロトタイプに分け実行する と、48.45%の精度 • 動画に対しては8.83%
- 15. 実験：シンボリズムの予測 • Attention model[1]を使用 • 221のシンボルの分類にFスコア15.79% • 各シンボルによってデータに幅があるため学習 が困難 • 同義性と共起性を用いて53個のシンボルに限 定 • 53のシンボル分類にFスコア26.84% [1] G. Sharma, F. Jurie, and C. Schmid. Discriminative spatial saliency for image classification. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
- 16. 実験：イメージ広告のトピックと感想 • 38のトピックと30の感情の分類 • 使用モデル：152層のResNet • 結果：トピック 60.34%, 感情 27.92% • 既存の技術ではこちらの方が実現可能に近い • 広告とただの画像の相違 • Visual Sentiment Ontologyの名詞形容詞句を実験 データにマッピング • 結果：感情 6.64% • 広告の感情が他の画像の感情と異なっている
- 17. 実験：動画広告のトピックと感情 • 38のトピックと30の感情の分類 • 使用モデル：C3D • Sports-1Mで事前訓練 • UCF101でファインチューニング • トピック、感情それぞれマルチクラスSVMを訓練 • 16フレームごとにクリップし、動画ごとに平均をとる • 結果：トピック 35.1%, 感情 32.8%