Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

画像からキャプション作成

1,474 views

Published on

画像からキャプションを作成する学習モデルやツール・データセットなどの紹介スライドです。

Published in: Data & Analytics
  • Be the first to comment

画像からキャプション作成

  1. 1. 画像からキャプション作成 岡山理科大学 総合情報学部 情報科学科 井上佳祐(I13I006)
  2. 2. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  3. 3. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  4. 4. 概要 Chainerを使って画像のキャプション生成環境を構築した 画像を入力するとその説明文を生成する
  5. 5. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  6. 6. キャプション生成モデル – Show and tell: A neural image caption generator
  7. 7. キャプション生成について キャプション生成モデルは大きく分けて3つのネットワークで構 成されている CNN(画像をベクトルに変換) 今回はGoogleNetを使用、他にはVGG19などがある Word embedding(単語からベクトルへの変換) 図中ではWeと表記 LSTM(ベクトルを入力し次の単語の出現率を出力)
  8. 8. 間の処理の説明は よくわからないので割愛
  9. 9. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  10. 10. 学習データについて 学習にはMSCOCOのAnnotationつき画像データセットを 使用
  11. 11. データセットについて トレーニングデータ 82,783画像 413,915キャプション バリデーションデータ 40,504画像 202,520キャプション
  12. 12. データセットについて 2つのアノテーションタイプ Object instances, Image captions instance instance_train2014.json, instance_val2014.json caption caption_train2014.json, caption_val2014.json JSON形式で格納 captionをみてみる
  13. 13. データ例 caption_train2014.json {"image_id": 442259, "id": 135116, "caption": "A black dog in the snow playing with the Frisbee.”} COCO_train2014_0000004 42259.jpg
  14. 14. データセットの前処理 学習させる前にデータセットのキャプションを前処理する必 要がある。前処理の目的は以下である。 トークン化 小文字化 出現回数の少ない語彙のフィルタ
  15. 15. データセットの前処理 前処理後のデータ例は以下である。(index2token.pkl) (dp0 I0 Vraining p1 sI1 Vwritings p2 sI2 Vyellow p3 sI3 Vfour p4 sI4 Vprices p5 sI5 Vwoods p6 sI6
  16. 16. データセットの学習 前述の前処理をしたあと、実際に学習を行っていく。 しかし時間がかかるので今回はWEBで公開されている学習 済みのモデルを用いた。 以下のスクリプトからダウンロードできる https://github.com/apple2373/chainer_caption_generation/ blob/master/download.sh
  17. 17. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  18. 18. 生成キャプションの評価 生成したキャプションを評価する指標として、BLEU、 METEOR、ROUGE、CIDERといったものがある。 これがどういう指標なのかいまいち分からないが値が大き い方がいいみたい。
  19. 19. 生成キャプションの評価 今回トレーニングデータで学習させたモデルに対して、同 じトレーニングデータとバリデーションデータでこれらの 値を計算させた。 評価に用いたのは以下のツールである。 MS COCO Caption Evaluation API https://github.com/tylin/coco-caption
  20. 20. 評価結果 Bleu_1 Bleu_2 Bleu_3 Bleu_4 METE OR ROUG E CIDEr tarin 0.654 0.470 0.328 0.231 0.210 0.478 0.681 val 0.645 0.457 0.315 0.219 0.204 0.470 0.648
  21. 21. 評価ランキング これらの指標を用いた評価ランキングが掲載されている。 Microsoft COCO Image Captioning Challenge https://competitions.codalab.org/competitions/3221#results
  22. 22. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  23. 23. 生成例1 トレーニングデータの 一枚 元の文 A black dog in the snow playing with the Frisbee. 生成文 a group of elephants standing in a river
  24. 24. 生成例2 ヴァリデーションデータの 一枚 元の文 a group of young people playing soccer on a field 生成文 a group of young men playing a game of frisbee
  25. 25. 生成例3 撮影したとある人の画像 説明文 ピースしている人 生成文 a man in a red shirt is playing a video game
  26. 26. 話すこと 概要 キャプション生成について 学習データについて 生成キャプションの評価について キャプション生成例について 日本語のキャプション生成について
  27. 27. 日本語キャプション生成 MS COCOのトレーニングデータの英語キャプションを機械翻 訳で日本語にしたデータセットを英語と同じような前処理と 同じようなアルゴリズムで学習させると生成できるらしい。 日本語に翻訳後のデータセットが公開されていないので学習 済みモデルを使用した。以下のスクリプトでダウンロード可 能。 https://github.com/apple2373/chainer_caption_generation/blob /master/download_jp.sh
  28. 28. データ例(推測) {"image_id": 442259, "id": 135116, "caption": "A black dog in the snow playing with the Frisbee.”} ここを機械翻訳 {"image_id": 442259, "id": 135116, "caption": "フリスビーで 遊んで雪の中で黒い犬。”} としているのだとおもう。( Google翻訳)
  29. 29. 生成例1 生成文 いくつかの羊は、いくつ かの木の近くに草の中に 立っています
  30. 30. 生成例2 生成文 サッカーのゲームをプレ イする若い男性のグルー プ
  31. 31. 生成例3 生成文 男は彼の手にWiiリモコン を保持しています
  32. 32. 参考 1. Chainerで画像のキャプション生成 http://qiita.com/dsanno/items/b237482087207d0364c3 2. MS COCO Dataset Introduction http://www.slideshare.net/ShinagawaSeitaro/ms-coco-dataset-introduction 3. Image caption generation by CNN and LSTM http://t-satoshi.blogspot.jp/2015/12/image-caption-generation-by-cnn-and-lstm.html 4. 日本語の画像キャプション生成モデルを公開 http://t-satoshi.blogspot.jp/search?updated-min=2016-01-01T00:00:00- 08:00&updated-max=2017-01-01T00:00:00-08:00&max-results=1
  33. 33. ご清聴ありがとうございました

×