Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

スマートフォン上のスクリーンキャプチャ探索支援手法

168 views

Published on

CVIM第209回で「スマートフォン上のスクリーンキャプチャ探索支援手法」というタイトルで発表を行なった際に使用したスライドです.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

スマートフォン上のスクリーンキャプチャ探索支援手法

  1. 1. p 前島紘希 (明治大学大学院 先端数理科学研究科) 阿部和樹 中村聡史(明治大学) スマートフォン上の スクリーンキャプチャ探索支援手法
  2. 2. 背景(スクリーンキャプチャの利用方法) • メモとして利用 - Webの情報
  3. 3. 背景(スクリーンキャプチャの利用方法) •ライフログとして利用 - ゲームの記録 - SNSでのやり取り • メモとして利用 - Webの情報 © GREE, Inc
  4. 4. 背景(スクリーンキャプチャの探索の難しさ) •大量の画像から目的の画像を探すのは困難 ゲームのガチャの スクリーンキャプチャ ©TYPE-MOON / FGO PROJECT
  5. 5. 背景(クラスタリングの必要性) •探索が難しい理由 ‒大量の画像がただ並んでいるだけ •手動でグループを作るのは手間がかかる 自動クラスタリングによる 探索支援
  6. 6. 以前の研究(スクリーンキャプチャ画像の特徴) •似た構図の画像が多い - 特定のアプリでの撮影が多い •短い時間で連続撮影される - 一連の流れで保存(コマ撮り) スマートフォン上のスクリーンキャプチャ画像探索手法の提案[前島,2017]
  7. 7. 以前の研究からの知見 •連続撮影でのクラスタリングは探索には向 かない •似た画像での探索は高評価 ‒精度はまだ高くない •うろ覚えでの探索のニーズ
  8. 8. 背景(記憶の曖昧さ) •撮影したスクリーンキャプチャの情報は 詳しく覚えていない 3人ぐらいいた気が… 文字数結構 あったと思う…
  9. 9. 目的 •領域分割による分類 •顔の数による分類 •文字数による分類 スマートフォン上の スクリーンキャプチャ画像の 探索容易性の向上
  10. 10. 分類手法1:領域分割を用いた手法 •画像を3領域に分割し,ヘッダ,フッタに 重みをつけて分類 ‒スマホのアプリで特徴的な領域 ‒類似画像での探索の精度向上
  11. 11. 分類手法2:顔の数を用いた分類 •キャラクタ,アイコンを利用 ©2013 プロジェクトラブライブ! ©2017 プロジェクトラブライブ!サンシャイン!! ©KLabGames ©bushiroad
  12. 12. 分類手法2:顔の数を用いた分類 •画像内のキャラクタの顔の数を計算 •ゲームアプリなどの画像の探索の手助けに ©DeNA Co.,Ltd
  13. 13. 分類手法3:文字数を用いた分類 •テキストの量を利用 ©BANDAI NAMCO Entertainment Inc.
  14. 14. 分類手法3:文字数を用いた分類 •画像内のテキストの文字数をカウント •SNSなどの画像を容易に探索できるように ○○文字
  15. 15. プロトタイプシステム •分類手法1〜3を 全て利用可能 •複数の手法の 併用可能 •実装:Processing
  16. 16. 探索実験(実験概要) •3種類の分類手法がどのように利用されるか, 探索行動がどのように変化するのかの調査 ‒分類なしでの提示と比較 •実験協力者:9名(大学生,社会人) ‒500枚以上のスクリーンキャプチャを所持 •自分の所持しているスクリーンキャプチャ 画像からの探索
  17. 17. 探索実験 •評価項目 ‒発見までにかかった時間 ‒以下の3項目について5段階のアンケート評価 ‒3種類の分類手法の使い方 ‒自由記述 •アンケート項目 ‒探索の難易度 ‒探した画像の満足度 ‒絞り込みをうまく使えたか
  18. 18. 探索実験(目的ベースの探索タスク) •記憶が曖昧な画像の探索 ‒以下のタスクに当てはまる画像の探索 ‒該当する画像を思い浮かべてもらってから探索 を行う ‒分類あり,分類なしでそれぞれ4回ずつ探索 最近の嬉しかった画像 昔の嬉しかった画像 最近の面白い画像 昔の面白い画像 最近の後で使うために 撮影した画像 昔の後で使うために 撮影した画像 最近の悲しかった画像 昔の悲しかった画像
  19. 19. 探索実験(特定画像探索タスク) •記憶が明確な画像を探索 ‒特定の画像を提示して,その画像の探索 ‒提示する画像は著者が選択 ‒分類あり,分類なしでそれぞれ4回ずつ探索
  20. 20. 実験結果(分類の有無による比較) •探索時間 :分類なし > 分類あり •アンケート :分類なし < 分類あり 目的ベース 探索時間 探索難易度 満足度 分類なし 1:58 -0.16 0.66 分類あり 2:21 0.50 0.77 特定画像 探索時間 探索難易度 分類なし 1:04 -0.05 分類あり 1:58 0.52
  21. 21. 実験結果(利用する探索手法の違い) •目的ベース :類似画像探索が多い •特定画像 :顔の数での探索が多い •探索回数,併用数に大きな差はない 類似 顔の数 文字 探索回数 併用数 目的ベース 15.77 9.33 10.00 28.11 7.55 特定画像 8.22 14.88 13.55 29.88 6.44
  22. 22. 実験結果(利用する探索手法の違い) •探索の際に最初に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29
  23. 23. 実験結果(利用する探索手法の違い) •探索の際に最初に使われた手法の割合 •顔の数が多く使用されている 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29
  24. 24. 実験結果(利用する探索手法の違い) •探索の際に最初に使われた手法の割合 •顔の数が特に多い •特定画像探索の際は類似による絞り込みが 少ない 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29
  25. 25. 実験結果(利用する探索手法の違い) •探索の際に最後に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26
  26. 26. 実験結果(利用する探索手法の違い) •探索の際に最後に使われた手法の割合 •顔の数が特に多い 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26
  27. 27. 実験結果(利用する探索手法の違い) •探索の際に最後に使われた手法の割合 •顔の数が特に多い •目的ベースの際は文字数による絞り込みが 少ない •特定画像探索の際は類似による絞り込みが 少ない 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26
  28. 28. 実験結果まとめ •探索時間は分類なしの方が短い •アンケート結果は分類ありの方が良い •探索タスクによって使われる手法に違いが あった •探索の最初と最後に使用される手法に 違いがあった
  29. 29. 考察 •探索時間は分類なしの方が短い •ユーザへのアンケート結果は分類ありの方 が良い ‒ユーザは探索の時間よりも探索のしやすさを 重要視する ‒システムをさらに使っていくことで探索時間は 短縮される可能性あり
  30. 30. 考察 •目的ベースと特定画像探索で手法の使い 方に違いが出た ‒探す画像の曖昧さによる変化 目的ベース 特定画像
  31. 31. 考察 •顔の数による探索が多い ‒メモの画像は顔の数0で探索可能 •特定画像探索タスクでは類似検索が少な い ‒顔の数,文字数に比べてクラスタの数が多い •目的ベースの探索タスクは最後に文字数 検索が使われない ‒詳しいテキストの量は記憶されていない
  32. 32. ユーザの意見 •サイズでの分類が欲しい ‒縦のサイズ>横のサイズ 程度の分類 •特定の画像からの探索がしたい
  33. 33. まとめ •3種のスマートフォンのスクリーンキャプチャ 画像分類手法をプロトタイプシステムの実装 •探索実験の実施 ‒アンケートの結果ユーザの満足度は高評価 [今後の展開] •分類精度の向上 •他の分類手法の実装 •スマートフォン上でのシステムの実装

×