Successfully reported this slideshow.
Your SlideShare is downloading. ×

スマートフォン上のスクリーンキャプチャ画像探索手法の提案

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Upcoming SlideShare
Newsgraphy - Web 2008 Expo
Newsgraphy - Web 2008 Expo
Loading in …3
×

Check these out next

1 of 33 Ad
Advertisement

More Related Content

Slideshows for you (17)

More from nakamura-lab (20)

Advertisement

Recently uploaded (20)

スマートフォン上のスクリーンキャプチャ画像探索手法の提案

  1. 1. 前島紘希 中村聡史 明治大学 総合数理学部 スマートフォン上の スクリーンキャプチャ画像 探索手法の提案
  2. 2. 背景(スクリーンキャプチャ) • 画面をキャプチャし,画像として保存する機能 • Gyazo ‒スクリーンキャプチャ画像を共有できるサービス
  3. 3. 背景(スクリーンキャプチャ) •撮影枚数が膨大なユーザの存在 •スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較 © GungHo Online Entertainment
  4. 4. 背景(スクリーンキャプチャ) •撮影枚数が膨大なユーザの存在 •スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較
  5. 5. 背景(スクリーンキャプチャの探索の難しさ) •大量の画像から目的の画像を探すのは困難 会話の話題 QRコード © GREE, Inc ©TYPE-MOON / FGO PROJECT
  6. 6. 目的 •スクリーンキャプチャ画像の特性を調査 •スクリーンキャプチャ画像探索手法を提案 •プロトタイプシステムとして実装 ユーザごとにスマートフォン上の スクリーンキャプチャ画像を 簡単に探索する
  7. 7. 予備調査 • スクリーンキャプチャ画像の所持数の調査 ‒調査対象:大学生33名 • スクリーンキャプチャ画像の特性の調査 ‒調査対象:大学生5名 スクリーンキャプチャ画像の 特性を明らかにする
  8. 8. スクリーンキャプチャ画像の所持数 •ほとんど撮影しない人から頻繁に撮影を 行う人まで幅広く存在 •削除を頻繁に行う人も存在 ‒スマートフォンの容量を空けるため
  9. 9. スクリーンキャプチャ画像の特徴 •スマートフォンのスクリーンキャプチャ画像 7438枚の特徴を分析 ‒スクリーンキャプチャ画像の撮影枚数が500枚 を超えている学生5名から収集
  10. 10. 特徴1:似た構図の画像が多い •ある程度決まったアプリで撮影 ‒同じアプリのものは構図が似ている
  11. 11. 特徴2:短い時間で連続撮影される •ゲームアプリの会話シーンを撮影する ‒動画撮影には手間がかかる ‒動画よりも容量が少ない
  12. 12. 特徴2:短い時間で連続撮影される •なんらかのアクションの撮影の前後に さらに撮影が行われる ‒SNSなどに投稿する
  13. 13. 分類手法1:特徴点分析を用いた分類 • 類似した画像をクラスタリング ‒求めている画像に近い画像の集団から検索できる ©1999-2016 DeNA Co.,Ltd
  14. 14. 特徴点分析による分類 •分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)
  15. 15. 特徴点分析による分類 •分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)
  16. 16. 分類手法2:撮影時間を用いた分類 •撮影時間の差が小さい画像群を同一 グループに分類 •普段の探索と同じ感覚で画像の提示枚数 を減らすことができる
  17. 17. 撮影時間による分類 •分類方法 ‒時間情報を取得 ‒撮影間隔が一定時間内の画像を同一グループ に分類 ©2017 Niantic, Inc. ©2017 Pokémon. , ©1995-2017 Nintendo/Creatures Inc. /GAME FREAK inc.
  18. 18. 特徴点分析を用いた分類の調査 •同じゲームアプリの画像,テキストが多い画 像は同じクラスタに分類される傾向 ©Donuts
  19. 19. 特徴点分析を用いた分類の調査 •統一性が見られない画像群でクラスタが 生成された •クラスタ間の枚数に大きな差が存在
  20. 20. 特徴点分析を用いた分類の調査 •スクリーンキャプチャ 画像が分類できたかを 評価 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61
  21. 21. 特徴点分析を用いた分類の調査 •スクリーンキャプチャ 画像が分類できたかを 評価 •ユーザEのものは正しく 分類されていない ‒ユーザEを除くと68% ‒カメラ画面をキャプチャ していたものが見られた 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61
  22. 22. 撮影時間を用いた分類の調査 • 平均20〜30%の削減 • 撮影間隔の閾値を変更してもあまり変化は なかった
  23. 23. プロトタイプシステム •実装環境:Processing 従来手法 撮影時間 特徴点分析 © 2013 プロジェクトラブライブ! ©2016 プロジェクトラブライブ!サンシャイン!! © KLabGames © bushiroad ©BANDAI NAMCO Entertainment Inc.
  24. 24. 探索実験 •実験協力者:大学生7名 •検索タスクを提示し,そのタスクに合った画 像を探索してもらう ‒自分の所持しているスクリーンキャプチャ画像 からの探索 •評価項目 ‒発見までにかかった時間を計測 ‒探索ができたか否か,探索の満足度について の5段階評価 ‒自由記述
  25. 25. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 友人と共有
  26. 26. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 思い出の想起
  27. 27. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 情報探索
  28. 28. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 撮影状況の想起
  29. 29. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 友人と共有 記憶の想起
  30. 30. 実験結果(探索時間・5段階評価) 全ユーザ平均 かかった時間 従来手法 1:10 撮影時間 1:04 画像特徴量 1:07 •全体の平均に大き な差は見られな かった •特徴点分析の 評価値が高い •撮影時間は従来 手法よりも低い
  31. 31. 考察(特徴点分析) •探す画像がまとまっており,少ない候補か ら探索ができた ‒評価が高くなった主な要因 •似た画像が複数のクラスタに分散 •枚数が少ないクラスタが存在 ‒画像ごとの類似度を数値化し,閾値を設定す ることで緩和が可能?
  32. 32. 考察(撮影時間) •従来方法よりも評価が低い ‒グループ化することで見落としが発生してしま うことが原因か •スクロール時間が少なくなった ‒探索画面で提示枚数が少なくなったことが 実感できている
  33. 33. まとめ •スマートフォンのスクリーンキャプチャ画像 の特性調査 •スマートフォンのスクリーンキャプチャ画像 分類手法の提案 •プロトタイプシステムの実装 •探索実験の実施 [今後の展開] •他の手法を用いた分類 •スマートフォン上でのシステムの実装

Editor's Notes

  • Gyazoの話もここで
  • 画像例いくつか出す
  • 画像例いくつか出す
  • 電車の座席とか色々撮っておいたスクショはどこ?
    「こうゆうことあったんだけど…」って友達の会話に使おうとしてるスクショはどこ?
    この電車で行こうって思ってスクショした画像ってどこ?
  • 対象層を話す
  • 削除の理由・量を書く
  • 研究の対象もここって言う
  • やるゲーム(スクショ撮るゲーム)はユーザによって違う
    目的は同じでも人によって違うアプリでアプローチする(電車の乗り換え)
  • ミリオンの画像出す
  • 動画撮るよ!
  • フォルダ画像→画像が並んでる感じ
  • 秒数を変えて精度を出す(エラー率とか)
  • ここを共感が取れる例に変える

    面白い:友人と共有
    気に入っている:自分の思い出の想起
    メモ:後で利用する
    SNS:すぐに使用する画像
    嬉しかった:友人と共有+自分の思い出
  • ここを共感が取れる例に変える

    面白い:友人と共有
    気に入っている:自分の思い出の想起
    メモ:後で利用する
    SNS:すぐに使用する画像
    嬉しかった:友人と共有+自分の思い出
  • ここを共感が取れる例に変える

    面白い:友人と共有
    気に入っている:自分の思い出の想起
    メモ:後で利用する
    SNS:すぐに使用する画像
    嬉しかった:友人と共有+自分の思い出
  • ここを共感が取れる例に変える

    面白い:友人と共有
    気に入っている:自分の思い出の想起
    メモ:後で利用する
    SNS:すぐに使用する画像
    嬉しかった:友人と共有+自分の思い出
  • ここを共感が取れる例に変える

    面白い:友人と共有
    気に入っている:自分の思い出の想起
    メモ:後で利用する
    SNS:すぐに使用する画像
    嬉しかった:友人と共有+自分の思い出
  • レイアウト要調整

×