Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
前島紘希
中村聡史
明治大学 総合数理学部
スマートフォン上の
スクリーンキャプチャ画像
探索手法の提案
背景(スクリーンキャプチャ)
• 画面をキャプチャし,画像として保存する機能
• Gyazo
‒スクリーンキャプチャ画像を共有できるサービス
背景(スクリーンキャプチャ)
•撮影枚数が膨大なユーザの存在
•スクリーンキャプチャの用途
‒Webサイト
‒ゲームアプリ
‒SNS
‒電車の乗り換え
‒通販などのメール
‒QRコード
‒情報の比較
© GungHo Online Entert...
背景(スクリーンキャプチャ)
•撮影枚数が膨大なユーザの存在
•スクリーンキャプチャの用途
‒Webサイト
‒ゲームアプリ
‒SNS
‒電車の乗り換え
‒通販などのメール
‒QRコード
‒情報の比較
背景(スクリーンキャプチャの探索の難しさ)
•大量の画像から目的の画像を探すのは困難
会話の話題 QRコード
© GREE, Inc ©TYPE-MOON / FGO PROJECT
目的
•スクリーンキャプチャ画像の特性を調査
•スクリーンキャプチャ画像探索手法を提案
•プロトタイプシステムとして実装
ユーザごとにスマートフォン上の
スクリーンキャプチャ画像を
簡単に探索する
予備調査
• スクリーンキャプチャ画像の所持数の調査
‒調査対象:大学生33名
• スクリーンキャプチャ画像の特性の調査
‒調査対象:大学生5名
スクリーンキャプチャ画像の
特性を明らかにする
スクリーンキャプチャ画像の所持数
•ほとんど撮影しない人から頻繁に撮影を
行う人まで幅広く存在
•削除を頻繁に行う人も存在
‒スマートフォンの容量を空けるため
スクリーンキャプチャ画像の特徴
•スマートフォンのスクリーンキャプチャ画像
7438枚の特徴を分析
‒スクリーンキャプチャ画像の撮影枚数が500枚
を超えている学生5名から収集
特徴1:似た構図の画像が多い
•ある程度決まったアプリで撮影
‒同じアプリのものは構図が似ている
特徴2:短い時間で連続撮影される
•ゲームアプリの会話シーンを撮影する
‒動画撮影には手間がかかる
‒動画よりも容量が少ない
特徴2:短い時間で連続撮影される
•なんらかのアクションの撮影の前後に
さらに撮影が行われる
‒SNSなどに投稿する
分類手法1:特徴点分析を用いた分類
• 類似した画像をクラスタリング
‒求めている画像に近い画像の集団から検索できる
©1999-2016 DeNA Co.,Ltd
特徴点分析による分類
•分類方法
‒特徴点抽出(SIFT)
‒画像を1つのベクトル
に変換(Bag-of-features)
‒クラスタリング(k-means法)
特徴点分析による分類
•分類方法
‒特徴点抽出(SIFT)
‒画像を1つのベクトル
に変換(Bag-of-features)
‒クラスタリング(k-means法)
分類手法2:撮影時間を用いた分類
•撮影時間の差が小さい画像群を同一
グループに分類
•普段の探索と同じ感覚で画像の提示枚数
を減らすことができる
撮影時間による分類
•分類方法
‒時間情報を取得
‒撮影間隔が一定時間内の画像を同一グループ
に分類
©2017 Niantic, Inc. ©2017 Pokémon. , ©1995-2017 Nintendo/Creatures Inc....
特徴点分析を用いた分類の調査
•同じゲームアプリの画像,テキストが多い画
像は同じクラスタに分類される傾向
©Donuts
特徴点分析を用いた分類の調査
•統一性が見られない画像群でクラスタが
生成された
•クラスタ間の枚数に大きな差が存在
特徴点分析を用いた分類の調査
•スクリーンキャプチャ
画像が分類できたかを
評価
正しく分類
A 0.65
B 0.75
C 0.65
D 0.80
E 0.25
F 0.60
G 0.60
総合 0.61
特徴点分析を用いた分類の調査
•スクリーンキャプチャ
画像が分類できたかを
評価
•ユーザEのものは正しく
分類されていない
‒ユーザEを除くと68%
‒カメラ画面をキャプチャ
していたものが見られた
正しく分類
A 0.65
B 0.75
C...
撮影時間を用いた分類の調査
• 平均20〜30%の削減
• 撮影間隔の閾値を変更してもあまり変化は
なかった
プロトタイプシステム
•実装環境:Processing
従来手法 撮影時間 特徴点分析
© 2013 プロジェクトラブライブ! ©2016 プロジェクトラブライブ!サンシャイン!! © KLabGames © bushiroad
©BANDAI...
探索実験
•実験協力者:大学生7名
•検索タスクを提示し,そのタスクに合った画
像を探索してもらう
‒自分の所持しているスクリーンキャプチャ画像
からの探索
•評価項目
‒発見までにかかった時間を計測
‒探索ができたか否か,探索の満足度について...
検索タスク
•一番面白い画像
•自分が一番
気に入っている画像
•メモとして文字を
キャプチャした画像
•SNSで共有するために
撮影した画像
•一番嬉しかった画像
友人と共有
検索タスク
•一番面白い画像
•自分が一番
気に入っている画像
•メモとして文字を
キャプチャした画像
•SNSで共有するために
撮影した画像
•一番嬉しかった画像
思い出の想起
検索タスク
•一番面白い画像
•自分が一番
気に入っている画像
•メモとして文字を
キャプチャした画像
•SNSで共有するために
撮影した画像
•一番嬉しかった画像
情報探索
検索タスク
•一番面白い画像
•自分が一番
気に入っている画像
•メモとして文字を
キャプチャした画像
•SNSで共有するために
撮影した画像
•一番嬉しかった画像
撮影状況の想起
検索タスク
•一番面白い画像
•自分が一番
気に入っている画像
•メモとして文字を
キャプチャした画像
•SNSで共有するために
撮影した画像
•一番嬉しかった画像
友人と共有
記憶の想起
実験結果(探索時間・5段階評価)
全ユーザ平均 かかった時間
従来手法 1:10
撮影時間 1:04
画像特徴量 1:07
•全体の平均に大き
な差は見られな
かった
•特徴点分析の
評価値が高い
•撮影時間は従来
手法よりも低い
考察(特徴点分析)
•探す画像がまとまっており,少ない候補か
ら探索ができた
‒評価が高くなった主な要因
•似た画像が複数のクラスタに分散
•枚数が少ないクラスタが存在
‒画像ごとの類似度を数値化し,閾値を設定す
ることで緩和が可能?
考察(撮影時間)
•従来方法よりも評価が低い
‒グループ化することで見落としが発生してしま
うことが原因か
•スクロール時間が少なくなった
‒探索画面で提示枚数が少なくなったことが
実感できている
まとめ
•スマートフォンのスクリーンキャプチャ画像
の特性調査
•スマートフォンのスクリーンキャプチャ画像
分類手法の提案
•プロトタイプシステムの実装
•探索実験の実施
[今後の展開]
•他の手法を用いた分類
•スマートフォン上でのシステムの...
Upcoming SlideShare
Loading in …5
×

スマートフォン上のスクリーンキャプチャ画像探索手法の提案

542 views

Published on

SIGHCI171で「スマートフォン上のスクリーンキャプチャ画像探索手法の提案」というタイトルで発表を行った際のスライドです

Published in: Technology
  • Be the first to comment

  • Be the first to like this

スマートフォン上のスクリーンキャプチャ画像探索手法の提案

  1. 1. 前島紘希 中村聡史 明治大学 総合数理学部 スマートフォン上の スクリーンキャプチャ画像 探索手法の提案
  2. 2. 背景(スクリーンキャプチャ) • 画面をキャプチャし,画像として保存する機能 • Gyazo ‒スクリーンキャプチャ画像を共有できるサービス
  3. 3. 背景(スクリーンキャプチャ) •撮影枚数が膨大なユーザの存在 •スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較 © GungHo Online Entertainment
  4. 4. 背景(スクリーンキャプチャ) •撮影枚数が膨大なユーザの存在 •スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較
  5. 5. 背景(スクリーンキャプチャの探索の難しさ) •大量の画像から目的の画像を探すのは困難 会話の話題 QRコード © GREE, Inc ©TYPE-MOON / FGO PROJECT
  6. 6. 目的 •スクリーンキャプチャ画像の特性を調査 •スクリーンキャプチャ画像探索手法を提案 •プロトタイプシステムとして実装 ユーザごとにスマートフォン上の スクリーンキャプチャ画像を 簡単に探索する
  7. 7. 予備調査 • スクリーンキャプチャ画像の所持数の調査 ‒調査対象:大学生33名 • スクリーンキャプチャ画像の特性の調査 ‒調査対象:大学生5名 スクリーンキャプチャ画像の 特性を明らかにする
  8. 8. スクリーンキャプチャ画像の所持数 •ほとんど撮影しない人から頻繁に撮影を 行う人まで幅広く存在 •削除を頻繁に行う人も存在 ‒スマートフォンの容量を空けるため
  9. 9. スクリーンキャプチャ画像の特徴 •スマートフォンのスクリーンキャプチャ画像 7438枚の特徴を分析 ‒スクリーンキャプチャ画像の撮影枚数が500枚 を超えている学生5名から収集
  10. 10. 特徴1:似た構図の画像が多い •ある程度決まったアプリで撮影 ‒同じアプリのものは構図が似ている
  11. 11. 特徴2:短い時間で連続撮影される •ゲームアプリの会話シーンを撮影する ‒動画撮影には手間がかかる ‒動画よりも容量が少ない
  12. 12. 特徴2:短い時間で連続撮影される •なんらかのアクションの撮影の前後に さらに撮影が行われる ‒SNSなどに投稿する
  13. 13. 分類手法1:特徴点分析を用いた分類 • 類似した画像をクラスタリング ‒求めている画像に近い画像の集団から検索できる ©1999-2016 DeNA Co.,Ltd
  14. 14. 特徴点分析による分類 •分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)
  15. 15. 特徴点分析による分類 •分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)
  16. 16. 分類手法2:撮影時間を用いた分類 •撮影時間の差が小さい画像群を同一 グループに分類 •普段の探索と同じ感覚で画像の提示枚数 を減らすことができる
  17. 17. 撮影時間による分類 •分類方法 ‒時間情報を取得 ‒撮影間隔が一定時間内の画像を同一グループ に分類 ©2017 Niantic, Inc. ©2017 Pokémon. , ©1995-2017 Nintendo/Creatures Inc. /GAME FREAK inc.
  18. 18. 特徴点分析を用いた分類の調査 •同じゲームアプリの画像,テキストが多い画 像は同じクラスタに分類される傾向 ©Donuts
  19. 19. 特徴点分析を用いた分類の調査 •統一性が見られない画像群でクラスタが 生成された •クラスタ間の枚数に大きな差が存在
  20. 20. 特徴点分析を用いた分類の調査 •スクリーンキャプチャ 画像が分類できたかを 評価 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61
  21. 21. 特徴点分析を用いた分類の調査 •スクリーンキャプチャ 画像が分類できたかを 評価 •ユーザEのものは正しく 分類されていない ‒ユーザEを除くと68% ‒カメラ画面をキャプチャ していたものが見られた 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61
  22. 22. 撮影時間を用いた分類の調査 • 平均20〜30%の削減 • 撮影間隔の閾値を変更してもあまり変化は なかった
  23. 23. プロトタイプシステム •実装環境:Processing 従来手法 撮影時間 特徴点分析 © 2013 プロジェクトラブライブ! ©2016 プロジェクトラブライブ!サンシャイン!! © KLabGames © bushiroad ©BANDAI NAMCO Entertainment Inc.
  24. 24. 探索実験 •実験協力者:大学生7名 •検索タスクを提示し,そのタスクに合った画 像を探索してもらう ‒自分の所持しているスクリーンキャプチャ画像 からの探索 •評価項目 ‒発見までにかかった時間を計測 ‒探索ができたか否か,探索の満足度について の5段階評価 ‒自由記述
  25. 25. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 友人と共有
  26. 26. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 思い出の想起
  27. 27. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 情報探索
  28. 28. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 撮影状況の想起
  29. 29. 検索タスク •一番面白い画像 •自分が一番 気に入っている画像 •メモとして文字を キャプチャした画像 •SNSで共有するために 撮影した画像 •一番嬉しかった画像 友人と共有 記憶の想起
  30. 30. 実験結果(探索時間・5段階評価) 全ユーザ平均 かかった時間 従来手法 1:10 撮影時間 1:04 画像特徴量 1:07 •全体の平均に大き な差は見られな かった •特徴点分析の 評価値が高い •撮影時間は従来 手法よりも低い
  31. 31. 考察(特徴点分析) •探す画像がまとまっており,少ない候補か ら探索ができた ‒評価が高くなった主な要因 •似た画像が複数のクラスタに分散 •枚数が少ないクラスタが存在 ‒画像ごとの類似度を数値化し,閾値を設定す ることで緩和が可能?
  32. 32. 考察(撮影時間) •従来方法よりも評価が低い ‒グループ化することで見落としが発生してしま うことが原因か •スクロール時間が少なくなった ‒探索画面で提示枚数が少なくなったことが 実感できている
  33. 33. まとめ •スマートフォンのスクリーンキャプチャ画像 の特性調査 •スマートフォンのスクリーンキャプチャ画像 分類手法の提案 •プロトタイプシステムの実装 •探索実験の実施 [今後の展開] •他の手法を用いた分類 •スマートフォン上でのシステムの実装

×