Submit Search
Upload
タッチ操作の挙動分析による行動・感情認識
•
Download as PPTX, PDF
•
1 like
•
1,049 views
Yutaka Arakawa
Follow
2013年のHASCシンポジウム(http://hasc.jp/hc2013/symposium.html)での講演資料です.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 17
Download now
Recommended
MitsunoriMatsushita_HCI193
MitsunoriMatsushita_HCI193
Matsushita Laboratory
Intermediate announcement
Intermediate announcement
Yuta Iwamoto
NC AR コメンテーター 戸高
NC AR コメンテーター 戸高
kousuke todaka
研究内容(丹羽美乃)
研究内容(丹羽美乃)
美乃 丹羽
Kansai cedec 2015_okude
Kansai cedec 2015_okude
Seiki Okude
IoTLT 導電布モジュール
IoTLT 導電布モジュール
Tetsuya Dota
開発合宿20130523
開発合宿20130523
damaya_sep
ゲームと機械学習
ゲームと機械学習
yappy0625
Recommended
MitsunoriMatsushita_HCI193
MitsunoriMatsushita_HCI193
Matsushita Laboratory
Intermediate announcement
Intermediate announcement
Yuta Iwamoto
NC AR コメンテーター 戸高
NC AR コメンテーター 戸高
kousuke todaka
研究内容(丹羽美乃)
研究内容(丹羽美乃)
美乃 丹羽
Kansai cedec 2015_okude
Kansai cedec 2015_okude
Seiki Okude
IoTLT 導電布モジュール
IoTLT 導電布モジュール
Tetsuya Dota
開発合宿20130523
開発合宿20130523
damaya_sep
ゲームと機械学習
ゲームと機械学習
yappy0625
#FTMA15 第五回課題 全コースサーベイ
#FTMA15 第五回課題 全コースサーベイ
Yoichi Ochiai
Ppt touya g
Ppt touya g
harmonylab
Ppt touya g
Ppt touya g
harmonylab
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
sugiuralab
ビジュアライゼーションの役割とUI開発のイノベーション(2)
ビジュアライゼーションの役割とUI開発のイノベーション(2)
BizCOLLEGE
機械学習の先端センシングへの適用と展望
機械学習の先端センシングへの適用と展望
The Japan DataScientist Society
使う人によってレイアウトを最適化するAndroidアプリ
使う人によってレイアウトを最適化するAndroidアプリ
TomomiKondo
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
SORACOM,INC
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
KLab Inc. / Tech
iPhoneコンシェルジュアプリ
iPhoneコンシェルジュアプリ
Kato Shingo
iPhoneコンシェルジェアプリの紹介
iPhoneコンシェルジェアプリの紹介
Kato Shingo
アニメーションARマーカを用いたアドホック通信の提案
アニメーションARマーカを用いたアドホック通信の提案
奈良先端大 情報科学研究科
android bazaar and conference 2014 spring
android bazaar and conference 2014 spring
Hirotaka Niisato
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
Kaoru NAKAMURA
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
Yutaka Arakawa
モノのセンサ化による行動センシング
モノのセンサ化による行動センシング
Yutaka Arakawa
評価機能付きパーソナル地理情報表示システムの提案と実装
評価機能付きパーソナル地理情報表示システムの提案と実装
Yutaka Arakawa
GeoPit @ 2011
GeoPit @ 2011
Yutaka Arakawa
Oooi(おーい)@Startup Weekend Fukuoka 2011
Oooi(おーい)@Startup Weekend Fukuoka 2011
Yutaka Arakawa
Smart Narrow Field Communication (SNFC)
Smart Narrow Field Communication (SNFC)
Yutaka Arakawa
Sensing City Potential through Social Data @ ICMU2014 Panel
Sensing City Potential through Social Data @ ICMU2014 Panel
Yutaka Arakawa
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Yutaka Arakawa
More Related Content
Similar to タッチ操作の挙動分析による行動・感情認識
#FTMA15 第五回課題 全コースサーベイ
#FTMA15 第五回課題 全コースサーベイ
Yoichi Ochiai
Ppt touya g
Ppt touya g
harmonylab
Ppt touya g
Ppt touya g
harmonylab
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
sugiuralab
ビジュアライゼーションの役割とUI開発のイノベーション(2)
ビジュアライゼーションの役割とUI開発のイノベーション(2)
BizCOLLEGE
機械学習の先端センシングへの適用と展望
機械学習の先端センシングへの適用と展望
The Japan DataScientist Society
使う人によってレイアウトを最適化するAndroidアプリ
使う人によってレイアウトを最適化するAndroidアプリ
TomomiKondo
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
SORACOM,INC
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
KLab Inc. / Tech
iPhoneコンシェルジュアプリ
iPhoneコンシェルジュアプリ
Kato Shingo
iPhoneコンシェルジェアプリの紹介
iPhoneコンシェルジェアプリの紹介
Kato Shingo
アニメーションARマーカを用いたアドホック通信の提案
アニメーションARマーカを用いたアドホック通信の提案
奈良先端大 情報科学研究科
android bazaar and conference 2014 spring
android bazaar and conference 2014 spring
Hirotaka Niisato
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
Kaoru NAKAMURA
Similar to タッチ操作の挙動分析による行動・感情認識
(14)
#FTMA15 第五回課題 全コースサーベイ
#FTMA15 第五回課題 全コースサーベイ
Ppt touya g
Ppt touya g
Ppt touya g
Ppt touya g
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
データ駆動型実世界計測におけるセンサ配置とデータ収集を支援するシステムの開発(EC2019)
ビジュアライゼーションの役割とUI開発のイノベーション(2)
ビジュアライゼーションの役割とUI開発のイノベーション(2)
機械学習の先端センシングへの適用と展望
機械学習の先端センシングへの適用と展望
使う人によってレイアウトを最適化するAndroidアプリ
使う人によってレイアウトを最適化するAndroidアプリ
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
SORACOM Technology Camp 2018 | B4. 後手に回りがちなIoTセキュリティをどうすべきなのか
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
ゴリラテスト モバイルゲームのUIを自動的に検出・操作する モンキーテスト
iPhoneコンシェルジュアプリ
iPhoneコンシェルジュアプリ
iPhoneコンシェルジェアプリの紹介
iPhoneコンシェルジェアプリの紹介
アニメーションARマーカを用いたアドホック通信の提案
アニメーションARマーカを用いたアドホック通信の提案
android bazaar and conference 2014 spring
android bazaar and conference 2014 spring
Leap motion 実践活用 ダイジェスト版
Leap motion 実践活用 ダイジェスト版
More from Yutaka Arakawa
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
Yutaka Arakawa
モノのセンサ化による行動センシング
モノのセンサ化による行動センシング
Yutaka Arakawa
評価機能付きパーソナル地理情報表示システムの提案と実装
評価機能付きパーソナル地理情報表示システムの提案と実装
Yutaka Arakawa
GeoPit @ 2011
GeoPit @ 2011
Yutaka Arakawa
Oooi(おーい)@Startup Weekend Fukuoka 2011
Oooi(おーい)@Startup Weekend Fukuoka 2011
Yutaka Arakawa
Smart Narrow Field Communication (SNFC)
Smart Narrow Field Communication (SNFC)
Yutaka Arakawa
Sensing City Potential through Social Data @ ICMU2014 Panel
Sensing City Potential through Social Data @ ICMU2014 Panel
Yutaka Arakawa
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Yutaka Arakawa
Phorec: アマチュア写真向け撮影支援アプリ@飯塚スマホアプリコンテスト・ファイナル
Phorec: アマチュア写真向け撮影支援アプリ@飯塚スマホアプリコンテスト・ファイナル
Yutaka Arakawa
More from Yutaka Arakawa
(9)
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
IPSJ-ONE "コンピュータに気持ちよく操られる社会へ向けて"
モノのセンサ化による行動センシング
モノのセンサ化による行動センシング
評価機能付きパーソナル地理情報表示システムの提案と実装
評価機能付きパーソナル地理情報表示システムの提案と実装
GeoPit @ 2011
GeoPit @ 2011
Oooi(おーい)@Startup Weekend Fukuoka 2011
Oooi(おーい)@Startup Weekend Fukuoka 2011
Smart Narrow Field Communication (SNFC)
Smart Narrow Field Communication (SNFC)
Sensing City Potential through Social Data @ ICMU2014 Panel
Sensing City Potential through Social Data @ ICMU2014 Panel
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Ubicomp論文紹介「If You See Something, Swipe towards It: Crowdsourced Event Locali...
Phorec: アマチュア写真向け撮影支援アプリ@飯塚スマホアプリコンテスト・ファイナル
Phorec: アマチュア写真向け撮影支援アプリ@飯塚スマホアプリコンテスト・ファイナル
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
Recently uploaded
(8)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
タッチ操作の挙動分析による行動・感情認識
1.
タッチ操作の挙動分析による 行動・感情認識 ◯荒川豊,平部裕子,安本慶一 奈良先端科学技術大学院大学
2.
スマートフォンを用いた行動認識 • スマホに内蔵されたさまざなセンサを駆使 • 加速度 •
地磁気 • 重力 • 気圧 • ジャイロ • 近接 • 輝度 • マイク • NFC • 回転ベクトル • 放射線 • カメラ
3.
【提案】タッチ操作は? • スマホでは,常時イベント発生 • コンテキスト認識に利用できない? 全アプリのタッチ操作を どうやってロギングする?
4.
サンドボックス Sandbox • セキュリティのための概念 • アプリ間は強制的に分離 •
他のアプリ上でのタッチ操作を監視できない Logging App. App.1 Android OS
5.
手法の検討 手法1:Custom Android OS –
InputManagerを改造すればロギングは簡単にできそう – カスタムROMの普及は難しい 手法2:Android OSの手前でフック – イベントデバイスファイル (/dev/input/xxxx)を監視 – アプリからはRoot権限が必要 – adb経由(USB接続)だと,Root権限不要で丸見え
6.
イベンドデバイスファイル • タッチ操作に関するファイルの在処 – 基本:/dev/input/eventX –
X:機種依存 機種 Android OS X Galaxy Nexus 4.2.1 1 Galaxy S2 4.0.3 2 Galaxy S3 4.0.2 6 Galaxy Note2 4.1.2 2
7.
イベントデバイスドライバの逆解析 • 一見,よくわからない • 複数行で1つのタッチ操作 •
機種により一部フォーマットが違う 101000-325592: 0003 0032 0000000a 101000-325592: 0003 0035 0000011b 101000-325592: 0003 0036 000002e3 101000-325592: 0003 0030 0000000e 101000-325592: 0003 0031 00000009 101000-325592: 0003 003c ffffffd3 101000-325623: 0000 0000 00000000 101000-337007: 0003 0035 0000012a 101000-337007: 0003 0036 000002d8 101000-337007: 0003 0030 0000000c 101000-337007: 0003 003c ffffffe7 101000-337037: 0000 0000 00000000 101000-348696: 0003 0035 00000142 101000-348696: 0003 0036 000002c3 101000-348696: 0003 0031 00000007 101000-348696: 0003 003c ffffffbd 101000-348696: 0000 0000 00000000 101000-360324: 0003 0032 0000000b 101000-360324: 0003 0035 00000164 101000-360324: 0003 0036 000002a8 101000-360324: 0003 0030 0000000f 101000-360324: 0003 0031 0000000b 101000-360355: 0003 003c 0000005a 101000-360355: 0000 0000 00000000 101000-371800: 0003 0032 0000000d 101000-371800: 0003 0035 0000018c 101000-371831: 0003 0036 00000286 101000-371831: 0003 0030 00000010 101000-371831: 0003 0031 00000009 101000-371831: 0003 003c 00000000 101000-371831: 0000 0000 00000000 101000-383672: 0003 0032 0000000b 101000-383703: 0003 0035 000001b6 101000-383703: 0003 0036 00000269
8.
Touch Analyzer(現在ベータ版) • USBでスマホに繋ぐだけでロギングOK •
代表的なタッチ操作の認識 – シングルタッチ・マルチタッチ – シングルスワイプ・マルチスワイプ – ピンチイン・ピンチアウト・ローテート • 記録・再生(可視化) • 統計処理 – 頻度,平均速度,平均圧力 – アプリケーションごとの集計
9.
完成予想図
10.
タッチ操作コンテキストによる行動認識
11.
現在の状況 • β版 • 簡単な評価:下記の文章を入力するというタスク 『台風27号は17日午後3時現在、マリアナ諸島にあり、 ゆっくりと北北西へ進んでいる。中心気圧は970ヘクト パスカル、中心付近の最大風速は35メートルで、強い勢 力となった。また、中心から90キロ以内では風速25メー トル以上の暴風となっている。』
12.
タッチ操作の挙動分析例1 • 個人間の差異 被験者:4人 アプリ:Facebook 時間:3分間
13.
タッチ操作の挙動分析例2 • ストレスの有無 同一文章入力 時間制限の有無
14.
座って入力 タッチ操作の挙動分析例3 • ながら動作による差異 寝っ転がって 話しながら 歩きながら
15.
タッチ操作の挙動分析例4 • キーボードの差 フリック入力 ローマ字入力
16.
タッチ操作コンテキストの応用 • 操作スキルの定量化 – タッチ操作ログをクラウドで統計分析 –
各ユーザのスキルを定量化 操作スキルに応じて変化していく ユーザインターフェース • タッチ操作による個人識別 • 感情を理解するコンシェルジュアプリ
17.
おわり • 今後の予定 – ツールを完成させる •
PC版だけでなく,スマホ完結版も – HASCで培われた分析手法を適用
Download now