「視線」を科学する。 Media pipeを用いた視線計測の手法について-

「視線」を科学する。
- MediaPipeを用いた視線計測の手法について -
株式会社オーイーシー
公共ソリューション開発事業部
廣津留慶人
2022/4/6
AllRightsReserved, Copyright2020, OEC Co., Ltd
1

目次
・自己紹介
2022/4/6
・今回紹介するシステムは？
- MediaPipeとは？
- FaceMeshとは？
- Irisとは？
- ヨーピッチロールとは？
・このシステムが描く未来とは？
・まとめ
2

自己紹介
2022/4/6 3

自己紹介
2022/4/6
名前 :
所属 :
現在の業務内容 :
年齢 : 30歳
廣津留慶人 (ひろつるけいと)
自治体向け施設予約システムの開発
4

自己紹介
2022/4/6
名前 :
所属 :
年齢 : 30歳
「視線」を科学する。
- MediaPipeを用いた視線計測の手法について -
≠
5

自己紹介
2022/4/6
名前 :
所属 :
年齢 : 30歳
新卒
広告系企業にて
データ分析をおこなう
大学時代
古典統計学を選考
浮浪の民。。。
現在
システムエンジニア
として自治体向けサービスの開発
6

自己紹介
2022/4/6
名前 :
所属 :
年齢 : 30歳
データ分析の理論と実践を
ふんわりと齧ったシステムエンジニアおじさん
廣津留慶人 (ひろつるけいと) is …
です！
7

今回紹介するシステム
2022/4/6 8

今回紹介するシステム
2022/4/6
カメラで対象が「どの方向を」「どの位置から」見ているのかを推定するシステム
9

DEMO
2022/4/6 10

MediaPipeとは？
2022/4/6 11

MediaPipeとは？
2022/4/6
Google社が発表、提供しているフレームワーク
ライブストリーミングされたデータに対し、AIによる推論や画像処理をおこなう。
12
出典:https://google.github.io/mediapipe/

DEMO
2022/4/6 13

FaceMeshとは？
2022/4/6 14

FaceMesh とは？
2022/4/6
Googleが2019年3月に公開した、画像から顔のキーポイントを検出する機械学習ライブラリ
15
出典:https://google.github.io/mediapipe/solutions/face_mesh

DEMO
2022/4/6 16

FaceMesh とは？
2022/4/6
従来手法では顔のランドマークは68個だった。
→ FaceMeshでは重心からの深度を加えた468個のランドマークを使用している。
17
出典:http://www.magicandlove.com/blog/tag/mediapipe/

ヨーピッチロールとは？
2022/4/6 18

2022/4/6
三次元のオブジェクトを回転させる際、x軸,y軸,z軸に相当する直交軸を想定し、その軸を
中心に回転をさせること。
19
出典: KINECT for Windows SDKプログラミング

2022/4/6
20
ピッチ
ヨーロール

2022/4/6
21
ヨー
ピッチ
ロール

Irisとは？
2022/4/6 22

Irisとは？
2022/4/6
Googleが2020年8月に公開した、映像から目のキーポイントを検出する機械学習ライブラリ
23
出典:https://google.github.io/mediapipe/solutions/iris

DEMO
2022/4/6 24

2022/4/6
このシステムが描く未来について
25

現在、主に紙媒体で作成される屋外広告は「ざっくりとした価値推定」しか出来ていないことが多い
2022/4/6 26

ポスター広告の良し悪しや対費用効果の確認は広告主や提案側にも課題となっている
2022/4/6 27
クールな感じのするポスター
好感度が高い
大分県に行ってみたい
うーん普通かな
興味はあまり惹かれない
出典:https://yasuo-yamaguchi.jp/oita

ポスター広告(定性的) × 視線情報(定量的) = 新しいビジネスの可能性が生まれるかも？
2022/4/6 28
ポスターを2.7秒ほど見ていた
ポスター上部に視線を向けていた
ポスターを6秒ほど見ていた
全体に視線を踊らせていた
出典:https://yasuo-yamaguchi.jp/oita

2022/4/6
まとめ
29

まとめ
2. MediaPipeを用いれば、顔の情報をかなり詳細に取得することが出来る
1. Google社が発表・提供しているMediaPipeというフレームワークがある
2022/4/6
3. これまで「定性」が強かった分野にも、「定量」が染み出す余地はある
30

まとめ
2. MediaPipeを用いれば、顔の情報をかなり詳細に取得することが出来る
1. Google社が発表、提供しているMediaPipeというフレームワークがある
2022/4/6
3. これまで「定性」が強かった分野にも、定量が染み出す余地はある
31
新しいものを発信すれば、自分の思う通りの環境が使える！！
世界をPythonで染め上げるために勉強しよう！！

「視線」を科学する。 Media pipeを用いた視線計測の手法について-

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 「視線」を科学する。 Media pipeを用いた視線計測の手法について-

Similar to 「視線」を科学する。 Media pipeを用いた視線計測の手法について- (20)

「視線」を科学する。 Media pipeを用いた視線計測の手法について-