2)AIを活用したウェルビーイングを測定

Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
ITフォーラム 2023
AIを活用したウェルビーイングの測定
2023年2月3日
道村唯夫
【ITフォーラム2023 AITCセッション】

Copyright © 2023 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
内容
• 背景 – Why Well-being?
• ウェルビーイングとは何か
– 要因、構成要素
– ウェルビーイングの促進とよい介入
– ウェルビーイングを知る
• ウェルビーイングを測る
– システム構成
– 顔のランドマーク検出
– 表情の変化と心拍数の推定
– 気づいたこと

背景
3
ITの進展
効率性・生産性
一般化
ネットワーク
情報爆発
剥き出しの感情
フィルターバブル(分断)
フレーム・いじめ
詐欺・フェイク
消極的自由の
肥大化
最適化
ITの役割の変化
• テクノロジーが個人のウェルビーイングと
ともに、社会全体の利益にも貢献すること
が重要だ(ラファエル・カルボ)
• 「ウェルフェア」から「ウェルビーイング」へ
• SDGs、ムーンショット型研究開発制度
• ウェルビーイング・イニシアチブ
• Well-being for Planet Earth
• など
ITは真の意味で生活を豊かにしているか？
社会・政府、経営・組織、生活

ウェルビーイング
• 「ウェルビーイング」とは
– 「よい状態」であること
• 個人、集団・組織、社会
– 「健康とは、病気ではないとか、弱っていないということではなく、肉体的にも、精神的にも、そして社会的
にも、すべてが満たされた状態(Well-being)にあることをいいます」(公益社団法人日本WHO協会)
– 「個々の人間は解けない謎だが、人間全体は数学的な確かさを持つ」
（コナン・ドイル著『四つの署名』1890年）
• 三つの領域
– 医学的ウェルビーイング
• 心身の機能が不全でないかを問う医学の領域
– 快楽主義的ウェルビーイング
• 現在の気分の良し悪しや快・不快など、一時的、かつ主観的な感情の領域
– 持続的ウェルビーイング ⇐ 着目
• 心身の潜在能力を発揮し、周囲との関係の中で意義を感じている「いきいきとした状態」
• 「フローリシング(flourishing = 開花)」
(カルボ 2014)
4

ウェルビーイングの要因
• 多様な要因
– 理性によって人間の潜在能力を開花させることで実現できる幸福
– 人生満足度/ポジティブ感情/ネガティブ感情の三要素
– フロー状態
– 自律性、有能感、関係性
– PERMA理論
• Positive emotion/Engagement/Relationship/Meaning/Achievement
– 有能感、情緒的安定、没頭、意義、楽観性、ポジティブ感情、良好な人間関係、心理的抵抗力・回復力、自尊心、活力
– 自律性、良好な人間関係、世界との関わり
– 個人内要因、個人間要因、超越的要因
• 地域性
– 個人主義的視点
• 欧米で主流: 確立された個人のウェルビーイングを満たすことで社会への貢献を目指す
– 集産主義的視点 ⇒ コミュニティと公共のウェルビーイング
• 東アジアに多い: 集団のゴールや人間同士の関係性、プロセスの中で価値をつくりあげる
– 択一的・対立的ではなく、個人の中でも両面が存在する(分人主義)
5

ウェルビーイングの構成要素
6
「わたしたちのウェルビーイングをつくりあうために」渡邊ら,2020

ウェルビーイングの促進
7
意識変化
行動変容
状態維持・持続
回復
観測・観察
発見
気づき
• 自律性
– 変化させるのではなく、
自らの意思で変化する
• 良好な人間関係
– 思いやり、共感
• 世界との関わり

よい介入
• 「よい介入」とは
– 個別性への配慮
• 要因を一般化し過ぎてはいけない
• 重要度は個人によって、また時期によって異なる
– 自律性への配慮 ⇒内省フィードバック、ナッジ、ゲーミフィケーション
• ウェルビーイングは与えられるものではない
• 選択肢を提示するなど、一定の自律性を担保する
– 潜在性への配慮
• 人間の意思決定は速い意思決定と遅い意思決定の二つのシステムがある
• 潜在的には存在していたが自覚されていなかった速い意思決定システムからの情報を拾う
– 共同性への配慮
• 集団や組織ならではの介入
• 参加者全員がウェルビーイングとなるよう調整された一つのエコシステムを実現する
– 親和性への配慮
• 衝動的な興奮は快楽追及になるため、平穏や思いやり、愛といった親和的な感情をもたらす
• 自身への気づきや環境との新しい関係性の発見など
– 持続性への配慮
• 目標達成の手段が目的化することを避ける
8

ウェルビーイングを知る
• (ウェルフェア的な)いままでの考え方では
対象ぞれぞれの固有の問題に個別に対応するしかない
– 現実世界での直接的介入による実現の困難さ
• 個々に寄り添い行動変容を促すよう働きかける
– 無関心(高揚・経験)、関心(自信)、準備(解放)、実行(置換・援助)、維持(強化・環境整備)
• 自分(相手)のウェルビーイングとは何か
⇒まずは、気づきが重要
– 悪い状態はわかりやすいが、良い状態にいることは気づきにくい
– 記憶に関する認知バイアス
• 虚記憶、アンカリング、ピークエンドの法則、バラ色の回顧
• 透明性の錯覚
9

ウェルビーイングを測る
• 測定可能なデータ(個人)
– 身体特性・生体反応
• 遺伝子、心拍、呼吸、発汗、体温、筋電、脳波、血液、腸内物質、ホルモン
– 振る舞い・行動
• 表情、目の動き、声の抑揚、姿勢、四肢の動き、発言履歴、キータッチ履歴、ネット閲覧履歴、乗車履歴
– 主観報告
• 言語報告、点数付け(アンケート)、インタビュー、第三者評価
• コミュニティに関するデータ
– 心理的距離、情動的共感、ホルモン
• 行動の同期性で計測可能？
• 先行研究
– アンケートによるものが多かった
– 感情認識/分析(音声、表情、SNS、心拍変動、身体動作、脈拍)
10
「情報処理 Vol.64」,2023 など

ウェルビーイングを測ってみた
• 「空気を読む家」
– 顔色をうかがう
• カメラを使って表情の変化や行動、バイタル情報を動画像で推定する
– 過去にOpenPose等を用いて骨格検出は実施済み (身体動作からの感情推定)
– ハードウェア
• Raspberry Pi 4B (Cortex-A72(ARM v8) 64bit @1.5GHzx4 / 8GB)
• Raspberry Pi カメラモジュール V2.1 (SONY iMX219PQ 8MPix / Fixed focus)
– ソフトウェア
• Raspberry Pi OS (buster / Linux 5.15.50)
• Python 3.7.3
• MediaPipe (0.8.9.1)、OpenCV(4.5.5.64）、…
11

顔のランドマーク検出
• 目的
– 表情の変化や心拍数の測定点を検出するために顔のランドマークを特定する
• アルゴリズム
– 10fpsで顔の有無を検出し、見つかったら40fpsで1フレームの画像を取得
• 顔を見失ったら10fpsに戻す
– MediaPipeのFace Meshを用いて顔のランドマークを検出する
– 最も大きい高さ200px以上の顔を選択する
– 検出したランドマークの座標を正規化・標準化する
• 左右の目じりと鼻の座標を基に全体をアフィン変換
– タイムスタンプと各座標を記録する
• 一定の量のデータが溜まったらディスクに書き出す
• 画像は記録しない
– 各種の分析・推定のための計算
12
Thermal slotlling対策の一環

表情の変化と心拍数の推定
• 表情の変化、瞳や視線の動き
– 顔の大きさ(縦)を200mmとした場合、200pxで検出できれば、1pxは1mmに相当
– 40fpsで検出すると1frameは25msec.
• 瞬きは100～150msec.、反射行動は20sec.
⇒ 現在の解像度とfpsは、一般的な表情は検出できるが反射行動の検出は困難
• 心拍数の推定
– 顔の頬の部分(20x20px[4cm2])のG成分を抽出
• ヘモグロビンは緑の波長帯域に対して高い吸収度を持つため
– 平滑化(Median filter)し、平均値を算出
– パワースペクトルを算出し、周波数でフィルタリング
• サンプリング周波数は40Hz、窓長を20sec.とすると、分解能は2bpm
– ピーク周波数から心拍数を算出
• 窓をスライドさせて計算する
⇒ ある程度の明るさがあれば心拍数の推定は可能だが、最初に結果が出るまでの20sec.は長い
13

顔のランドマーク検出
• できたこと
– 表情の変化はmm単位でそこそこ検出可能
• 反射行動を検出するにはより高いfpsが必要
– 瞳や視線の動きはそこそこ検出可能
– 心拍数はある程度で検出可能
• できそうなこと
– 脈波速度からの血圧の推定
– 感情の推定
• 「口元は笑っていて芋目が笑っていない」はあるらしい
– ウェルビーイングの推定
14

気づき
• 気づいたこと
– 当初はDlibをマルチスレッドで使っていたが処理速度が遅くMediaPipeに変更
• MediaPipeは内部でマルチスレッドで動作しているので余計なことはしない
– Raspberry OS(bullseye)のOpenCV(互換モード)のタイムスタンプはフェイク
• 画像を取得した際のタイムスタンプが不正確
• Libcameraは使っていない
– MediaPipeはGPU付きでビルドすれば性能は改善されるかもしれない
• Multi Hand Trackingで「0.3fps⇒1fps」に性能向上したとのウェブ記事あり
– https://dev.classmethod.jp/articles/mediapipe-install-on-raspberry-pi-4-with-cpu-gpu/
– 精度と算出速度はトレードオフ
• Raspberry Pi 4Bではぎりぎり潜在的な(無意識の)反応を検出できない
• Raspberry Pi 3B+だと精度(解像度、fps)を落とすことになる
– 検出した顔の輪郭は揺らぎが大きいが、顔のパーツは精確に見える
15

気づき
• 気づいたこと – カメラ編
– 撮像はリアルタイムではなく設定したfpsでバッファリングされる
• 例) カラー調整した直後は調整前のバッファ内の画像が取り込まれる
• バッファを「1」にしても「3」つ分くらいはバッファリングされている感じ
• CAP_PROP_POS_MSECはOpenCV内で計算されているような振る舞い
– カメラ(v4l2)から取得した場合、バッファから読み込んだsystem tickになる
• 対策
– Ｆｐｓより速い間隔で読み出せた画像はバッファからの読み込みと判断
– 設定したfpsの間隔で画像が読み込める
• 読み込みのタイミングがfps間隔以内であればアプリケーションは
時間を気にしなくてよい
– 設定したfpsによって画角が変わる
• 640x480の場合、45fpsを境に画角が変わってズームした感じになる
16
30fps
45fps

最後に
17
意識変化
行動変容
状態維持・持続
回復
観測・観察
発見
気づき
• 自律性
– 変化させるのではなく、
自らの意思で変化する
• 良好な人間関係
– 思いやり、共感
• 世界との関わり
ウェルビーイングを測定して見える化
• 自分自身、もしくは相手の
ウェルビーイングを知る
安全性の高い環境
(メタナース)での
トライアル
安全性の高い環境
(メタバース)での
トライアル
行動変容アプローチ
理解(合意)と信頼

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター

2)AIを活用したウェルビーイングを測定

More Related Content

More from aitc_jp

2)AIを活用したウェルビーイングを測定