![3
研究背景
• 付け爪型センサ [Ishii+, 2020]
– 爪に固定して長時間光電脈波信号（photoplethysmogram：
PPG）を測定可能
• 心拍由来の脈波信号（電圧の変動）が測定される
– ジェルネイルによる長期間の間の強固な固定が可能
– 最長で1か月程度の連続使用が可能
– 爪には感覚がなく，汗もかかないので不快な装着感が少ない
センサー
指
爪
光 反射光
血管の拡張・収縮で
変化する](https://image.slidesharecdn.com/5ec2023ver5-230304043742-b49cbafa/75/-3-2048.jpg?cb=1677905429)
![5
研究の動機と概要
• 従来の推定方法（教師無しの手法）
– ゼロクロス法による簡易的な周期推定 [Ishii+, 2020]
– 音楽信号処理における基本周波数推定を応用した
心拍信号解析 [Kajitani+,2021]
– 睡眠時を除いて推定が困難
• 教師あり手法を行う
– 深層ニューラルネットワーク（DNN）を用いた心拍推定
– 教師データが必要
– ラベリングアプリケーションを開発することで簡便にラベルを
付与](https://image.slidesharecdn.com/5ec2023ver5-230304043742-b49cbafa/75/-5-2048.jpg?cb=1677905429)
付け爪センサによる生体信号を用いた深層学習に基づく心拍推定
•0 likes•69 views
Report
Share
Download to read offline
島田優斗, "付け爪センサによる生体信号を用いた深層学習に基づく心拍推定," 香川高等専門学校電気情報工学科 卒業研究論文, 81 pages, 2023年2月.
More Related Content
More from Kitamura Laboratory
More from Kitamura Laboratory(20)
Recently uploaded
付け爪センサによる生体信号を用いた深層学習に基づく心拍推定
- 1. 香川高専 電気情報工学科 卒業研究発表会 2023年3月1日 9:45～10:00 付け爪センサによる生体信号を用いた 深層学習に基づく心拍推定 Heart Rate Estimation Based on Deep Learning Using Biosignal 香川高専 電気情報工学科 北村研究室 5年 島田優斗
- 2. 2 • 在宅医療における遠隔モニタリング – 一人暮らしの高齢者のような人の危険な状態を即座に対処 • 遠隔モニタリングにおける心拍推定の必要性 – 心筋梗塞・不整脈といった心拍に異常が現れる病気の 早期発見 • 既存のデバイス – 電極を胸につけて測定 • 既存のデバイスの問題点 – 睡眠時，入浴時に邪魔 – ムレやかぶれが発生して不衛生 研究背景
- 3. 3 研究背景 • 付け爪型センサ [Ishii+, 2020] – 爪に固定して長時間光電脈波信号（photoplethysmogram： PPG）を測定可能 • 心拍由来の脈波信号（電圧の変動）が測定される – ジェルネイルによる長期間の間の強固な固定が可能 – 最長で1か月程度の連続使用が可能 – 爪には感覚がなく，汗もかかないので不快な装着感が少ない センサー 指 爪 光 反射光 血管の拡張・収縮で 変化する
- 4. 4 • 計測条件 – 計測期間：24時間（2018年5月2日18:00~5月3日18:00） – サンプリング周波数：1kHz（測定後20Hzにリサンプル） – 被験者：30代男性 – 計測部位：左手の親指 PPGの計測実験 睡眠 運動 睡眠 運動 活動 活動 活動 04:00 07:18 14:15
- 5. 5 研究の動機と概要 • 従来の推定方法（教師無しの手法） – ゼロクロス法による簡易的な周期推定 [Ishii+, 2020] – 音楽信号処理における基本周波数推定を応用した 心拍信号解析 [Kajitani+,2021] – 睡眠時を除いて推定が困難 • 教師あり手法を行う – 深層ニューラルネットワーク（DNN）を用いた心拍推定 – 教師データが必要 – ラベリングアプリケーションを開発することで簡便にラベルを 付与
- 6. 6 • 深層ニューラルネットワーク（DNN）に基づく心拍推定 – 観測波形のスペクトログラムから推定 – アプリケーションで付与したラベルとの損失が 小さくなるように学習 本研究の考えるシステム 正解値 観測波形 短時間フーリエ変換 ラベリングアプリケーション 予測値 損失 スペクトログラム DNN
- 8. 8 睡眠 運動 睡眠 運動 活動 活動 活動 ラベリングアプリケーションを開発する動機 • 人間の心拍数 – 基本的に36~210bpm（0.6~3.5Hz） • PPGのスペクトログラム – 36~210bpmの心拍由来と思われる周波数成分が確認できる – 心拍成分が確認できない区間もある 心拍成分が確認できる 心拍成分が確認できない
- 10. 10 ラベリングアプリケーションによるラベルの付与 睡眠 運動 睡眠 運動 活動 活動 • 心拍成分が確認できない部分では0を付与する 活動 • 心拍成分が確認できない部分では0を付与する
- 12. 12 深層ニューラルネットワークの構造 • DNNの入出力 – スペクトログラムの一部を入力 – 最終時間フレームの心拍を予測 • 損失関数 – 平均二乗誤差（MSE） • DNNモデル – 多層パーセプトロン（MLP） – 長・短期記憶（LSTM）ユニット – ゲート付き回帰型ユニット（GRU） – 双方向LSTM（BiLSTM） – 双方向GRU（BiGRU） DNN 予測値 MSE 抽出 出力 入力 予測値 正解値（ラベル）
- 13. 13 パラメータ 値 STFTで用いた窓関数 ブラックマン窓 STFTの窓長 512点（25.6秒） STFTのシフト長 128点（6.4秒） MLPの隠れ層の数 3 MLPの隠れ層の次元 100 エポック数 100 DNNの入力時間フレーム 32（204.8秒） • 各種パラメータ • 評価指標 – 絶対値誤差（MAE） – 二乗平均平方根誤差（RMSE） – ピアソン相関（Pearson correlation） 実験条件
- 14. 14 実験条件 • データ1（2018年5月2日測定） – 親指の爪にセンサをつけて測定 • データ2（2021年5月3日測定） – 減光フィルムを1枚挿入して測定 • データ3（2021年5月8日測定） – 減光フィルムを2枚挿入して測定
- 15. 15 DNNの学習時の損失の推移
- 18. 18 DNNの学習時の損失の推移
- 21. 21 まとめ • 目的 – 付け爪型センサによって得られる信号に対して，精度の高い心 拍推定を行うモデルの作成 • 提案手法 – 測定波形に正解値を与えるためのアプリケーションの開発 – DNNモデルを用いて心拍を推定 • 実験 – 5つのDNNモデルの心拍推定精度を比較 • 結果 – 5つのDNNモデルのうち，BiLSTMが最も良い精度を示した
Editor's Notes
- それでは，北村研究室の島田優斗が付け爪センサによる生体信号を用いた深層学習に基づく心拍推定というテーマで発表させていただきます[0:10]
- 研究の背景として，ご高齢の方が家で一人といった状況において心筋梗塞・不整脈といった心拍に異常をきたす病気を発症した際に，遠隔モニタリングで心拍を見ておくことで即座に対処が可能になります。 しかし，既存のデバイスは電極を胸につけるといったように，常にセンサを装着する必要がります． そのため，睡眠時・入浴時に煩わしい，ムレたりかぶれりと衛生的によくないといった問題があります[0:42] 体言止めにする
- そこで，本研究では右下の画像のような付け爪型センサを用いて心拍の推定を行います。 こちらの付け爪型センサは名前の通り爪につけるセンサです。 左下の画像に示すように，血管の拡張・収縮で変化する反射光（PPG）を測定します ジェルネイルによる強固な固定ができ，最長で一か月間の連続使用が可能です。 爪には感覚がなく，汗もかきません． そのため，既存デバイスにおける装着時の煩わしさやムレたりかぶれたりといった衛生面での問題も解消できます[1:07] 光の位置を変えていい感じにする 上から順番に言う PPG論文と合わせる
- 付け爪型センサによって得られる波形がこちらです． 横軸は24時間で縦軸が電圧値です 計測期間は24時間であり，サンプリング周波数は1kHzで測定しました． 30代男性の左手親指の爪にセンサを取り付け測定しました． [1:28] a.u. 任意単位 50μ 3個データがあることをいう
- 先ほどの波形から心拍を推定する手法として，付け爪型センサデバイスが提案された論文では，ゼロクロス法と呼ばれる手法が使われてました． また，より高精度な心拍の推定を目指して，音楽信号処理の分野で確立された代表的な４つの基本周波数推定法を用いての心拍推定が行われました． この手法では，睡眠時のような安静な状態では高精度な予測が可能でしたが，日常活動時や運動時の心拍推定は困難でした． これらは教師なし手法と呼ばれるような手法であり，これ以上の精度向上は難しいと考えます． そこで僕は教師あり手法でもっとも一般的なDNNを用いて心拍を推定します． そのために，教師ありでの学習を行うにあたって必要となる教師データを付与するためのアプリケーションを作成します． [3:36] 教師ナシはこれまでにやられてきたので、教師アリを研究します 教師ナシではこれ以上は難しそう＞＞教師アリを適用する ゼロクロスを消す 梶谷さんの論文をあさる
- 本研究では，図のような心拍推定法を提案します． 測定波形に短時間フーリエ変換（STFT）を施してスペクトログラムを得ます． アプリケーションを用いてスペクトログラムから正解値を作成し，この値との損失が小さくなるようにDNNを学習するといったものです．教師アリ＜＜DNN
- ラベルの付与にアプリケーションを用いるに至った動機について次のスライドで説明します． 教師アリ＜＜DNN
- こちらの図は先ほど示した測定波形のスペクトログラムです． スペクトログラムを見ると0.7--5.0~Hzのあたりに横筋状の縞模様が確認できると思うのですが，これはPPGに含まれる心拍信号の周波数成分であり，最も低い周波数の横筋が心拍に対応しています． 人間の心拍というのは基本的には36--210~bpmすなわち0.6から3.5Hzであることからもこれが心拍成分であるといえます． 図を大きく 人間が見たらわかる どういうアプリケーションにするか
- この横筋を正解値として与えるために作成したアプリケーションがこれになります． 青枠で囲まれた部分ではスペクトログラムが描画され，ここをなぞると赤い曲線が上書き描画されます． 黄の枠で囲まれた部分では描画されている部分の拡大縮小が行えます． 赤の部分ではカラーマップの調整が行えます． また，緑の部分ではファイルの読み込み，ラベルの出力，直前に書いた線の削除が行えます．[5:05] 図をおおきく もっと説明する 対応する本文に箱の色のアンダーライン ラベルのグラフをはる
- この横筋を正解値として与えるために作成したアプリケーションがこれになります． 青枠で囲まれた部分ではスペクトログラムが描画され，ここをなぞると赤い曲線が上書き描画されます． 黄の枠で囲まれた部分では描画されている部分の拡大縮小が行えます． 赤の部分ではカラーマップの調整が行えます． また，緑の部分ではファイルの読み込み，ラベルの出力，直前に書いた線の削除が行えます．[5:05] 図をおおきく もっと説明する 対応する本文に箱の色のアンダーライン ラベルのグラフをはる
- 次に，提案したシステムのDNNについて説明します 教師アリ＜＜DNN
- 本実験で用いるDNNの入力はスペクトログラムの一部をこのように抽出したものとします． また，DNNの出力は入力したスペクトログラムの最終フレームの心拍の予測値とします． これと作成したラベルの値の損失をMSEで定義して小さくなるように学習します． また，DNNモデルとして 多層パーセプトロン， 長・短期記憶（LSTM）ユニット ゲート付き回帰型ユニット（GRU） 双方向LSTM（BiLSTM） 双方向GRU（BiGRU） を用います． これらのモデルで実際に学習を行った際の条件を次スライドで示します 分ける 軸消す 下の図をDNNモデルの上に
- 実験条件はこのようになっています． また，客観的な評価尺度として，絶対値誤差（MAE），二乗平均平方根誤差（RMSE），及びピアソン相関を用いました． これらは，心拍推定において一般的な評価指標となっていて，MAEは外れ値に頑健な誤差尺度です， RMSEは逆に外れ値に敏感な誤差尺度であり，ピアソン相関は変動の傾向がどれくらい一致しているかの値です． [6:37] 絶対値誤差（MAE） 3種類の測定波形のうち1つを用いた実験 3種類の測定波形すべてを用いた実験＞＞＞＞＞最初に言ったように３つあります DNNの入出力別ページへ
- 本実験では，冒頭でお見せしたようなPPGを，実は3日分とっています 本発表ではスライドに示すグラフを上からデータ１，２，３とします これらはすべて測定条件が異なり，データが古いほど測定時の感度が高いです そのため本発表ではデータ２のみを学習データ，けんしょうデータ，テストデータとした実験と1，2，3すべてを学習データ，けんしょうデータ，テストデータとした実験を行います． 1，2，3すべてを用いた実験は測定条件に対する汎化性能の獲得を目的としており，難易度が高くなっています． データ2のみの実験結果を次スライドに示します． ２しゅのじっけんについて ３つあること
- この4つの図は，予測結果とラベルをスペクトログラム スペクトログラムを1スライドに2こまで 全データの実験いらない 凡例だけパワポで作る（せいかいち、予測値） 軸の説明する 2こぐらいえらんで
- また，1種類の測定波形でのテストデータに対する予測値に対してMAEとRMSEを算出した結果をグラフに示します． 縦軸がMAE及びRMSEの値で，単位はHzです． 横軸は手法を示しています． このグラフより，BiLSTMが0.23Hzと最も良い結果となったことがわかります． ただし，心拍推定の精度としてはあまり良くない結果となっています． グラフの説明 左は手法ごとのMAEとRMSEを表していて、値が小さいほど良いです →は手法ごとのピアソン相関を表していて、値が大きいほど良いです グラフの字を大きくor1枚*4にする＜＜要相談 0~0.9>>0.6~ ピアソン相関0.2毎
- ここで，最も正確な予測ができていると思われる1種類の測定波形でBiLSTMで学習した時のテストデータに対する予測と正解値をスペクトログラム上に重ねる形で描画した図を示す． 左が日常活動時の結果で，右が睡眠時の結果です． 睡眠時の予測精度は高いことが伺えますが，日常活動時はまったくよそくできていません これは0という数字を与えてしまったことが原因だと考えられます． スペクトログラムを1スライドに2こまで 全データの実験いらない 凡例だけパワポで作る（せいかいち、予測値） 軸の説明する 2こぐらいえらんで
- また，1種類の測定波形でのテストデータに対する予測値に対してMAEとRMSEを算出した結果をグラフに示します． 縦軸がMAE及びRMSEの値で，単位はHzです． 横軸は手法を示しています． このグラフより，BiLSTMが0.23Hzと最も良い結果となったことがわかります． ただし，心拍推定の精度としてはあまり良くない結果となっています． グラフの説明 左は手法ごとのMAEとRMSEを表していて、値が小さいほど良いです →は手法ごとのピアソン相関を表していて、値が大きいほど良いです グラフの字を大きくor1枚*4にする＜＜要相談 0~0.9>>0.6~ ピアソン相関0.2毎
- パワースペクトログラム追加
- 研究の概要としまして，アプリケーションで作成した正解値を教師データとし波形のスペクトログラムに対して教師あり学習を行います
- 再起型ニューラルネットワークは図のような構造となっています． ここで，tは時間を表します． 本論文では，中間層に長・短期記憶ユニット（LSTMユニット）を用いたモデルとゲート付き回帰型ユニット（GRU）を用いたモデルを用います．[6:00]
- 次に双方向再起型ニューラルネットワークは図のような構造となっています． これは，過去から未来の方向に処理するRNNと未来から過去の方向に処理するRNNを組み合わせたネットワークです． 通常のRNNと同様に中間層にLSTMユニットを用いたモデル(BiLSTM)とGRUを用いたモデル(BiGRU）を用います．[6:24]