Download to read offline
![2
• 頸髄症 (Cervical Myelopathy ： CM)
• 原因：頸髄の圧迫
• 症状：四肢の痺れ、痛み、脱力
• 治療を要する割合：人口 10 万人あたり数人
• 診断方法： 10 秒テスト、画像診断
• 手根管症候群 (Carpal Tunnel Syndrome ： CTS)
• 原因：正中神経の圧迫
• 症状：母指から環指の半分の痺れ、母指球の萎縮
• 罹患率： 3% 程度
• 診断方法：神経伝導速度検査、 Tinel サイン
背景 (1/2) ：手指の整形疾患の一例
[1] 北里大学北里研究所病院 頸髄症 , https://www.kitasato-u.ac.jp/hokken-hp/visitor/office_visit/cervicalcord.html (2024/1/17 閲覧 )
[2] 三鷹整形外科 手根管症候群 , https://www.mitakaseikei.com/carpal_tunnel/ (2024/1/17 閲覧 )
CTS の症状 [2]
CM の症状 [1]](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-2-320.jpg)
![5
• 手指への制約による物体把持方法の変化を観察
• テーピングが親指の可動領域を狭めることを実証
• テーピング手法が CTS の症状を再現できることを示唆
• 疾患スクリーニングへの応用はなし
関連研究 (1/2) ：テーピングによる手指の制御 [3]
[3] N. Miyata et al., "Observation of Grasping Style Adaptation due to Artificially Limited Joint Range of Motion of the Thumb", Proc. 2017 Int. Symp. on Micro-NanoMechanics and Human science, pp. 206-207, 2017.
親指の可動域 [3]
テーピングの様子 [3]](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-5-320.jpg)
![6
• スマートフォンのカメラアプリで手指開閉運動 ( グーパー運動 ) を撮影
• 21 関節の座標を骨格推定により取得し、周波数成分に変換
• 患者データを学習に使用
• 健常者と CM 患者の識別
• AUC(Area Under the Curve) ： 0.93 、感度： 91% 、特異度： 88%
• 健常者と CTS 患者の識別
• AUC ： 0.91 、感度： 90% 、特異度： 85%
• 収集が困難な患者データが訓練に必要
関連研究 (2/2) ：映像を用いた整形疾患スクリーニング手法 [4,5]
[4] Takuya Ibara, Ryota Matsui, Takafumi Koyama, Eriku Yamada, Akiko Yamamoto, Kazuya Tsukamoto, Hidetoshi Kaburagi, Akimoto Nimura, Toshitaka Yoshii, Atsushi Okawa, Hideo Saito, Yuta Sugiura, and Koji Fujita. Screening for
degenerative cervical myelopathy with the 10-second grip-and-release test using a smartphone and machine learning: A pilot study. DIGITAL HEALTH, Vol. 9, p. 20552076231179030, 2023.
[5] Ryota Matsui, Takuya Ibara, Kazuya Tsukamoto, Takafumi Koyama, Koji Fujita, and Yuta Sugiura. Video analysis of hand gestures for distinguishing patients with carpal tunnel syndrome. In Companion Proceedings of the 2022
Conference on Interactive Surfaces and Spaces, ISS ’22, p. 27–31. Association for Computing Machinery, 2022.
手指の撮影の様子 [5]
ROC 曲線と AUC](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-6-320.jpg)
![• 実験条件
• iPnone15 のデフォルトカメラアプリを使用
• フレームレートは 30[fps] に設定
• 手指全体が画角に収まるよう、画面に垂直に配置
• 手指開閉を十分にしつつ、なるべく素早く手指を開閉
• 30 秒を経過した時点で撮影終了
9
ハードウェア実装 (2/2) ：グーパー運動の撮影
撮影の様子](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-9-320.jpg)
![• MediaPipe の Hand landmark detection[6] を使用
• 各フレームに対して手指の 21 点の 3 次元座標を取得
10
ソフトウェア実装 (1/3) ：映像フレームにおける骨格推定
骨格推定と座標変換の概要 [7,8]
[6] https://google.github.io/mediapipe/solutions/hands.html (2024/9/19 閲覧 )
[7] 医学分野では親指、人差し指、中指、薬指、小指を母指 ( ぼし ) 、示指 ( じし ) 、中指 ( ちゅうし ) 、環指 ( かんし ) 、小指 ( しょうし )
と呼ぶ
[8] CMJ ：手根中手関節， MPJ: 中手指節関節， IPJ: 指節間関節， PIPJ: 近位指節間関節， DIPJ: 遠位指節間関節](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-10-320.jpg)
![• 模擬患者の映像
• 手指機能に障害がない知人 6 人を対
象
• 器具による固定あり
• 右手左手それぞれ 1 回ずつ撮影
• 30 秒経過した時点で撮影終了
15
実験データ (1/3) ：データの種類
• 患者 & 健常者の映像
• 大学病院の来院者 93 名を対象 [9]
• CM 患者
• CTS 患者
• 健常者
• 器具による固定なし
• アンドロイドスマートフォンを使用
• 右手左手それぞれ 1 回ずつ撮影
• 10 秒経過し、開閉回数が
20 回を超えた時点で撮影終了
[9] 東京医科歯科大学医学部倫理審査委員会によって承認済み](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-15-320.jpg)
![20
考察
患者、健常者データを
学習に用いた手法 [4]
提案手法
AUC 感度
(%)
特異度
(%)
0.93 91 88
0.84 86 83
CM スクリーニング性能の比較
患者、健常者データを
学習に用いた手法 [5]
提案手法
AUC 感度
(%)
特異度
(%)
0.91 90 85
0.78 87 62
CTS スクリーニング性能の比較
• 関連手法 [4,5] より識別性能が低い
• 疲労によって過度にグーパー運動が鈍化
• 器具装着による抵抗力
• 長時間の撮影
• 模擬患者の器具装着時のグーパー運動と健常者
の制約なしのグーパー運動が類似した可能性
• 模擬患者と健常者との年齢の大きな差異
• CTS スクリーニングでの特異度が低い
• テストデータ中の陰性データの少なさ](https://image.slidesharecdn.com/sigdemo2024takairyosukeslidenomemo-241105151601-06b9871d/85/Proposal-for-an-Orthopedic-Disease-Screening-Method-Using-Simulated-Patient-Data-20-320.jpg)
Uploaded bysugiuralab
模擬患者データを用いた整形疾患スクリーニング手法の提案(Proposal for an Orthopedic Disease Screening Method Using Simulated Patient Data)
In this study, we propose a method to screen for orthopedic diseases (cervical myelopathy and carpal tunnel syndrome) by learning data from healthy subjects (simulated patients) whose fingers are physically controlled to reproduce the symptoms, rather than data from actual patients suffering from orthopedic diseases.
![[FIT2025 トップコンファレンスセッション]EarHover: ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識](https://cdn.slidesharecdn.com/ss_thumbnails/fit2025-presentationv2-251006033725-c7651715-thumbnail.jpg?width=640&height=640&fit=bounds)
模擬患者データを用いた整形疾患スクリーニング手法の提案(Proposal for an Orthopedic Disease Screening Method Using Simulated Patient Data)
- 1. 模擬患者データを用いた 整形疾患スクリーニング手法の提案 * 慶 應義 塾 大 学 理 工 学 研 究 科 * * 東 京 医 科 歯 科 大 学 髙井亮輔 * 渡辺拓郎 * 藤田浩二 ** 杉浦裕 太 *
- 2. 2 • 頸髄症 (CervicalMyelopathy ： CM) • 原因：頸髄の圧迫 • 症状：四肢の痺れ、痛み、脱力 • 治療を要する割合：人口 10 万人あたり数人 • 診断方法： 10 秒テスト、画像診断 • 手根管症候群 (Carpal Tunnel Syndrome ： CTS) • 原因：正中神経の圧迫 • 症状：母指から環指の半分の痺れ、母指球の萎縮 • 罹患率： 3% 程度 • 診断方法：神経伝導速度検査、 Tinel サイン 背景 (1/2) ：手指の整形疾患の一例 [1] 北里大学北里研究所病院 頸髄症 , https://www.kitasato-u.ac.jp/hokken-hp/visitor/office_visit/cervicalcord.html (2024/1/17 閲覧 ) [2] 三鷹整形外科 手根管症候群 , https://www.mitakaseikei.com/carpal_tunnel/ (2024/1/17 閲覧 ) CTS の症状 [2] CM の症状 [1]
- 3. 3 背景 (2/2) ：機械学習を用いた手法の諸問題 •患者データを収集するのが困難 • 罹患率の低さ • データ取得のコスト • 医師による事前診断 • 曖昧なデータに対するラベリングが困難 • 患者のプライバシーへの配慮 • 医療データに対するセキュリティ問題
- 4.
- 5. 5 • 手指への制約による物体把持方法の変化を観察 • テーピングが親指の可動領域を狭めることを実証 •テーピング手法が CTS の症状を再現できることを示唆 • 疾患スクリーニングへの応用はなし 関連研究 (1/2) ：テーピングによる手指の制御 [3] [3] N. Miyata et al., "Observation of Grasping Style Adaptation due to Artificially Limited Joint Range of Motion of the Thumb", Proc. 2017 Int. Symp. on Micro-NanoMechanics and Human science, pp. 206-207, 2017. 親指の可動域 [3] テーピングの様子 [3]
- 6. 6 • スマートフォンのカメラアプリで手指開閉運動 (グーパー運動 ) を撮影 • 21 関節の座標を骨格推定により取得し、周波数成分に変換 • 患者データを学習に使用 • 健常者と CM 患者の識別 • AUC(Area Under the Curve) ： 0.93 、感度： 91% 、特異度： 88% • 健常者と CTS 患者の識別 • AUC ： 0.91 、感度： 90% 、特異度： 85% • 収集が困難な患者データが訓練に必要 関連研究 (2/2) ：映像を用いた整形疾患スクリーニング手法 [4,5] [4] Takuya Ibara, Ryota Matsui, Takafumi Koyama, Eriku Yamada, Akiko Yamamoto, Kazuya Tsukamoto, Hidetoshi Kaburagi, Akimoto Nimura, Toshitaka Yoshii, Atsushi Okawa, Hideo Saito, Yuta Sugiura, and Koji Fujita. Screening for degenerative cervical myelopathy with the 10-second grip-and-release test using a smartphone and machine learning: A pilot study. DIGITAL HEALTH, Vol. 9, p. 20552076231179030, 2023. [5] Ryota Matsui, Takuya Ibara, Kazuya Tsukamoto, Takafumi Koyama, Koji Fujita, and Yuta Sugiura. Video analysis of hand gestures for distinguishing patients with carpal tunnel syndrome. In Companion Proceedings of the 2022 Conference on Interactive Surfaces and Spaces, ISS ’22, p. 27–31. Association for Computing Machinery, 2022. 手指の撮影の様子 [5] ROC 曲線と AUC
- 7. 7 • 模擬患者データによって機械学習モデルを構築 • シリコン器具によって疾患の症状を模倣 •器具を装着した状態でグーパー運動を撮影 • 構築したモデルによって陽性と陰性を分類 提案手法 提案手法の概要
- 8. 8 • 手指に握力用トレーニング器具を装着 • シリコン製 •5kg の負荷 • 指の根本に装着 ハードウェア実装 (1/2) ：手指の制御 シリコン器具装着の様子 シリコン器具の様子
- 9. • 実験条件 • iPnone15のデフォルトカメラアプリを使用 • フレームレートは 30[fps] に設定 • 手指全体が画角に収まるよう、画面に垂直に配置 • 手指開閉を十分にしつつ、なるべく素早く手指を開閉 • 30 秒を経過した時点で撮影終了 9 ハードウェア実装 (2/2) ：グーパー運動の撮影 撮影の様子
- 10. • MediaPipe のHand landmark detection[6] を使用 • 各フレームに対して手指の 21 点の 3 次元座標を取得 10 ソフトウェア実装 (1/3) ：映像フレームにおける骨格推定 骨格推定と座標変換の概要 [7,8] [6] https://google.github.io/mediapipe/solutions/hands.html (2024/9/19 閲覧 ) [7] 医学分野では親指、人差し指、中指、薬指、小指を母指 ( ぼし ) 、示指 ( じし ) 、中指 ( ちゅうし ) 、環指 ( かんし ) 、小指 ( しょうし ) と呼ぶ [8] CMJ ：手根中手関節， MPJ: 中手指節関節， IPJ: 指節間関節， PIPJ: 近位指節間関節， DIPJ: 遠位指節間関節
- 11. • 座標の原点を手首に変更 • 手首のぶれの座標値への影響を軽減 •x 軸が示指の MPJ を向くように x 軸、 y 軸を回転 • スマホや手指の回転の座標値への影響を軽減 11 ソフトウェア実装 (2/3) ：座標変換 座標変換の様子 x x y y
- 12. • 1 つの映像のフレームを20 分割 • 各分割単位の先頭から 64 フレームを抽出 • 計 20×64 = 1280 フレーム • 動画全体からフレームを抽出 • 64 フレームごとに高速フーリエ変換 • グーパー運動の鈍さを解析 • 冗長な高周波 32 成分は除外 12 ソフトウェア実装 (3/3) ：フレーム抽出 & 周波数解析 フレームの抽出 フレームに対する一連の処理
- 13. • 20 個の分割単位ごとに陽性確率を算出 •陽性確率の平均を映像の陽性確率と定義 • 疾患判定 • 映像の陽性確率が閾値より高い→陽性判定 • 映像の陽性確率が閾値より高い→陽性判定 13 機械学習モデルによる分類 加算平均 P 陽性 閾値と比較 陰性
- 14.
- 15. • 模擬患者の映像 • 手指機能に障害がない知人6 人を対 象 • 器具による固定あり • 右手左手それぞれ 1 回ずつ撮影 • 30 秒経過した時点で撮影終了 15 実験データ (1/3) ：データの種類 • 患者 & 健常者の映像 • 大学病院の来院者 93 名を対象 [9] • CM 患者 • CTS 患者 • 健常者 • 器具による固定なし • アンドロイドスマートフォンを使用 • 右手左手それぞれ 1 回ずつ撮影 • 10 秒経過し、開閉回数が 20 回を超えた時点で撮影終了 [9] 東京医科歯科大学医学部倫理審査委員会によって承認済み
- 16. • 模擬患者の映像 16 実験データ (2/3)：映像の一例 • 患者 & 健常者の映像 模擬患者のグーパー運動の様子 健常者のグーパー運動の様子
- 17. • 模擬患者の映像 • 全ての映像を使用 17 実験データ(3/3) ：各データの属性 • 患者 & 健常者の映像 • CTS 患者において症状がない手指の 映像を除外 • 上手く撮れてない映像を除外 健常者 CM 患者 CTS 患者 参加者数 31 37 25 性別 ( 男性 / 女性 ) 17 / 14 22 / 15 5 / 20 年齢 ( 平均 標準偏差 ) 63.3 12.5 65.9 9.9 66.3 12.1 利き手 ( 右手 / 左手 ) 31 / 0 36 / 1 25 / 0 映像数 ( 右手 / 左手 ) 31 / 28 37 / 37 21 / 17 模擬患者 参加者数 6 性別 ( 男性 / 女性 ) 4 / 2 年齢 ( 平均 標準偏差 ) 23.0 1.3 利き手 ( 右手 / 左手 ) 6 / 0 映像数 ( 右手 / 左手 ) 6 / 6 模擬患者の属性 来院者の属性
- 18. 18 実験条件 データの分割方法 学習アルゴリズム ランダムフォレスト 評価方法 5分割交差検証 評価指標 AUC の中央値 その際の感度、特異度 ( 感度 + 特異度を最大にする ) 実験条件 人を単位として分割
- 19. 19 • 健常者と CM患者の識別 ( 健常者 vs CM) • 手首を除く全ての関節点を使用 • AUC ： 0.844 、感度： 86.3% 、特異度 83.3% • 健常者と CTS 患者の識別 ( 健常者 vs CTS) • 手首を除く全ての関節点を使用 • AUC ： 0.775 、感度： 86.5% 、特異度 61.5% 実験結果 健常者 vs CTS 患者の ROC 曲線 健常者 vs CM 患者の ROC 曲線
- 20. 20 考察 患者、健常者データを 学習に用いた手法 [4] 提案手法 AUC 感度 (%) 特異度 (%) 0.9391 88 0.84 86 83 CM スクリーニング性能の比較 患者、健常者データを 学習に用いた手法 [5] 提案手法 AUC 感度 (%) 特異度 (%) 0.91 90 85 0.78 87 62 CTS スクリーニング性能の比較 • 関連手法 [4,5] より識別性能が低い • 疲労によって過度にグーパー運動が鈍化 • 器具装着による抵抗力 • 長時間の撮影 • 模擬患者の器具装着時のグーパー運動と健常者 の制約なしのグーパー運動が類似した可能性 • 模擬患者と健常者との年齢の大きな差異 • CTS スクリーニングでの特異度が低い • テストデータ中の陰性データの少なさ
- 21. 21 • 全ての指に対する単純な制御手法 • テーピングなどの症状に特化させた他の手指の制御方法の確立 •模擬患者データの不足 • 模擬患者データの追加収集 • 疲労の発生や手指機能のばらつき • 撮影時間の見直し、中高年層からの模擬患者データ取得 • 特定の疾患、特定の運動だけでの検証 • 他疾患、グーパー運動以外の運動への応用 制約・今後の展望
- 22. 22 まとめ 背景 学習に用いる CM患者、 CTS 患者のデータの収集が困難 関連研究 テーピングによる物体把持手法の観察 提案 模擬患者データによるスクリーニングモデルの構築 シリコン器具による手指の制御 データ 模擬患者データ：グーパー映像 ( 模擬患者 6 名 ) 来院者データ：グーパー映像 ( 健常者 31 名、 CM 患者 37 名、 CTS 患者 25 名 ) 評価 5 分割交差検証、 AUC 、感度、特異度 結果 CM ： AUC0.84 、感度 86% 、特異度 83% CTS ： AUC0.78 、感度 87% 、特異度 62% 制約、展望 疲労の影響、症状によらない手指の制御方法 テーピングなど他の手指の制御方法の確立
- 23.
- 24. 24 • AUC(Area UnderCurve) ： ROC 曲線の下部面積 • ROC 曲線： (1- 特異度 , 感度 ) をプロットしたもの • 感度：陽性の患者のうち陽性と判定した割合 • 特異度：陰性の患者のうち陰性と判定した割合 評価指標について AUC ROC 曲線と AUC