生活に溶け込む人工知能による病気発見：医工連携におけるLessons Learned
•
0 likes•419 views
慶應義塾大学理工学メディアセンター主催：第19回サイエンスカフェ
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 生活に溶け込む人工知能による病気発見：医工連携におけるLessons Learned
Similar to 生活に溶け込む人工知能による病気発見：医工連携におけるLessons Learned (20)
More from sugiuralab
More from sugiuralab (20)
生活に溶け込む人工知能による病気発見：医工連携におけるLessons Learned
- 1. 生活に溶け込む人工知能による病気発見： 医工連携におけるLessons Learned 慶 應 義 塾 大 学 理 工 学 部 情 報 工 学 科 杉浦 裕太 慶應義塾大学理工学メディアセンター主催：第19回サイエンスカフェ
- 2. • 慶應義塾大学 修士・博士 2008.4-2013.3 • JST ERATO 五十嵐デザインインタフェースプロジェクト 2008.8-2013.3 • IPA未踏ユースクリエータ 2009.1-2009.9 • 日本学術振興会 特別研究員(DC2) 2012.4-2013.3 • 日本学術振興会 特別研究員(PD) 2013.4-2014.3 • 慶應義塾大学大学院メディアデザイン研究科 特任助教 2014.4-2015.3 • 産総研デジタルヒューマン研究グループ産総研特別研究員 2015.4-2016.3 • 慶應義塾大学 理工学部 情報工学科 助教 2016.4-2018.3 • 科学技術振興機構さきがけ研究員 2018.10-現在 • 慶應義塾大学理工学部情報工学科 専任講師 2018.4-2020.3 • 慶應義塾大学理工学部情報工学科 准教授 2020.4-現在 2 杉浦裕太 博士（メディアデザイン学） 経歴 研究分野 ヒューマン・コンピュータ・インタラクション 人間とコンピュータのインタフェースに着目する学術分野 WEB: https://lclab.org/ E-MAIL: sugiura@keio.jp
- 4. 4
- 5. 5 AffectiveWear IUI '16 iRing UIST '12 SenSkin UIST '13 EarTouch MobileHCI '17 CheekInput VRST '17 BehindThePalm ICAT '17 Wrap&Sense DHM '16 MetaSkin UIST '12 TouchLog AH '19 SenShoe OzCHI ‘18 FuwaFuwa UIST '11 SofTouch ICEC '17 Cuddly ACE '13 Graffiti Fur UIST '14 PINOKY CHI '12 MuscleVR AH '17 AffectiveHMD VR '17 ヒューマンインタフェース関連の成果
- 7. クッションのセンサ化 UIST 2011 Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM, 509-516, October 16-19, 2011, Santa Barbara, CA, USA. 7
- 8. クッションのセンサ化 UIST 2011 8 Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM, 509-516, October 16-19, 2011, Santa Barbara, CA, USA.
- 9. クッションのセンサ化 UIST 2011 9 Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM, 509-516, October 16-19, 2011, Santa Barbara, CA, USA.
- 11. カーペットのキャンバス化 UIST 2014 11 Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
- 12. カーペットのキャンバス化 UIST 2014 12 Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
- 13. カーペットのキャンバス化 UIST 2014 13 Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
- 14. 14
- 15. http://www.soumu.go.jp/main_content/000564530.pdf 日本でのモバイル端末の普及率 0% 20% 40% 60% 80% 100% 20代 30代 40代 50代 60代 スマートフォン タブレット 15
- 16. A) 1～3個 B) 4～6個 C) 7～9個 D) 10個以上 16
- 17. A) 1～3個 B) 4～6個 C) 7～9個 D) 10個以上 17
- 18. 1. 指紋センサ 2. 画面タッチセンサ 3. GPSセンサ 4. 気圧センサ 5. 加速度センサ 6. ジャイロセンサ 7. 地磁気センサ 8. RGBカメラ 9. 深度カメラ 10.マイクロフォン 11.近接センサ 12.環境光センサ 18
- 19. 19
- 20. • 頚髄が何らかの原因により圧迫さ れた病態 • 脊髄：脳と身体各部をつなぐ中枢神経 • 頚髄：脊髄のうち首付近の部分 • 手指の機能低下などの症状 頚髄症 20 [*] OrthoInfo: Spine Basics. https://orthoinfo.aaos.org/en/diseases--conditions/spine-basics/. (accessed Sep. 26th, 2021) [**] Tracy, J.A., Bartleson, J.D: Cervical spondylotic myelopathy. The Neurologist 16(3), 176–187 (2010). 脊椎の構成 [*] 頚髄症のイメージ （左図：通常，右図：圧迫された状態） [**]
- 21. • MRIなどの画像検査 • 症状の有無を簡易に判断するス クリーニング手法 • 10秒テスト [*] • 頚髄症スクリーニングの代表的手法 • 手指の高速な開閉運動（グーパー運 動）における敏捷性などを評価 • 10秒間の反復回数が概ね20回以下の場 合，頚髄症の疑いありと判断 頚髄症の発見・診断手法 21 [*] Cook, C., et al.: Reliability and diagnostic accuracy of clinical special tests for myelopathy in patients seen for cervical dysfunction. The Journal of Orthopaedic and Sports Physical Therapy 39(3), 172–178 (2009). [**] Ono, K., et al.: Myelopathy hand. New clinical signs of cervical cord damage. The Journal of Bone and Joint Surgery, British Volume 69(2), 215–219 (1987). グーパー 運動の イメージ 圧迫された頚髄の MRI画像 [**] 実際の患者の動作
- 22. • カメラ映像を用いた頚髄 症のスクリーニング • 手軽に利用できるスク リーニング手法 • 身近にあるスマートフォン の内蔵カメラを利用 • 従来手法と比較して高い 分類性能を実現 • 感度：90% • 特異度：93% 研究の概要 22 提案手法の流れ グーパー運動の撮影 Ryota Matsui, Takafumi Koyama, Koji Fujita, Hideo Saito, Yuta Sugiura, Video-Based Hand Tracking for Screening Cervical Myelopathy, ISVC 2021.
- 23. 23 処理の流れ 身体動作計測 特徴抽出 データ前処理 分類モデル作成 （患者 or 健常者）
- 24. 身体動作計測と特徴抽出 24 [9] Google: MediaPipe. https://mediapipe.dev/. (accessed Sep. 26th, 2021) • MediaPipe Hands [9] を用い て手指の動きをトラッキング • MediaPipe：Google が公開す る画像処理フレームワーク • 手指21点の3次元座標を推定 • 3 × 21 = 63 次元の特徴量 トラッキングの様子 推定された21点の座標 身体動作計測 特徴抽出 データ前処理 分類モデル作成 （患者 or 健常者）
- 25. 25 t 患者 健常者
- 26. 前処理：データ分割 26 • 特徴量の時系列データを20個のフレームに分割 • 録画時間に応じて異なるデータの長さを統一 • 各フレームは概ね 2 sec 間のグーパー運動に対応 • データが短い場合はフレームの一部がオーバラップ データ分割のイメージ 身体動作計測 特徴抽出 データ前処理 分類モデル作成 （患者 or 健常者）
- 27. 前処理：周波数成分への変換 27 • 各特徴量を周波数成分 に変換 • 高速フーリエ変換 • グーパー運動の周期性 • 32個の振幅成分 • 32 成分 × 126 次元 = 4,032 個の要素 高速フーリエ変換の流れ 身体動作計測 特徴抽出 データ前処理 分類モデル作成 （患者 or 健常者）
- 28. • サポートベクタマシンにより各フレームを分類 • 頚髄症患者クラス • 健常者クラス • 20個のフレームをそれぞれ独立に分類 • 20個の分類結果の平均を最終的な分類結果とする． 機械学習 28 2クラス分類の流れ 身体動作計測 特徴抽出 データ前処理 分類モデル作成 （患者 or 健常者）
- 29. • 感度 • 実際の患者に対してシステムが 患者であると正しく分類できる 割合 • 特異度 • 実際の健常者に対してシステム が健常者であると正しく分類で きる割合 • AUC (Area Under the Curve) • ROC曲線：感度と特異度の関係 をプロットしたもの • AUC：RoC曲線の下部面積 スクリーニングの評価指標 29 ROC曲線とAUC
- 30. • システムが様々な場面で専門病院にかかることを患 者に推奨 30 どの場面での利用を想定しているか 専門医がいない/ 大型機器が無い地 域のクリニック 職場での一斉検査 集いの場でのチェック
- 31. 31 対象：神経や関節の変性が主体の疾患 • 整形外科というと骨折などの外傷 をイメージすることが多い • 神経や関節の変性が主体で発生す る疾患がある • 非常に緩徐に症状が進行する • 患者自身が症状を自覚しにくい • 自覚した時点では病状が悪化 • 手術など侵襲性のある処置が必要
- 32. • 手首の靭帯肥厚による正中神経の圧迫 • 母指(親指)～環指(薬指)のしびれ、感覚障害 • 母指球筋の萎縮による母指対立障害 • 有病率：2～4%[*] 32 [*]日本神経生理治療学会治療指針作製委員会：標準的神経治療，手根管症候群．神経治療25: 65-84, 2008 [**] http://morita-amyloid.com/doctor/images/doctor_02_img02.jpg 手根管症候群 正中神経の圧迫 （日本整形外科学会HPより） 実際の患者の手の様子[**]
- 33. • 画面上のキャラクタの出現に合わせて母指を動かす • 母指の画面上の座標データから特徴量を抽出 33 モバイル端末で手根管症候群を推定できるか？ Koji Fujita*, Takuro Watanabe*, Tomoyuki Kuroiwa, Toru Sasaki, Akimoto Nimura, and Yuta Sugiura(*Koji Fujita and Takuro Watanabe are joint first authors),A Tablet- Based App for Carpal Tunnel Syndrome Screening: Diagnostic Case-Control Study,Journal of Medical Internet Research - Mobile Health and Ubiquitous Health, Vol.7, Iss.9, e14172,2019
- 34. • Support Vector Machine (SVM)による2クラス分類 34 分類結果 ゲームプレイ中の母指の運動によって手根管症候群の 疾患推定が可能 Koji Fujita*, Takuro Watanabe*, Tomoyuki Kuroiwa, Toru Sasaki, Akimoto Nimura, and Yuta Sugiura(*Koji Fujita and Takuro Watanabe are joint first authors),A Tablet- Based App for Carpal Tunnel Syndrome Screening: Diagnostic Case-Control Study,Journal of Medical Internet Research - Mobile Health and Ubiquitous Health, Vol.7, Iss.9, e14172,2019 感度 特異度 93.0% 73.0%
- 35. • with 東京医科歯科大学 藤田浩二先生、二村昭元先生 手根管症候群患者のスクリーニング Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320. 35
- 36. • 動機 • 医療現場では陽性と陰性のサンプルが不均衡 • 陽性のデータを十分に確保できない可能性 • データセットと特徴抽出 • 健常者と手根管症候群患者のスマホゲーム操作 時（12方向に2周動かす）の接触位置情報を中心 部からの距離値 • 手法 • 異常検知手法を活用 • 健常データ12手分を正常値としてオートエン コーダを用いて学習モデルを構築 • 検証 • 健常者：27手、患者：36手 36 陽性（患者）教師データは手に入りにくい Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320. 感度 特異度 AUC 94% 67% 0.86 12方向を学習した場合 異常検知によって陰性データのみで疾患推定が可能 陽性と陰性のデータ不均衡の問題を解決
- 37. • 動機 • 効率的な推定方法の検討 • 手法 • 全方向（12方向）から特定の方向 に絞って評価 • 検証 • 健常者：28手、患者：36手 • オートエンコーダ 37 特に推定に寄与する運動はどれ？ 特定の方向の母指運動に絞ることに よって効率的な推定が可能 文字入力やウェブブラウジングなど通常 のスマホ操作の延長線上での推定に期待 Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320. 感度 特異度 AUC 全方向 92.9% 69.4% 0.85 6方向 100.0% 85.7% 0.956
- 38. • 動機 • 日常動作でも書字の動作に着目して疾患推 定できるか？ • データセットと特徴抽出 • 渦巻きを書いているときの健常者と手根 管症候群患者のペンの筆圧を計測 • 筆圧の変化量を周波数成分に変換して、 Support Vector Machineで学習 • 検証と結果 • 健常群：31名、疾患群：33名 • 感度：82% • 特異度：71% • AUC：0.81 38 日常動作から疾患推定ができるか？ Takuro Watanabe, Takafumi Koyama, Eriku Yamada, Akimoto Nimura, Koji Fujita, and Yuta Sugiura. 2021. The Accuracy of a Screening System for Carpal Tunnel Syndrome Using Hand Drawings, Journal of Clinical Medicine 10, no. 19: 4437. 日常動作の中でも書字動作で疾患の推定が可能
- 40. 40 疾患スクリーニングの成果 3次元センサ（LeapMotion） スマホRGBカメラ 感度 84% 90% 特異度 61% 93% AUC 0.85 0.94 データ 健常：28 疾患：50 健常：15 疾患：20 タブレット スマホ – 異常検知 書字動作 感度 93.0% 94% 82% 特異度 73.0% 67% 71% AUC 0.86 0.81 データ 健常：11 疾患：29 健常：27 疾患：36 健常：31 疾患：33 頚髄症 手根管 症候群
- 41. 41 疾患スクリーニング研究のまとめ 背景 神経や関節の変性が主体の整形疾患は病状の変化が緩やか 頚髄症と手根管症候群をターゲット 従来方法 神経伝導速度検査、超音波検査、MRI画像検査 提案 モバイル端末を用いた疾患発見 利用シーン 地域クリニック、老人ホーム、健康診断の現場 実装 モバイル端末の内蔵センサを利用した身体動作計測 評価 感度、特異度、AUCの値で評価 結果 専門医の身体所見と同等かそれ以上の性能 今後 日常生活動作から推定を目指して早期発見による重症化予 防を目指す
- 42. 42 https://tmdu-orth.jp/clinical/hand/ コラボレーター • 藤田浩二 講師 • 東京医科歯科大学 • 大学院医歯学総合研究科 • 整形外科学 • ジョイントリサーチ講座 • 上肢の専門医 • 2015年度から共同研究を 開始 • きっかけは、私の分野の知 り合いの先生からの紹介
- 49. problem finding ideation prototyping presentation data collection, analysis 49 医工連携プロセス：課題発見 医師へのヒアリング 医療現場のフィールドワーク • 医師の後ろについて回る • 仕事の様子や現場の観察 • 手術、外来診察、リハ施設 • どのような疾患があるのか • 表出している身体特徴は何か • 従来の診断方法は何か • 医学分野ではどのようなこと に困っているか
- 50. problem finding ideation prototyping presentation data collection, analysis 50 医工連携プロセス：アイディエーション
- 51. problem finding ideation prototyping presentation data collection, analysis 51 医工連携プロセス：アイディエーション スクリーニングシステムにおいては • 疾患の身体特徴をどのようにデジ タル化できるか • デジタル化しやすい身体特徴 • 利用シーンを想定した実施形 態の確定 身体特徴のチェック
- 52. problem finding ideation prototyping presentation data collection, analysis 52 医工連携プロセス：プロトタイピング
- 53. problem finding ideation prototyping presentation data collection, analysis 53 医工連携プロセス：プロトタイピング 抽出する身体特徴の決定 イメージスケッチ プロト１ プロト２ プロト３ 指固定器具 プロト４ 完成
- 54. problem finding ideation prototyping presentation data collection, analysis 54 医工連携プロセス：データ収集と解析
- 55. problem finding ideation prototyping presentation data collection, analysis 55 医工連携プロセス：データ収集と解析 外来でのデータ取得 クラウドでのデータ送信 Slackでの通知 データ前処理 モデル構築 結果提示
- 59. • 専門用語を翻訳して伝えることの重要性 • 医学側へのフィードバックの重要性 • コミュニティの重要性 59 医工連携を通じて学んだこと
- 61. 医学的知見の蓄積の重要性：連携から融合へ 61 医学的知見の創出 工学 医学 医学的知見の蓄積 • 機械学習によるブラック ボックス化 • どのパラメータや運動プロ セスが推定に寄与している か不明 • 医学的知見の積み上げの必 要性 どの指に最も動きの特徴が表出 しているのか？ 融合 母指 第二指 第三指 第四指 小指 専門医が日常的に観測して判断して いるメカニズムを理解できる可能性 加藤花歩，松本渚紗，杉浦裕太，渡辺昌，斎藤英雄，小山恭史，藤田浩二，手指運動三次元計測に よる頚髄症スクリーニング手法，SIG-DeMO研究会，2020年10月．
- 63. • モバイル端末を使った疾患スクリーニングの研究 • 東京医科歯科大学整形外科グループとのコラボ • 医工連携プロセス • 課題抽出→アイディエーション→プロトタイピング→ データ収集&解析→成果発表→… • 医工連携を通じて学んだこと • 専門用語を翻訳して伝えることの重要性 • 医学側へのフィードバックの重要性 • コミュニティの重要性 • 最後に宣伝... 63 本日のトークのまとめ
- 64. • 慶應義塾先端科学技術研究センター （KLL）主催 • 理工学部・理工学研究科の成果を広 く発信する場[*] 64 [*] http://www.kll.keio.ac.jp/ktm/ [**] https://www.st.keio.ac.jp/news/cor/20201225_01.html KEIO TECHNO-MALL 2021（12月10日） 12月2日：プレイベント 「新時代のヒューマンインタフェース」 杉浦も登壇予定 2020年度の様子[**]
- 65. KLL-ONE：学生ビジネスコンテスト コンテスト内容は状況によって変わる可能性があります。 2019年テクノモールでの実施 2020年オンラインでの実施 何か 理工学部・理工学研究科 の学生※を対象とした ビジネスコンテスト ※他の学部・研究科の学生もチームメンバーに加わることは可能 募集 頭に秘めたアイディアを 具現化したい意欲のある 学生の応募を期待 実績 過去2回の実施 計14グループの参加者 支援 コンテストに向けた アドバイザーによる フィードバック 日程 7月下旬応募締切 応募ページ：http://www.kll.keio.ac.jp/information/shitei_p/index4.html コンテストウェブ：https://sites.google.com/view/kllincubation 慶應義塾先端科学技術研究センター（KLL）インキュベーション準備支援の枠組みで開催 65