超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
•Download as PPTX, PDF•
0 likes•422 views
超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
![• 病態
• 正中神経が手首にある手根管というトンネル内で圧迫された状態
• 正中神経：指先の感覚や手の運動において重要な役割
• 神経の圧迫によって正中神経が扁平化
• 症状
• 正中神経の支配領域（親指から薬指）の痺れ
• 運動機能低下
• 重症化すると細かい作業✖
• 日常生活に支障
• 有病率：２～４％
• 女性に多く生じるのが特徴
• 特発性
2
[1] 日本整形外科学会．手根管症候群．https://www.joa.or.jp/public/sick/condition/carpal_tunnel_syndrome.html．（アクセス日：2022/5/23
[2] J. Wipperman and K. Goerl. Carpal tunnel syndrome: diagnosis and management. American Family Physician 94(12), 993–999 (2016).
）
背景：手根管症候群
手根管症候群のイメージ[1]
正中神経の支配領域[2]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
Similar to 超音波動画内の正中神経セグメンテーションと手根管症候群推定推定 (13)
More from sugiuralab
More from sugiuralab (20)
Recently uploaded
Recently uploaded (11)
超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
- 1. 超音波動画内の正中神経セグメンテーションと 手根管症候群推定 1 ) 慶 應 義 塾 大 学 2 ) 東 京 医 科 歯 科 大 学 佐藤 優希菜(1 ，松尾 佳奈(1 ，小山 恭史(2 ， 山田 英莉久(2 ，藤田 浩二(2 ，杉浦 裕太(1 SIGDeMO-14
- 2. • 病態 • 正中神経が手首にある手根管というトンネル内で圧迫された状態 • 正中神経：指先の感覚や手の運動において重要な役割 • 神経の圧迫によって正中神経が扁平化 • 症状 • 正中神経の支配領域（親指から薬指）の痺れ • 運動機能低下 • 重症化すると細かい作業✖ • 日常生活に支障 • 有病率：２～４％ • 女性に多く生じるのが特徴 • 特発性 2 [1] 日本整形外科学会．手根管症候群．https://www.joa.or.jp/public/sick/condition/carpal_tunnel_syndrome.html．（アクセス日：2022/5/23 [2] J. Wipperman and K. Goerl. Carpal tunnel syndrome: diagnosis and management. American Family Physician 94(12), 993–999 (2016). ） 背景：手根管症候群 手根管症候群のイメージ[1] 正中神経の支配領域[2]
- 3. • 神経伝導検査 • 専用の検査機器と習熟した検査者 • 被験者に痛み • 超音波検査 • 安価 • 非侵襲的 • 検査時間が短い 3 [3] 慶應義塾大学病院医療・健康情報サイト．神経伝導検査．https://kompas.hosp.keio.ac.jp/sp/contents/000442.html （アクセス日：2022/10/3） 背景：診断 神経伝導検査[3] 超音波検査
- 4. 4 [4] Cosmo, M.D., Fiorentino, M.C., et al.: LearningBased Median Nerve Segmentation From Ultrasound Images For Carpal Tunnel Syndrome Evaluation; 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp.3025-3028 (2021). [5] Kuroiwa, T., Jagtap, J., et al.: Deep Learning Estimation of Median Nerve Volume Using Ultrasound Imaging in a Human Cadaver Model; ultrasound in Med. & Biol, pp.112 (2022). [6] Shinohara, I., Inui, A., et al.: Using deep learning for ultrasound images to diagnose carpal tunnel syndrome with high accuracy; Ultrasound in Medicine & Biology, pp.1-8 (2022). 関連研究 ディープラーニングによる正中神経 体積の推定値と手動で計測した近似 体積との線形回帰[5] 学習モデルの関心領域可視化[6] Mask R-CNNによる セグメンテーション例[4] • 超音波画像にディープラーニングを用いた手根管症候群推定 • 手の動きによる神経パターンの時間変化を考慮していない
- 5. • 超音波動画中の正中神経セグメンテーション • 超音波動画から正中神経を90%以上の精度で追跡できる深層類似学習を用いた追跡 モデルを提案[7] • 様々な深層学習モデルを用いて超音波動画中の正中神経セグメンテーションの性 能を評価[8] • DeepLabV3+ • Mask R-CNN • 手根管症候群の有無や重症度の推定は行っていない 5 [7] Wang, Y.W., Chang, R.F., et al.: MNT-DeepSL:Median nerve tracking from carpal tunnel ultrasound images with deep similarity learning and analysis on continuous wrist motions; Computerized Medical Imaging and Graphics, Vol.80 (2020). [8] Wu, C.H., Syu, W.T., et al.: Automated Segmentation of Median Nerve in Dynamic Sonography Using Deep Learning: Evaluation of Model Performance; Diagnostics 2021, 11, 1893 (202 関連研究
- 6. • 超音波動画から得られる時系列データを考慮して解析 • 精度比較 • 画像から得られる特徴量 vs 動画から得られる特徴量 • 重症度推定に挑戦 6 目的
- 7. • 正中神経セグメンテーション • Mask R-CNN • 画像処理による領域の特徴量抽出 • Scikit-image • クラス分類 • XGBoost（eXtreme Gradient Boosting） 7 提案手法 フロー 正中神経 セグメンテーション 画像処理による 特徴量の抽出 クラス分類
- 8. • 約 10 秒間の動画（30FPS）を記録 • 手のひらを開く→握りこぶし→手のひらを開く →人差し指から小指まで90度曲げる→握りこぶし→手のひらを開く 8 超音波動画の撮影方法
- 9. • ３人の熟練した医師によって撮影 • 患者：３７動画 • 健常者：２２動画 • 重症度の指標 • Bland分類 9 片側性の患者 ９名 両側性の患者 １４名 健常者 １１名 データセット 重症度 動画数 1 ３ 2 １ 3 １４ 4 ０ 5 １６ 6 ４ 超音波動画データセット 重症度別のデータセット数
- 10. • アノテーション • 動画を１秒ごとにフレームに切り出す • 切り出したフレームをアノテーション 10 トレーニングデータ 177枚 バリデーションデータ 49枚 クラス分類 3クラス分類 学習回数 35 epoch 画像サイズ 800 × 600 px バッチサイズ 1 プラットフォーム Google Colablatory 実装：アノテーションと学習環境 学習環境 train validation 患者 １１動画 ４動画 健常者 ６動画 なし Mask R-CNNの学習データセット
- 11. 11 実装：Mask R-CNN セグメンテーションした画像 • 動画中すべてのフレームに対して正中神経領域の推定 • 信頼度が0.9以上で最も信頼度の高いインスタンスを採用 • モデル性能 • IoU(Intersection over Union)：0.71 超音波画像
- 12. • 各フレームの推定された領域の面積・周長・扁平率・重心座標・離心率 • 扁平率：楕円近似したときの長軸 / 短軸の値 • 離心率：長軸の長さに対する焦点距離比 • 時系列データの外れ値除去 • 指数加重移動平均(ewma) • クラス分類に使用する特徴量抽出 • 中央値 • 最大値 • 最小値 • 変化量(最大値−最小値) 12 実装：特徴量抽出 時系列データ例
- 13. • XGBoost • グループk分割交差検証 • 同じ被験者のデータが学習データとテストデータの両方に含まれない 13 [8] sckit learn, 3.1. Cross-validation: evaluating estimator performance, https://scikit-learn.org/stable/modules/cross_validation.html, （アクセス日：2022/10/1） 実装：クラス分類モデル [8]
- 14. • 手根管症候群の有無と重症度の推定 • 34名（手根管症候群患者 23 名，健常者 11 名） • ０：健常者 • １：重症度１～３ • ２：重症度５～６ • 画像から得られる特徴量 • 面積・周長・楕円近似したときの長軸と短軸の中央値 • 動画から得られる特徴量 • X 座標・扁平率の変化量，周長の最小値 14 評価結果 画像から得られる 特徴量で分類した場合 中央値＋動画から得られる 特徴量で分類した場合
- 15. • 動画から得られる特徴量も使用して推定を行った方が精度が向上 • 特異度：健常者を正しく判定できる割合 • 感度：患者を正しく判定できる割合 15 考察 中央値 中央値＋動画から 得られる特徴量 正解率 57.6% 66.1% 特異度 77.1% 82.9% 感度 70.8% 79.2% 精度比較
- 16. • 重症度推定の精度向上 • 正中神経セグメンテーションの精度向上 • 動画の時間変化を考慮して正中神経を追跡 • 時系列データすべてを使ってクラス分類 • 同じ手の動きをしている部分ごとに特徴量抽出 16 今後の課題
- 17. 17 まとめ 背景 電気生理学的検査には難点がある 関連研究 超音波動画中の正中神経セグメンテーション 超音波画像を使った手根管症候群推定 提案 超音波動画中の正中神経セグメンテーションと 手根管症候群推定 実装 正中神経セグメンテーションと特徴量抽出の実装 評価 グループk分割交差検証 結果 動画から得られる特徴量も使用して推定を行った方が 精度が向上 課題 重症度推定の精度向上
- 18. 補足スライド
- 20. • バウンディングボックス同士の重なり度を計算する指標 • IoUが大きいほど画像が重なっていることを意味 • 本研究：0.71 • 先行研究：0.83 20 [9] IoU（評価指標）の意味と値の厳しさ, 具体例で学ぶ数学, https://mathwords.net/iou , （アクセス日：2022/10/4） IoU (Intersection over Union) IoU[9]
Editor's Notes
- Note記事に優しい言葉で書いてある
- 手の酷使や炎症など、何らかの原因によって手のひらの神経が圧迫された結果、神経の痛みや手指の運動機能低下などの症状が引き起こされる疾患です． 手根管症候群とは，正中神経が手首にある手根管というトンネル内で圧迫された状態になってしまう疾患です。正中神経は，指先の感覚や手の運動において重要な役割を果たします。正中神経が圧迫されると扁平化し、症状を呈します。 症状としては、右の図の正中神経の支配領域である親指から薬指の痺れや運動機能低下を引き起こします。さらに重症化すると細かい作業ができなくなり，日常生活に支障をきたします． 有病率は２～４％となっており、女性に多く生じるのが特徴です。また、特発性というものが多く原因不明とされています。
- 電気的刺激を神経に与え、その伝わりやすさを測定する神経伝導検査 手根管症候群の診断には，皮膚を電気刺激して運動神経と感覚神経の伝導速度や振幅を見る電気生理学的検査が必要とされています．しかし，この検査には専用の検査機器と習熟した検査者が必要であることや，検査の過程で被検者に痛みを与えるという難点があります．一方，超音波検査は広く使用でき，安価で非侵襲的で検査時間が短いという利点があります．
- 関連研究として、近年，超音波画像にディープラーニングを用いた手根管症候群推定に関する報告が増えています． セグメンテーション手法である Mask R-CNN を用いて，手根管症候群の超音波診断によく利用される正中神経の断面積を計測し，超音波検査医の正中神経断面積計測と高い一致を示したという研究があります．また、手動で測定した正中神経の断面積からの推定体積とディープラーニングによる推定体積の間には高い相関があることも示されています．右の研究では、ディープラーニングによって正中神経断面積の測定をすることなく，正中神経と周辺組織のエコーパターンに基づいて手根管症候群であるかを推定する手法を提案しました． しかし，超音波画像のみで推定を行うと，手の動きによる神経パターンの時間変化を考慮しないため，疾患の進行や重症度に相関する可能性がある特徴量を見落としてしまうと考えます．
- また、超音波動画中の正中神経をセグメンテーションする方法として，手根管症候群の超音波動画から正中神経を90%以上の精度で追跡できる深層類似学習を用いた新しい追跡モデルが提案されています．様々な深層学習モデルを用いて超音波動画中の正中神経の自動セグメンテーションの性能を評価した結果，DeepLabと Mask R-CNN が最も高精度に正中神経をセグメンテーションしたという研究もあります． しかし，これらの研究は手根管症候群の有無や重症度の推定は行っていません．
- そこで、本研究では，超音波動画から得られる時系列データを考慮した解析と重症度推定を目的としました。画像から得られる特徴量を使用して分類したときと，動画から得られる特徴量も含めて分類したときの手根管症候群の有無や重症度推定の精度を比較します．
- 本研究における提案手法の流れを説明します．提案手法の実装には Python を用いました．決まった手の動きを撮影した超音波動画から１フレームごとにMask R-CNNによって神経の領域を推定します．そして、推定された領域の特徴量を画像処理で抽出し，面積や周長，扁平率，重心座標，離心率などの時系列データを収集します．その後、得られた特徴量をXGBoost によってクラス分類します．
- まず、超音波動画の撮影方法は、左の動画のように被験者に手のひらを開く→握りこぶし→手のひらを開く→人差し指から小指までを90度曲げる→握りこぶし→手のひらを開くの順に手を動かすようにしてもらい、約 10 秒間の動画を撮影しました． 右の動画は実際の超音波動画で、赤い部分が正中神経です。
- 本研究で用いたデータセットは，３人の熟練した医師によって撮影された患者 23 名における超音波動画 37 動画と，健常者 22 動画です．医師によって手根管症候群と診断された手の超音波動画を患者データとして使用しました．重症度の指標には，神経伝導検査の所見によって 0～6 の 7 段階に分類した Bland 分類を用いました．データセットの重症度の内訳は表の通りです．
- まず、超音波動画から 1 秒ごとにフレームを切り出し，切り出したフレーム画像に画像中の正中神経領域をアノテーションしました．ただし，ぶれているフレームなど正中神経がはっきりと映っていない画像に対してはアノテーションは行いませんでした．超音波動画データセットのうち，17 動画を学習データ，残りの 4 動画をバリデーションデータとして使用しました．学習環境は以下の通りです。
- 次に、動画中のすべてのフレームに対して正中神経領域の推定を行いました．複数の領域が推定された場合は，それぞれのフレームには 1 つの正中神経しか存在しないため， 最も信頼度の高いインスタンスをそのフレーム内の正中神経としてセグメンテーションするようにしました．また、信頼度が 0.9 以下のインスタンスはセグメンテーションせず，特徴量抽出を行う際のデータに含めないようにしました． Mask R-CNN のモデルの性能を，アノテーション した領域とモデルによって推定された領域の間のIoUのスコアによって評価を行いました．IoU の値が 1 に近いほど高精度に領域推定ができていることを示します．バリデーションデータ 49 枚 における IoU 平均値は 0.71 という結果でした．
- 特徴量抽出には、画像処理に特化した Python 画像ライブラリである Scikit-image を使用して各フレームの推定された領域の面積，周長，扁平率，重心座標，離心率を求めました．扁平率は領域を楕円近似したときの長軸 / 短軸の値，離心率は長軸の長さに対する焦点距離比として計算を行いました． そして、正中神経領域として誤った部分がセグメンテーションされているフレームのデータを除く処理をしました．動画ごとに面積の時系列データの指数加重移動平均を計算して外れ値検出を行いました．指数加重移動平均は，最新のデータを重視し，古いデータになるほど指数関数的に重みが減少する移動平均の一つです．正中神経の面積が急激に変化することはないため，この移動平均が移動標準偏差から 1.5 倍以上離れていたデータを外れ値として時系列データから除きました． さらに、クラス分類に使用する特徴量を抽出するために，各動画のセグメンテーションできたフレームの分の時系列データから中央値，最大値，最小値，変化量を求めました． 面積は推定された領域を囲む最も小さな凸多角形の領域のピクセル数 周長は輪郭を境界がその中心を通る 線として近似した領域の周囲の長さ
- クラス分類には XGBoost を用いました．XGBoost の汎化精度を評価するため，グループ k 分割交差検証を用いました．グループ k 分割交差検証は，学習データとテストデータで同じグループが含まれないようにする k 分割交差検証です．今回のデータセットには，両側性の患者と片側性の患者のデータがあるため，被験者ごとに ID を割り当て，同じ被験者のデータが学習データとテストデータの両方に含まれないようにしました．
- 34 名の超音波動画から得られた特徴量を用いて，手根管症候群の有無と重症度の推定をした結果です．グループ k 分割交差検証によって，34 のグループに分割して交差検証し，精度評価を行いました．画像から得られる特徴量を中央値と仮定しました．中央値のみで分類したときの推定結果と動画から得られる特徴量も含めて分類したときの混合行列は右の通りです．縦軸が正解ラベル，横軸が予測されたラベルで，0 が健常者，1 が重症度 1～3 の患者，2 が重症度 5～6 の患者を示します．中央値は，面積・周長・楕円近似したときの長軸と短軸の中央値を使用しました．動画から得られる特徴量には，X 座標・扁平率の変化量，周長の最小値を使用しました．
- 中央値のみを使ってクラス分類をした場合は正解率 57.6%，感度 77.1%，特異度 70.8%の精度でしたが，動画から得られる特徴量も使用してクラス分類をした場合は正解率 66.1%，感度 82.9%，特異度 79.2%とすべての項目で精度が向上しました．このことから、動画から得られる特徴量も使用して推定を行った方が精度が向上していることがわかります．
- 今回動画から得られる特徴量を使用した重症度推定の精度は，画像から得られる特徴量を使用した場合よりは高いが，正解率が 66.1%という結果でした．今後の課題として，重症度推定の精度向上が挙げられます．正中神経セグメンテーションの精度を向上させれば，得られる特徴量の時系列データの精度が向上しクラス分類の精度も向上すると考えます．セグメンテーションの精度向上には，先行研究のように動画の時間変化を考慮して正中神経を追跡する方法が挙げられます．また，時系列データすべてを使ってクラス分類を行うことを考えています。本研究では一連の手の動きを記録した超音波動画から得られた特徴量をまとめて扱ったので，同じ手の動きをしている部分ごとに特徴量を得るようにすると，精度が向上する可能性があると考えます．
- キャプションを掲載
- 動画中の学習における初期重みには，Microsoft COCO に より学習されたものを用い、作成したトレーニングデータでネットワーク全体を学習し直すことによって重みを更新しました．