Recommended
Recommended
More Related Content
Featured
Featured (20)
森本雅和 診断の根拠を示す細胞診断支援システム
- 1. 診断の根拠を提示する 細胞診断支援システムの開発 兵庫県立大学 森本 雅和 ルイ・パストゥール医学研究センター 土橋 康成 株式会社ブレイン 初田 真幸 株式会社MEDICAL GALLERY 羽柴 光起 第19回日本デジタルパソロジー・AI研究総会 2021.8.20-22 経済産業省 戦略的基盤技術高度化支援事業 JPJ005698
- 3. 研究背景 細胞診断とは 患者から採取した細胞からがん細胞を見つける 尿中がん細胞 ルイ・パストゥール医学研究所提供 細胞検査士 • 患者から採取した細胞を染色，顕微鏡用スライド作成 • スライド全体から怪しい細胞を探す 細胞診専門医 • 細胞検査士が怪しいと思った細胞を顕微鏡で観察 • 最終的な診断を行う 多数の細胞から異常細胞を見落とすことなく発見する ためには多大な労力が必要 約3,600人（35,000人に1人） 診断における定量的な指標がない →診断を行う人によって診断根拠が異なる
- 4. 本研究の目的 ①WSI中の異常な細胞を優先的に提示 • 異常細胞の見落としを少なくする • 負担を軽減 ②判断の根拠を示す • 客観的な診断が可能 • 膀胱がんの異常度の提示を行う • 尿路上皮細胞からがん細胞を発見する 細胞診の指標に沿った結果を返す Result
- 5. 提案するシステムの流れ 細胞質 核 1. U-netで領域抽出 2. 特徴量算出 3. 回帰分析 1. 細胞異常度の回帰分析 2. 根拠提示用の回帰分析 3. 変性細胞の回帰分析 4. 結果表示
- 6. U-netによる領域抽出 使用したネットワークについて • 入出力画像は512×512pxの正方形 • 入力：RGBの3CH，出力：グレースケール1CH マスク作成に使用したネットワーク 学習データ • 9症例のWSIから切り出した画像を使用 • 回転・反転により4倍データ拡張→細胞質1,860枚，核1,892枚 1辺2,000pxに切り出し 1辺512pxにリサイズ U-netでマスク作成 1辺2,000pxにリサイズ 後処理 （ガウシアンフィルタ，二値化等） 画像入力 マスク作成の流れ
- 7. U-net結果（細胞質） 入力画像 領域マスク U-netマスク 入力画像 領域マスク U-netマスク • 細胞質をほぼ正確に抽出 • 赤い細胞質にも対応 評価用画像20枚を使用 細胞質マスクのスコア 評価指標 スコア Accuracy 0.994 Precision 0.937 Recall 0.946 Jaccard係数 0.890 F1 score 0.941
- 8. U-net結果（核） 評価指標 スコア Accuracy 0.998 Precision 0.771 Recall 0.841 Jaccard係数 0.673 F1 score 0.800 • 細胞核をほぼ正確に抽出 • 色の薄い核も取得可能 核マスクのスコア 拡大画像 入力画像 U-net 評価用画像20枚を使用 入力画像 領域マスク U-netマスク 入力画像 領域マスク U-netマスク
- 9. 提案するシステムの流れ 1. U-netで領域抽出 2. 特徴量算出 3. 回帰分析 1. 細胞異常度の回帰分析 2. 根拠提示用の回帰分析 3. 変性細胞の回帰分析 4. 結果表示 細胞質マスク 核マスク 細胞画像特徴量算出
- 12. 画像特徴量の算出 • サイズ特徴（4種類） 面積 周囲長 楕円の長軸 楕円の短軸 • 形状特徴（12種類） 円形度 楕円近似（楕円/核） 楕円近似（不足/超過） 楕円の軸長の比 凸包比 Hu不変モーメント（7種） • テクスチャ特徴（6種類） 同時生起行列から（コントラスト 相関 エネルギー 均質性 不同性，ASM） • 輝度特徴（5種類） 最低輝度 最高輝度 5％輝度 平均輝度 輝度分散 • NC比（1種類） 計28種類
- 13. 提案するシステムの流れ 1. U-netで領域抽出 2. 特徴量算出 3. 回帰分析 1. 細胞異常度の回帰分析 2. 根拠提示用の回帰分析 3. 変性細胞の回帰分析 4. 結果表示 がん 正常 がんの回帰結果
- 14. 異常度の算出-細胞の回帰分析 回帰手法 • SVR • Logistic回帰 • Random Forest • XGBoost • LightGBM • Extra Trees 学習データの正解ラベルは 学習に使用したがん細胞（赤枠） 学習に使用した正常細胞（青枠） 正常→0 がん→1 に割り当て
- 15. 異常度の算出-細胞の回帰分析 細胞検査士による アノテーション 手作業で マスク作成＆ラベリング 正解データ作成の流れ U-net出力に転写 特 徴 量 算 出 ラベル名 データ数 症例数 正常 559 9 がん 283 15 用意した核のデータ数 面積特徴の ヒストグラム→
- 16. 異常度の算出-がん細胞の回帰結果 結果 • がんを１，正常を０として学習 • 症例単位のLeave One Out検証，平均二乗誤差（MSE）で 評価 Logistic回帰のROC曲線 Estimator MSE AUC Logistic回帰 0.104 0.927 LightGBM 0.111 0.908 XGBoost 0.114 0.896 Extra Trees 0.114 0.900 Random Forest 0.121 0.886 SVR 0.139 0.877 MSE：小さいほど良い AUC：ROC曲線の下の部分の面積， 大きいほど良い がんと正常の回帰結果 高い精度で分類可能
- 17. 提案するシステムの流れ 1. U-netで領域抽出 2. 特徴量算出 3. 回帰分析 1. 細胞異常度の回帰分析 2. 根拠提示用の回帰分析 3. 変性細胞の回帰分析 4. 結果表示 がん 正常 がんの回帰結果
- 19. 根拠の提示-特徴グループごとに評価 • 根拠を示すために評価基準（特徴グループ）ごとに 学習を行った • Logistic回帰 • 症例単位のLeave One Outの結果 グループごとのMSE(予測誤差) 総合評価 0.104 0.927 結果 特徴グループごとの結果 MSE AUC サイズ特徴 0.140 0.889 NC比 0.150 0.887 テクスチャ特徴 0.160 0.852 形状特徴 0.197 0.766 輝度特徴 0.224 0.671 0 0.05 0.1 0.15 0.2 0.25 MSE 特徴グループ
- 21. 提案するシステムの流れ 1. U-netで領域抽出 2. 特徴量算出 3. 回帰分析 1. 細胞異常度の回帰分析 2. 根拠提示用の回帰分析 3. 変性細胞の回帰分析 4. 結果表示 がんの判別を行った画像
- 26. まとめと今後の課題 • 28特徴を用いた回帰分析により，異常度順に画像 を提示することが可能となった • グループごとに異常度を算出することにより， 判断の根拠を示すことができた • 一次識別器により，検査に不要な領域を除外 することができた まとめ 今後の課題 • 変性識別に用いる特徴量の検討 • 集塊，アウトフォーカス判定 • 塗抹試料への対応 • 婦人科画像への対応 • 速度向上（5分/WSI）
Editor's Notes
- 多数の細胞の中から顕微鏡を用いて異常細胞を見落とすことなく発見するためには大きな労力を必要とします． また，現在の細胞診では診断における定量的な指標がないため，診断を行う人によって診断根拠が異なる場合があります． さらに，がんの検診率が増加してくると思われる中で，細胞診専門医の数は約3600人と深刻な人手不足となっています．
- 本研究では，WSIを用いて膀胱がんの異常度の提示を行います．尿中に含まれる尿路上皮細胞からがん細胞を発見します． スライド中の異常な細胞を優先的に病理医に提示することで，異常細胞の見落としを少なくし，さらに病理医の負担を軽減します． また，判断の根拠を示すことで，主観によらない客観的な診断が可能となります． 本研究では，WSIの中から異常細胞を見つけ，ただ識別結果を表示するのではなく，図に示すような，細胞検査士や細胞診専門医が診断を行う時の指標に沿った結果を返すシステムの開発を目的とします．
- 提案するシステムの流れです． はじめにU-netを用いて領域抽出を行い，特徴量の算出を行います． その後，がんを識別するための細胞異常度の回帰分析を行います．ただ，それだけではどの特徴が異常なのかがわからないため，根拠提示用の回帰分析を行います． さらに，診断に不要な変性細胞の回帰分析により，変性判定を行ったあと，結果を表示します．
- マスク作成には図のネットワークを使用しました．入出力は縦横512画素の正方形です．また，入力はRGBの3チャンネル，出力はグレースケールの１チャンネルです． マスクは，この出力を元のサイズにリサイズし，二値化，ノイズ除去を行ったものになります．
- こちらが，細胞質のマスクを作成した結果です．結果より，色の濃淡にかかわらず細胞質を抽出できていることがわかります． また，下の赤い細胞についても細胞質領域を抽出できていることがわかります．
- こちらが核のマスクになります．こちらも上の細胞核は色が薄く，下は濃いですが，どちらも抽出できていることがわかります．
- 次に，各細胞から画像特徴量の算出を行います．
- ここで，がん細胞の特徴について説明します． 細胞診専門医が癌を診断する際には，核が大きくなる核腫大，核が濃く染まる核濃染，いびつな形になる核形不整など，いくつかの特徴で判断します． 例えば，NC比が高くても，形がいびつでなく，色が薄ければ正常と判断するなど，組み合わせて判断します．
- これらの特徴を組み合わせて，細胞の診断を行い，右に示す5クラス分類で患者ごとに評価を行います．
- これらの特徴量を機械学習に用いる特徴量として，ほぼカバーできる5種類の特徴グループを作成しました．
- 特徴量はこちらに示すサイズ特徴，形状特徴，テクスチャ特徴，輝度特徴，NC比の５グループ28種類を用意しました． ここで，NC比ですが，これは細胞質と核の面積比のことです．
- 算出した特徴量を用いて細胞異常度の回帰分析を行います
- 細胞の回帰分析には，ここに示す6つの手法を検討しました． 正解ラベルは，正常を０，がんを1に割り当てた教師データを用意しました． また，回帰結果の評価にはMSEを用いました．これは正解と予測値との距離であり，小さいほどよい結果であるといえます．これらの手法を用いて，がんの識別と変性の識別を行いました． （また，標準化，主成分分析のグリッドサーチも行っています．）
- 学習データは，細胞検査士の方につけて頂いたアノテーションをもとにマスク作成と各領域に対するラベリングを行い，その画像をU-netで作成したマスクに転写し，そのラベル付き画像から算出した特徴量を用意しました． 用意したデータは核単位で，正常559サンプル，がん283サンプル，データには2つ以上の核の接触がないものを使用しました． 下に面積特徴を取り出して，がんと正常データでヒストグラムを描画したものを示します．このように，がんと正常が分離可能であることがわかります．
- こちらが6種の機械学習手法で検証した，がんと正常の回帰結果です． 学習時にはグリッドサーチを用いた最適パラメータ探索を行い，結果の算出には症例単位のLeave One Outを用いました． 結果より，Logistic回帰が最もMSEスコアが良い結果となりました． また，AUCも0.927と高い精度で分類できていることがわかります．
- 次に診断の根拠を示す回帰分析についてです
- 先程の結果より，がんの回帰結果を表示することが可能となりましたが，これだけでは，なぜそう判断したのか，ということがわかりません．そこで，先程作成した5つの特徴グループそれぞれで異常度を提示することで，判断の根拠を示すことにしました． しかし，先ほどの回帰分析と同じように，最もスコアの良いモデルを選んだ場合，人の感覚に合わない結果が返ってくる可能性があります．右図はNC比のモデルに0~1の連続値を入力した際の出力値の変化を示しています．NC比は大きくなるほど異常度が高くなるのですが，LightGBMでは出力にばらつきがあることがわかります．特徴ごとの異常度提示（判断の根拠提示）は細胞検査士や細胞診専門医が見て，細胞の特徴を定量的に判断し，診断の補助にすることを目的としているため，人の感覚に合った結果を返す必要があります． そこで，本研究ではLogistic回帰を用いることにしました．
- 判断の根拠を示すために，がんの評価基準ごとに学習を行った結果です． ここで，総合評価とは，先程のすべての特徴を用いて行った結果です． 結果より，サイズ特徴・NC比，テクスチャ特徴は良い結果となりましたが，形状特徴と輝度特徴はあまり良い結果にはなりませんでした．これは，形状特徴はU-netの精度に影響し，また，輝度特徴は色の薄いがん細胞を含んだためだと考えられます． この結果より，NC比が最も良い結果となりましたが，そのほかの特徴でもがんと正常の判別ができていることがわかります．
- こちらが，グループごとに評価を行った場合の，がんと正常の分布です． 青が正常，オレンジががんです．また，縦軸がデータの出現率，横軸が回帰の出力値です． 結果より，全ての特徴グループでがんと正常を分離できている傾向にあることがわかります．
- 最後に結果の表示を行います
- こちらの棒グラフが作成した指標を用いて結果を表示した例になります．図に示すように，それぞれの核に対して評価値を表示することが可能となります． 結果はデータのばらつきを考慮した11段階評価への変換を行っています． このように総合評価だけでなく，特徴グループの結果を示すことで，最終決定を行う際の根拠とすることができます．
- また，評価指標ごとにソートすることが可能であるため，特定の特徴を重視した見方が可能です． 左図はがんと正常の回帰結果，つまり総合評価でソートしたもので，右図はテクスチャ特徴で異常度の高い順にソートしたものです．また，画像中の色枠は同じ細胞を表しています．このように，同じ細胞でも異なる順位となるため，グループ特徴を用いることで，ある特徴を重視した見方が可能となります．
- ある細胞の例を示します．右のグラフは，異常度順に並び替えたときの，癌の出現割合です．横軸がランキング，縦軸がその順位までに出現した癌の割合で，すべてのがんが出現したところで1となります． このような細胞があった場合，総合評価では573位と低い順位ですが，輝度特徴の結果を見ると88位と高いところに位置します．このように，他の特徴で見ると異常度が高く出る細胞もあるため，グループ特徴を用いることで見落としを防ぐことが可能となります．
- まとめです． 一次識別器を用いることにより，検査に不要な領域を除外することができ，検査速度の向上を可能としました． また，28種類の特徴量を用いることにより，異常度や変性度を示すことが可能となりました． さらに，グループごとに異常度を算出することにより，特徴ごとに異常度をソートしたり，その結果を診断の根拠として使用することができるようになりました． 今後は，集塊状の細胞や対象領域に写っている不要領域への対処などを行う予定です．