AI医療機器に求められるセキュリティと国内外の動向

www.cloudsecurityalliance.orgCopyright © 2011 Cloud Security Alliance
Health Information Management (HIM)
Working Group
AI医療機器に求められるセキュリティと国内外の動向
January 27, 2020
@esasahara

www.cloudsecurityalliance.orgCopyright © 2012 Cloud Security Alliance www.cloudsecurityalliance.orgCopyright © 2012 Cloud Security Alliance
1. メガ・プラットフォーム事業者と医療AI
2. AI倫理と公共調達基準の国際動向
3. SaMDと医療機器サイバーセキュリティ
をめぐる国際標準化動向
4. まとめ／Q&A

1.メガ・プラットフォーム事業者と医療AI
1-1.医療AI基盤と
メガ・プラットフォーム事業者
1-2.医療データ相互運用性と
メガ・プラットフォーム事業者

1-1-1.Google／Alphabetの医療AI戦略
Sundar Pichai, CEO, Google and Alphabet
「Partnering with Europe on responsible AI」
（2020年１月20日）
(https://bruegel.org/events/partnering-with-europe-on-responsible-ai-a-conversation-
with-sundar-pichai-ceo-google-and-alphabet/)
人工知能（AI)には、規制が必要である
機微な技術は監視社会や人権侵害のために使用されるべき
でない
特にリスクの高い領域（医療含む）において、機敏な技術は、
潜在的な危害と社会的機会のバランスをとりながら、適切な
手法をとる必要がある

Google「Artificial Intelligence at Google:
Our Principles」（https://ai.google/principles/）
AIアプリケーションの目的
1. 社会的便益に有益である
2. 不公正なバイアスの構築または増強を回避する
3. 安全のために構築され、テストされる
4. 人々に対して責任がある
5. プライバシーデザイン原則を組込む
6. 高水準の科学的卓越性を維持する
7. これらの原則と調和する利用を可能にする

「Google Security Reward Programs」
(https://www.google.com/about/appsecurity/programs-home/)
 バグバウンティ・プログラム：公開しているプログラムにバグが
あることを想定して報奨金をかけて公開し、一般人（ホワイト
ハッカー）がバグを発見して脆弱性を報告して報奨金を受け
取るという制度（クラウドソーシング）
• Google Vulnerability Reward Program (VRP)
• Patch Reward Program
• Vulnerability Research Grants
• Chrome Reward Program
• Android Reward Program
• Google Play Security Reward Program

（参考）オーストラリア薬品・医薬品行政局（TGA）
「Medical device cyber security guidance for
industry」（2019年7月18日）
 脆弱性、悪用、脅威、リスク、敵対者の関係
出典：Therapeutic
Goods Administration
（TGA）「Medical
device cyber security
guidance for industry
」（2019年7月18日）
https://www.tga.gov.
au/publication/medic
al-device-cyber-
security-guidance-
industry

米国ジョン・ハンコックの健康増進保険商品「Vitality」
(https://www.johnhancockinsurance.com/vitality-program.html)
Vitality Goを取り巻くAPIエコノミー・エコシステム
出典：John Hancock Vitality (https://www.johnhancockinsurance.com/vitality-program.html)

1-1-2.Appleの医療AI戦略
Apple「Apple Watch Series 4: Beautifully
redesigned with breakthrough communication,
fitness and health capabilities」（2018年9月12日）
(https://www.apple.com/newsroom/2018/09/redesigned-apple-watch-series-4-revolutionizes-
communication-fitness-and-health/)
 21世紀医療法や改正連邦食品医薬品化
粧品法（FD&C Act）に基づき、リスクが
軽度から中程度（クラスIからクラスII）の
新しい医療機器で、比較対象となる同等
の機器が存在しない場合に選択できるDe
Novo申請制度を利用して、FDAに申請
 FDA：2018年8月14日に申請書類受理
→9月11日に結果を通知

Bumgarner JM et al.「Smartwatch Algorithm for
Automated Detection of Atrial Fibrillation.」
（2018年5月）
(J Am Coll Cardiol. 2018 May 29;71(21):2381-2388. doi: 10.1016/j.jacc.2018.03.003. Epub 2018 Mar 10.)
米国クリーブランドクリニックの研究チームによるApple
Watchを利用した心房細動検知アルゴリズムに関する研究
出典：J Am Coll
Cardiol. 2018 May
29;71(21):2381-2388. doi:
10.1016/j.jacc.2018.03.00
3. Epub 2018 Mar 10.

Apple HealthKit
(https://developer.apple.com/healthkit)
iOSヘルスケア・アプリケーション関連API集
固有のプライバシー保護対策
出典：Apple HealthKit(https://developer.apple.com/healthkit)

米国ジョン・ハンコックの健康増進保険商品「Vitality」
(https://www.johnhancockinsurance.com/vitality-program.html)
Vitality PLUSを取り巻くAPIエコノミー・エコシステム
出典：John Hancock Vitality (https://www.johnhancockinsurance.com/vitality-program.html)

1-2-1. 米国HIMSS・Rasu B. Shrestha, et al.
「State of the Healthcare API Economy」
（2019年2月14日）
医療データ相互運用性の標準化を担うHL7 FHIRとAPI
出典： Rasu B. Shrestha, et al. 「State of the Healthcare API Economy」（201９年2月14日）

医療データ利活用の鍵を握るオープンAPIとFHIRの標準化

プラットフォーム・ファースト組織が牽引する
データ駆動型イノベーション

FHIRとAPIは、プラットフォーム事業者のエントリーポイント

2. AI倫理と公共調達基準の国際動向
2-1.カナダ政府のAI製品・サービス
調達関連基準
2-2.英国政府のAI製品・サービス
調達関連基準
2-3.欧州連合(EU)のAI製品・サービス
調達関連基準

2-1-1.カナダ政府「Responsible use of artificial
intelligence (AI)」（2019年9月9日）
AIを利用する政府機関向けの調達指針原則
1. ツールや手法を開発・共有することによって、AI利用の影響度を
理解し、評価する
2. 明確なユーザーニーズと公的便益から始めながら、どのように、いつ
AIを利用するかについて透明性を保つ
3. AI意思決定に関して意味のある説明を提供する一方、結果を
レビューし、これらの決定に取組む機会を提供する
4. ソースコードの共有、データのトレーニング、その他の重要な情報
によって、できるだけオープンにする一方、個人情報、システム統合、
国家のセキュリティ・防衛を保護する
5. AIソリューションを開発し利用する政府職員が、AIに基づく公的
サービスを改善するために必要な、責任のある設計、機能、展開の
スキルを持てるように、十分なトレーニングを提供する

責任のあるAI利用に向けた取組
• 適格人工知能（AI)サプライヤーリスト
～カナダ政府向けのAIソリューション販売に関心のある
企業一覧
• アルゴリズム影響度評価（AIA)
• ～倫理的・人間的観点から、AIソリューションがどうやって
受け入れられるかについて、設計者が判断するのに役立つ
手法
• 意思決定自動化指令
• ～意思決定自動化システムが責任を持って利用される
ことを保証する
• 2017-2021年カナダ政府情報管理・情報技術戦略計画

2-1-2.カナダ規格審議会・CIO戦略協議会
「CAN/CIOSC 101:2019 Ethical design and
use of automated decision systems」
（2019年10月2日）
公共／民間企業、政府機関、非営利組織が、責任のある人工
知能（AI)ソリューションを設計・導入するのに役立つ標準規格
倫理的リスクマネジメント
• リスクマネジメント・フレームワーク
• エシックス・バイ・デザイン
• 自動意思決定システムの導入
• 自動意思決定システムのモニタリングと運用
• 自動意思決定システムによる意思決定の
異議申立・エスカレーション

自動意思決定システムのライフサイクル
出典：CIO Strategy Council (CIOSC) 「CAN/CIOSC 101:2019 Ethical design and use of automated decision systems」
（2019年10月2日）

２-2-1. 英国保健社会福祉省「Code of conduct for
data-driven health and care technology」
（2019年7月18日更新）
(https://www.gov.uk/government/publications/code-of-conduct-for-data-driven-health-
and-care-technology/initial-code-of-conduct-for-data-driven-health-and-care-technology)
原則1：ユーザーおよびそのニーズとコンテキストの理解
原則2：アウトカムおよび技術がそれに貢献する方法の定義
原則3：利用目的に適合するガイドラインに沿ったデータの利用
原則4：どのデータが利用されるかに関して、公平で、透明性が
あり、責任があること
原則5：オープンな標準規格の活用
原則6：利用するデータの限界に関して、透明性があること

原則7：どのタイプのアルゴリズムを開発または導入するのか、
利用するデータの倫理的検証方法、そのデータの
妥当性を評価する方法、それを医療提供に統合する
方法の提示
原則8：使用目的や価格に見合った価値に関する有効性の
エビデンスの生成
原則9：セキュリティの設計への統合
原則10：商用化戦略の定義

2-2-2. 英国人工知能庁「A guide to using
artificial intelligence in the public sector」
（2019年6月10日）
(https://www.gov.uk/government/publications/understanding-artificial-intelligence/a-
guide-to-using-artificial-intelligence-in-the-public-sector)
●パブリックセクターでAIを利用する組織向けガイドライン
●AI利用がユーザーニーズを満たすための考慮事項
• データ品質
• 公平性
• 責任
• プライバシー（例．GDPR）
• 説明可能性と透明性
• 費用

2-2-3. 英国人工知能庁「Draft Guidelines for AI
procurement」（2019年9月20日）
(https://www.gov.uk/government/publications/draft-guidelines-for-ai-
procurement/draft-guidelines-for-ai-procurement)
1. 特定のソリューションよりも課題に焦点を当てた調達
プロセスを探究する
2. リスクを評価する際にAI利用の公的な便益を定義する
3. AI採用戦略の中に調達を組込む
4. 入札案内に法律および行動規範への参照を組込む
5. 関連するデータを取得する際の技術的実現可能性
およびガバナンスに関する考慮事項を明確化する

6. 学習データ利用の技術的・倫理的限界を取扱う
ための戦略を構築する
7. 多様性のある学際的チームとともに調達を実施する
8. 調達を通して、責任と透明性のあるメカニズムに
焦点を当てる
9. AIシステムのライフサイクル管理を考慮する
10. サプライヤーにとって、一様で公平な活動の場を
構築する

2-3-1. 欧州委員会「Ethics Guidelines for
Trustworthy AI」（2018年9月20日初版公開、
2019年4月改訂版公開）
(https://www.gov.uk/government/publications/draft-guidelines-for-ai-
procurement/draft-guidelines-for-ai-procurement)
「Trustworthy AI」の3大構成要素
1. Lawful（合法的である）：すべての適用対象法規制
を遵守する
2. Ethical（倫理的である）：倫理的原則および価値に
対する支持を保証する
3. Robust（堅牢である）：技術的・社会的観点から、
善意をもってしても、AIは意図しない危害をもたらす可
能性がある

信頼できるAI（Trustworthy AI）のフレームワーク
1. 信頼できるAIの基礎
2. 信頼できるAIの現実化
3. 信頼できるAIの評価
出典：European Commission
「Ethics Guidelines for
Trustworthy AI」
（2018年9月20日）

信頼できるAIの要求事項の相互関係
• 人間の主体性と監視
• 技術的堅牢性と安全性
• プライバシーと
データガバナンス
• 透明性
• 多様性、非差別、公平性
• 社会的・環境的
ウェルビーイング
• 責任
出典：European Commission 「Ethics guidelines for
trustworthy AI」（2019年4月8日）
https://ec.europa.eu/digital-single-
market/en/news/ethics-guidelines-trustworthy-
ai

システム全体のライフサイクルを通した信頼できる
AIの実現
出典：European Commission 「Ethics guidelines for trustworthy AI」（2019年4月8日）
https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

2-3-2. 欧州経済社会委員会（EESC)「EESC
proposes introducing EU certification for
trusted AI products」（2019年11月14日）
(https://www.eesc.europa.eu/en/news-media/eesc-info/112019/articles/74868)
• 第三者機関による、欧州域内統一の信頼できるAIアプリ
ケーション認証制度の導入を提言する意見書を提出
• 認証のための要求事項：レジリエンス、安全性、偏見・
差別・バイアスの有無など
• 「Artificial intelligence in the automotive
sector (supplementary opinion)」の意見書も
提出

3. SaMDと医療機器サイバーセキュリティ
をめぐる国際標準化動向
3-1. Software as a Medical
Device (SaMD)の国際標準化
への取組
3-2. 医療機器サイバーセキュリティの
国際標準化への取組

3-1-1. 国際医療機器規制当局フォーラム（IMDRF)
「“Software as a Medical Device”: Possible
Framework for Risk Categorization and
Corresponding Considerations」（2014年9月18日）
(http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-140918-samd-framework-
risk-categorization-141013.pdf)
• SaMDの定義＝1つもしくは複数の医療目的のために使用する
ことを意図とするソフトウェアで、ハードウェア医療機器の一部と
なることなくこれらの目的を達成するもの
出典：IMDRF「“Software as a Medical Device”: Possible Framework for Risk Categorization and Corresponding Consideration」
（2014年9月18日）
http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-140918-samd-framework-risk-categorization-141013.pdf

「Software as a Medical Device (SaMD):
Clinical Evaluation」（2017年9月21日）
(http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-
clinical-evaluation_1.pdf)
• SaMDの臨床評価プロセス
出典：IMDRF 「Software as a Medical Device (SaMD): Clinical Evaluation」（2017年9月21日）
(http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-clinical-evaluation_1.pdf)

• SaMDの基本的なプログラミングモデル

• 継続的なSaMD臨床評価におけるリアルワールドSaMD
パフォーマンスデータの利用

3-1-3. 米国食品医薬品局（FDA) 「Developing a
Software Precertification Program: A Working
Model v1.0」（2019年1月）
(https://www.fda.gov/media/119722/download)
• SaMDの全体像
出典：FDA 「Developing a Software Precertification Program: A Working Model v1.0」（2019年1月）
(https://www.fda.gov/media/119722/download)：

• トータル製品ライフサイクル（TPLC)と
SaMDの事前認証プログラム

• SaMD事前認証プログラムにおける品質文化・組織卓越性
（CQOE）原則とサイバーセキュリティ

• リアルワールドパフォーマンス分析（RWPA）による
市販後製品モニタリングとサイバーセキュリティ

3-1-4. 米国食品医薬品局（FDA) 「Proposed
Regulatory Framework for Modifications to
Artificial Intelligence/Machine Learning (AI/ML)-
Based Software as a Medical Device (SaMD) 」
（2019年4月2日）(https://www.fda.gov/media/122535/download)
• 人工知能／機械学習におけるトータル製品ライフサイクル・
アプローチ
出典：FDA) 「Proposed
Regulatory Framework for
Modifications to Artificial
Intelligence/Machine
Learning (AI/ML)-Based
Software as a Medical
Device (SaMD) 」（2019年4
月2日）
(https://www.fda.gov/me
dia/122535/download)
Cybersecurity
Cybersecurity
Responsibility

• 過去にSPS(SaMD Pre-Specifications)や
ACP(Algorithm Change Protocol)で承認された
SaMDに対する修正のアプローチ
出典：FDA) 「Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software
as a Medical Device (SaMD) 」（2019年4月2日）(https://www.fda.gov/media/122535/download)

「DRAFT DOCUMENT: Principles and Practices
for Medical Device Cybersecurity」
（2019年10月1日）
(http://www.imdrf.org/consultations/cons-ppmdc.asp)
• 米国食品医薬品局（FDA）とカナダ保健省を共同座長とする
IMDRF医療機器サイバーセキュリティ作業部会が策定
• 医療機器リスクマネジメントに関する国際標準規格「ISO
14971」および医療機器の品質マネジメントシステムに関する
国際標準規格「ISO 13485」に準拠

1. 一般原則
(1)トータル製品ライフサイクル（TPLC）
セキュリティ・リスクマネジメント・プロセス
• セキュリティリスク分析
• セキュリティリスク評価
• セキュリティリスクコントロール
• 全体の残余セキュリティリスク受容可能性評価
• セキュリティリスクマネジメント報告
• 生産および生産後の情報
医療機器製造業者の対策
• あらゆるサイバーセキュリティ脆弱性の特定
• 関連するリスクの推定と評価
• これらのリスクを許容できるレベルまでのコントロール
• リスクコントロールの有効性のモニタリング

(2)共有された責任
主要なステークホルダー
• 医療機器製造業者
• 医療機関
• ユーザー
• 規制当局
• 脆弱性の発見者（ホワイトハッカー含む）
全てのステークホルダーが、医療機器のライフサイクル全体に
わたって、潜在的なサイバーセキュリティリスクと脅威に関する
継続的なモニタリング、評価、低減、伝達の責任を有する

(3)情報共有
全てのステークホルダーが積極的に情報共有分析組織
（ISAOs）へ参画するよう推奨
(4)特定、保護、検知、対応、復旧する能力
NISTサイバーセキュリティフレームワークとのマッピング
(5)国際調和
イノベーションを促進し、安全性および有効性のある医療
機器への迅速な患者のアクセスを可能にする
患者安全の維持を保証するために、世界の医療サイバー
セキュリティへの取り組みが集約される必要がある

2. 医療機器製造業者向けの市販前考慮事項
(1)セキュリティ要求事項とアーキテクチャ設計
セキュアな通信
データの機密性
データの完全性
ユーザーアクセス
ソフトウェアのメンテナンス
ハードウェアまたは物理的設計
信頼性と可用性
(2)リスクマネジメント
セキュリティリスク評価
脅威モデル
脆弱性スコアリング

(3)セキュリティテスト
医療機器の設計フェーズのバリデーションの要求事項
ーソフトウェアコンポーネント／モジュールにおける既知の
脆弱性またはソフトウェアの弱点に関するターゲット
検索の実行（例：静的コード解析、動的解析、堅牢性
テスト、脆弱性スキャニング、ソフトウェア・コンポジション
分析
ー技術的セキュリティ分析の実行（例：ペネトレーション
テスト）
ー脆弱性評価の遂行（例：脆弱性影響度評価）

(4)市販後管理戦略
市販後監視計画
脆弱性開示プロセス
パッチ当て・アップデート計画
復旧計画（例：サイバーインシデント対応）
情報共有（例：ISAOsへの参画）
(5)表示または利用者セキュリティ文書
製造業者による文書（例：機器のインストール・構成
文書、稼働環境の技術要件文書、ソフトウェア部品表
（SBOM））

(5)規制提出要求事項
設計文書
ーサイバーセキュリティリスク・脅威を低減する設計機能
リスクマネジメント文書
ー包括的なリスクマネジメント文書（例：脅威モデリング、
特定可能なサイバーセキュリティ脅威）
ー他のリスクに対するセキュリティリスク低減の影響度
ー製品ライフサイクル全体を通して、機器のサイバーセキュリティ・
リジエンシーを維持するための計画
セキュリティテスト文書
ーテスト手法、結果、結論の記述
ーセキュリティリスク、セキュリティコントロール、コントロールを検証
するテストの間のトレーサビリティ・マトリックス表
市販後管理計画
表示または利用者セキュリティ文書

3. 医療機器サイバーセキュリティの市販後考慮事項
(1)意図する使用環境で作動する機器
医療機関・患者向け：
a. 医療機関が採用すべきサイバーセキュリティのベストプラクティス
b. 全ユーザー向けの訓練／教育
医療機器製造業者向け：
・医療機関、再販業者、消費者との連携
(2)情報共有
主要なステークホルダー
a. 規制当局
b. 医療機関
c. ユーザー
d. 政府機関や情報共有主体などその他のステークホルダー
（ISAOs、CERTsを含む）

(2)情報共有（続き）
情報のタイプ
信頼できるコミュニケーション
(3)協調的な脆弱性の公開（CVD）
マルチステークホルダー環境下のプロアクティブな情報共有を
可能にするCVDポリシーおよび手順の採用を推奨
医療機器製造業者（製品CERT含む）
規制当局（当局間のグローバル連携含む）
脆弱性の報告者（セキュリティ研究者およびその他の脆弱性
発見者＝ホワイトハッカー含む）

(4)脆弱性の救済策
a. リスクマネジメント
b. サードパーティ・コンポーネント（サプライチェーン含む）
c. コミュニケーション
d. 救済行動
医療機関・患者向け：
a. パッチ当て
b. 専門医療施設環境向けの考慮事項
c. 在宅医療環境向けの考慮事項
規制当局：
ー市販後のパッチ当て

(5)インシデント対応
a. 役割と責任（ISO/IEC 27035への準拠）
b. コミュニケーションの期待事項
(CERTやISAOsとの連携含む）
医療機関向け：
a. ポリシーと役割
(CERTやISAOsとの連携含む）
b. 役割ごとの訓練
c. 分析と対応
規制当局向け：
ー患者安全への影響度評価、他の政府機関との連携など

(6)レガシー医療機器
ー機器が最低限のセキュリティ・ベースラインを満たす、
セキュアな開発フレームワークに基づく機器の設計・開発
ーレガシー機器の重大な脆弱性に関するモニタリングと、
製品ライフサイクル管理に基づく最善の努力
ー医療機器ライフサイクル管理や製品寿命に関するコミュ
ニケーションの明確化
医療機関向け：
ー医療機器製造業者との間のコミュニケーションの改善
ーソフトウェア部品表（BOM)の有効活用
ー医療機器ライフサイクル管理に基づく製品寿命の明確化
ー医療機関が使用する医療機器の保守・維持の保証
ー既存環境におけるリスク・コントロールの限界に関する理解

AI医療機器に求められるセキュリティと国内外の動向

AI医療機器に求められるセキュリティと国内外の動向

Recommended

More Related Content

What's hot

What's hot(17)

Similar to AI医療機器に求められるセキュリティと国内外の動向

Similar to AI医療機器に求められるセキュリティと国内外の動向(20)

More from Eiji Sasahara, Ph.D., MBA 笹原英司

More from Eiji Sasahara, Ph.D., MBA 笹原英司(20)

AI医療機器に求められるセキュリティと国内外の動向