42. 42
Microsoft 數位防禦報告 | 2021 年 10 月
對抗式機器學習
機器學習 (ML) 是一種人工智慧 (AI) 技術,有許多應
用用途,包括網路安全性。在負責的 ML 創新中,資
料科學家和開發人員會建立、訓練及部署 ML 模型,
以了解、保護及控制資料和流程來建立受信任的解決
方案。
不過,敵人可能會攻擊這些 ML 驅動的系統。支撐正
式環境 ML 系統的方法在系統上易受整個 ML 供應鏈
中新型漏洞的攻擊,這類攻擊統稱為「對抗式 ML」
。
敵人可能會惡意探索這些漏洞來操作 AI 系統並更改
其行為,達到最終的惡意目標。
對抗式 ML 威脅矩陣
Microsoft 與 MITRE 合作打造「對抗式 ML 威脅矩
陣」
,因為我們相信,讓安全性團隊抵禦 ML 系統攻
擊的第一步就是擁有一個架構,以有系統的方式組
織惡意敵人用來破壞 ML 系統的技術。我們希望安
全性社群能夠使用表列的策略和技術,加強組織關
鍵任務 ML 系統周圍的監視策略。
1. 主要對象是安全性分析師:我們認為保護 ML
系統是一項資安問題。
「對抗式 ML 威脅矩陣」
的目標,是將 ML 系統上的攻擊置於一個架構,
讓安全性分析師能夠在這些新興和即將出現的
威脅中調整自己的方向。該矩陣的結構方式類
似於 ATT&CK 架構,這是由於安全性分析師社
群廣泛採用該架構所致。如此一來,安全性分
析師就會有熟悉的架構來了解 ML 系統的威脅,
其原本就不同於公司網路的傳統攻擊。
2. 以 ML 系統上的實際攻擊為基礎:我們在此架
構中植入了經 Microsoft 和 MITRE 審查,認定
對正式環境 ML 系統有效的一組漏洞和敵人行
為,讓安全性分析師可以專注於實際的威脅。
我們也會將 Microsoft 在這方面廣泛經驗中學到
的知識納入架構。例如,我們發現模型竊取不
是攻擊者的最終目標,實際上會導致更險惡的
模型規避。我們也發現,攻擊者在攻擊 ML 系
統時,會結合網路釣魚與橫向移動等傳統技術,
以及對抗式 ML 技術。
ML 中的有意失敗模式
Microsoft 將 AI 和 ML 特定的安全性做法納入其安全
性開發生命週期 (SDL),以保護 Microsoft 產品和服
務免受這些攻擊。除了威脅偵測和降低風險開發工作
與自動化之外,我們還發佈了客戶所能採取的步驟指
引,以便他們能夠在自己的 AI 和 ML 系統中構建深
度防禦。
在我們所發佈的資料中,最重要的是<機器學習中的失
敗模式> (機器翻譯)26
,該文章列出了我們與哈佛大學
伯克曼網際網路與社會研究中心 (Berkman Klein Center
for Internet and Society) 共同開發的術語。其中包括可
用於描述敵人嘗試更改結果或竊取演算法所造成之有
意失敗的詞彙,以及可用於描述意外失敗 (例如產生可
能不安全之結果的系統) 的詞彙。
26
https://docs.microsoft.com/en-us/security/engineering/failure-modes-in-machine-learning
簡介 網路犯罪經濟與服務 勒索軟體與勒索 網路釣魚及其他惡意電子郵件 惡意軟體 惡意網域 對抗式機器學習
目錄 簡介 網路犯罪現況 國家威脅 供應鏈、IOT 及 OT 安全性 混合式工作團隊的安全性 假資訊 可付諸行動的見解 團隊