人工智慧
每家企業都應知道的 10 大 AI 資安風險
AI 每個禮拜都會帶來一些新的發展，因此在導入 AI 工具之前，企業很重要的是先了解一下 AI 的風險。本文檢視「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 所點出今年下半年企業應謹記在心的 10 大風險領域。
20 多年來，「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 的 10 大風險清單一直是企業改善軟體安全最具指標性的一份參考資料。2023 年，OWASP 又增加了一份新的清單，那就是專門針對 AI 的風險清單。AI 風險清單分別在該年的春季和夏季發布了兩個草稿版本，而第一份正式版也在當年的 10 月發布。
從那時起，大型語言 (LLM) 模型作為提升商業生產力的工具，地位變得更加穩固。大多數企業不是正在使用 AI、就是正在探索如何運用 AI。儘管大家都知道 LLM 存在著一些麻煩，例如您永遠必須檢驗 LLM 的輸出結果，但有些問題卻鮮為人知。
為此我們特別做了一些分析，我們發現 OWASP 公布漏洞大致分為三類：
- 權限濫用和未經授權的動作相關的「存取風險」。
- 資料遭篡改或服務中斷之類的「資料風險」。
- 因不良的 AI 輸出或動作而導致的「商譽和業務風險」。
以下進一步探討每一類風險的細節，並提供一些建議的對策。
1. AI 的存取風險
在 OWASP 的 10 大漏洞當中，有三個漏洞跟存取與權限濫用有關：不安全的擴充功能 (plugin)、不安全的輸出處理方式，以及賦予過多的代理權限。
根據 OWASP 表示，LLM 若使用了不安全的擴充功能，有可能失去存取控管能力，讓自己暴露於惡意請求的風險，或執行未經授權的遠端程式碼。另一方面，擴充功能或應用程式若以不安全的方式處理大型語言模型的「輸出」卻未加以查驗，很容易讓後台系統遭到跨網站腳本 (XSS)、跨網站請求偽造 (CSRF) 以及伺服器端請求偽造 (SSRF) 攻擊，進而執行一些不當的動作，同時也會暴露於未經授權的權限提升以及執行遠端程式碼的風險。
此外，由於 AI 聊天機器人有時也會扮演「採取行動」的角色，所以會做出一些決策或將決策付諸實行，因此它們被賦予多大的裁量空間 (也就是代理權限) 就很重要。正如 OWASP 所解釋：「過多的代理權限可能會因為 LLM 輸出了非預期或含糊的結果而執行了一些損害性動作，不論導致 LLM 失靈的原因為何，例如：LLM 自己的幻想/虛構、直接/間接的提示注入、惡意的擴充功能、設計不良的無害提示，或單純只是模型本身的問題。」
比方說，一個具備發信功能的個人郵件助理，就有可能遭到惡意郵件利用，進而藉由使用者的帳號散發垃圾郵件。
在所有上述情況當中，大型語言模型已成為歹徒滲透系統的一種途徑。
2. AI 與資料風險
訓練資料被下毒、供應鏈漏洞、機敏資料外流、提示注入漏洞以及阻斷服務，這些全都是跟資料相關的 AI 風險。
當 AI 系統從不可靠或未經審查的來源學習時，資料就有可能被不肖之徒蓄意或意外下毒。不論是使用中的 AI 聊天機器人，或是 LLM 供應鏈，都有可能出現這兩種資料下毒的情況。因為，使用預先訓練的模型、群眾外包的資料，以及不安全的擴充功能，都有可能輸出含有偏差的資料，或者發生資安事件或系統故障。
資料與供應鏈被下毒是輸入的問題，而允許私密、機密、個人身分識別資訊之類的資料進入模型訓練資料當中，則可能導致機敏資訊意外洩露。
至於提示注入的問題，意圖不良的輸入有可能導致大型語言模型 AI 聊天機器人揭露一些原本應該保密的資料，或執行一些可能導致資料外洩的其他動作。
AI 阻斷服務攻擊類似於傳統的 DoS 攻擊，其目標是要癱瘓大型語言模型，讓使用者無法存取資料和應用程式，或者迫使系統消耗過多的資源，使得帳單因而飆高 (因為許多 AI 聊天機器人都使用按用量付費的 IT 基礎架構)。
3. AI 相關的商譽及業務風險
最後兩個 OWASP 漏洞跟模型失竊以及過度依賴 AI有關。前者指的是企業擁有自己專屬 LLM 模型的情況。假使該模型遭未經授權的使用者存取、複製或外流，那就可能被用來打擊企業的業務並削弱其競爭力，而且還可能造成機敏資訊外流。
過度依賴 AI 的後果今日已在世界各地顯現，有關大型語言模型產生錯誤或不當輸出的傳聞從未間斷：從引用虛構的資料和先前判例，到發表種族歧視與性歧視的言論等等。
OWASP 指出，在沒有適當監督的情況下依靠 AI 聊天機器人，很可能讓企業陷入發布假訊息或冒犯內容的危險，進而導致商譽損失，甚至是法律訴訟。
既然有這麼多各式各樣的風險，那問題來了，「我們該怎麼辦？」 所幸，企業還是有些保護措施可以採用。
大型企業該如何處理 AI 的漏洞
趨勢科技認為，要防範 AI 的存取風險，需要採取一種零信任的資安立場，並且有紀律地將系統隔離 (沙盒化)。儘管生成式 AI 可能對零信任防禦造成其他 IT 系統不會出現的挑戰 (因為它可模仿受信任的個體)，但零信任防禦還是可以加入一些機制讓不當的行為更容易被發現並加以制止。此外，OWASP 也建議不應該讓大型語言模型「自己審查自己」，而是需要在應用程式開發介面 (API) 當中加入一些管控。
沙盒化對於保護資料的隱私和完整也同樣重要：將機密資訊與可分享的資料徹底分離，並且讓 AI 聊天機器人及其他對外公開的系統無法存取機密資訊。
良好的資料分離可防止大型語言模型在對外的輸出當中包含私密資料或個人身分識別資訊，同時也防止它被公開要求以不當方式和一些安全的應用程式互動，例如支付系統。
在商譽風險方面，最簡單的解決之道就是不要單純只仰賴 AI 生成的內容或程式碼，而且絕對不要在未經查核其真偽、準確性或可靠性之前就直接將 AI 輸出的內容拿來發布或使用。
企業可以 (而且也應該) 在政策當中加入一些這類防範措施，一但有了適當的政策作基礎，就可以採取一些資安技術，例如：端點偵測及回應 (EDR)、延伸式偵測及回應 (XDR)、資安事件管理 (SIEM) 系統來落實政策並監控任何可能有害的活動。
大型語言模型 AI 聊天機器人的時代已經來臨
OWASP 的 AI 風險清單，證明了急於擁抱 AI 所帶來的各種疑慮，確實值得商榷。此外，AI 的時代顯然已經來臨，所以最重要的是要了解其風險並採取負責任的作法來加以防範。
建立適當的 AI 運用管理政策，並藉由網路資安解決方案的協助來落實政策，是不錯的第一步，所以請持續保持關注。我們的看法是：OWASP 的 10 大 AI 風險清單勢必成為年度必讀的一份參考資料，就如同他們 2003 年開始至今的應用程式安全清單一樣。