AI 資安風險的產生，來自於 AI 技術的建置和應用，包括來自駭客的網路惡意攻擊，以及來自平台或使用者行為漏洞。
「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 針對使用大型語言模型 (LLM) 建構的 AI 點出了一系列的漏洞。包括以下幾點：
以上漏洞可進一步濃縮並簡化成以下幾個核心類型：
由於 AI 相當仰賴其可存取的資料以及使用者的輸入，因而逐漸成為駭客用來突破數位防線及竊取機敏資訊的攻擊目標。Gartner® 在一份最新的調查當中列舉了 2024 年第 1 季最常被提及的五大新興風險，其中，AI 相關的風險就囊括了前兩名，基本上，AI 被用來強化惡意攻擊或散播假訊息。如 Gartner 指出，AI 能夠「強化網路釣魚與社交工程技巧，讓駭客的入侵更加順利、更容易取得信任，同時也讓攻擊更具破壞力。」
所謂的「不受控 AI」(Rogue AI) 就是行為表現與使用者的目標不一致的 AI。這樣的不一致有時是意外造成，例如保護措施未適當發揮作用。但有時是刻意造成的，例如駭客可能故意破壞 AI 的系統或使用方式，或者試圖在某個環境內安裝惡意的 AI 模型。
詐騙自動化主要是自動產生網路釣魚、變臉詐騙、深偽詐騙所需的文字、音訊、視訊等合成內容。AI 讓詐騙自動化的規模能輕易擴大。
AI 系統需仰賴資料，因此，AI 系統中所用到的資料以及它們即時接觸到的資料，都必須符合所有隱私權與正當使用規範，因此需借助主動而有效的資料治理來降低風險。
OWASP 所列舉的 10 大 LLM 相關漏洞分別為：
有關每一項漏洞的摘要說明，請參考 OWASP 網站。
生成式 AI (GenAI) 會利用過去和當前可取得的資料來協助使用者。因此，對於需要使用者輸入提示的工具，您最好小心並主動留意您輸入的提示。有些工具可讓使用者拒絕自己的資料被蒐集，例如 ChatGPT 即提供了選項讓您關閉聊天記錄。視監理機關對 AI 治理與使用的要求而定，有時候 AI 必須具備這類預防性措施和行為才能符合規範。
假使輸入了財務資訊、尚未發表的軟體相關機密細節、個人身分識別資訊 (PII，如地址和聯絡資訊) 或其他敏感的資料，那麼這些資訊將可以被 AI 應用程式自由地存取。如果 AI 的防護措施遭駭客破解，那麼這些資料就有可能遭到篡改，或是在提供建議給使用者時意外洩露，或是被駭客竊取。這在使用生成式 AI 工具來協助概念發想或快速整理大量資料時特別危險，尤其是如果沒有充分的加密和資安措施時。
ChatGPT 是一種以文字輸入提示和獲得回應的生成式 AI，駭客可用它來偽裝或改善他們的網路釣魚攻擊。除此之外，該平台本身也可能遭駭客攻擊，目的是要取得 (並且可能不當使用) 使用者的資料，包括：使用目標企業或個人的寫作樣本來撰寫網路釣魚郵件，或用來修正拼字和文法錯誤，或是讓文字變得更具說服力。還有一種風險是使用者的資料因為駭客的提示注入或越獄手法而遭到竊取或外洩。
除此之外，有一些資安風險是使用方式所造成，與駭客沒有直接關係。例如，您提供給 ChatGTP 的資料有可能被用來訓練 LLM。還有，資料加密不足也可能造成風險，例如 ChatGPT 的 MacOS 應用程式最早推出時會使用明碼的方式來儲存使用者聊天記錄。
OpenAI API 本身就很可能成為網路駭客的攻擊對象。儘管它符合 SOC 2 規範，並且會定期執行滲透測試，您還是無法完全避免風險，因為駭客隨時都在進化。Soft Kraft 最近發表了一篇詳細探討 OpenAI 資料安全風險的文章，披露了 5 項企業使用者特別值得注意的風險：
由於 Microsoft Copilot AI 支援了 Microsoft 365 應用程式，因此使用者可以很容易取得。不過，在硬體層次，最新標榜具備 Copilot+ 功能的 PC 在出貨時會提供專門的 Copilot 實體金鑰來進一步加快使用者的輸入速度。在這種簡化的存取方式下，萬一讓 Copilot 可以存取機密資訊的話，有可能帶來資安風險，就如同其他生成式 AI 工具一樣。假使權限未正確設定，或者 AI 生成的文件未啟用適當的隱私權設定，您可能會面臨機密資料外洩或失竊的風險。同樣的問題也存在於使用者存取管理。最後還有針對平台本身的攻擊，有可能讓駭客改變平台存取和分享您資料的方式。
相關研究
相關文章