網路資安威脅
不肖 AI (Rogue AI)是資安未來的威脅
本文是有關「不肖 AI」(Rogue AI) 議題一系列文章的第一篇，往後幾篇將陸續提供技術指引、個案研究等更多精彩內容。
Yoshua Bengio 被視為是人工智慧的「教父」，他將這項今日無所不在的技術比喻成一頭熊。當我們教熊如何變得更加聰明、聰明到能夠逃出牢籠時，那我們就再也無法掌控它。接下來我們能做的，就是打造更好的牢籠。
在面對快速進入市場的生成式 AI 工具 (不論是獨立服務或整合至現有產品當中)，這一點應該是我們當前的目標。儘管 AI 如光速般的普及似乎已無可避免，但要防範其日益成長的相關風險還不算太晚，不過我們動作要快。
了解不肖 AI((Rogue AI))
儘管今日登上新聞版面的 AI 資安威脅大多來自詐騙集團和組織犯罪團體，但不肖 AI (Rogue AI)才是資安專家們長期關注的焦點。
所謂「不肖 AI」(Rogue AI) 指的是那些行為不符合其創造者、使用者或人類整體利益的人工智慧系統。儘管今日一些詐騙或深偽之類的攻擊確實令人擔憂，但卻不是我們唯一必須做好準備的 AI 威脅，只是它們會繼續跟我們玩著偵測與躲避的貓追老鼠遊戲。但反觀不肖 AI (Rogue AI)卻是一項全新的風險，它使用資源的目的已經違背了其設計初衷。
不肖 AI (Rogue AI)大致可分為三種：天生惡意、意外變壞和遭人破壞。每一種都有其不同的成因和潛在後果，了解其中的差異，將有助於我們防範不肖 AI (Rogue AI) 的威脅。
天生惡意的 AI 是由駭客所部署，目的是要濫用他人的運算資源，駭客會將 AI 安裝在別人的系統上來達成其目的，這種 AI 專門設計用來執行一些意圖不良的任務。
意外變壞的 AI 是人為錯誤或技術的天生限制所造成，例如：組態設定錯誤、模型測試不完整、權限控管不當，都可能導致 AI 程式傳回不當回應 (如幻想內容)，或是擁有超過原先預期的權限，或未正確處理敏感資料。
遭人破壞的 AI 使用的是現有的 AI 部署環境和資源。駭客會破壞、進而濫用某個現有的 AI 系統來達成其目的。提示注入 (prompt injection) 和越獄 (jailbreak) 是兩種最新崛起的 LLM 破壞技巧，可讓 AI 系統做出違背其設計的行為。
打造牢籠
不肖 AI (Rogue AI)所衍生的威脅相當複雜，因此需要一種面面俱到的資安理念來將所有因素都考慮進去，包括：身分、應用程式、工作負載、資料、裝置、網路等等。趨勢科技很早就投入該市場，並對此問題提出了系統性見解。想要打造一個能困住這頭 AI 惡熊的全新牢籠，我們不只要能發現已經出現的問題，還要透過資安措施來確保 AI 模型所使用的每一層資料與運算資源都安全無虞。這就是零信任 (Zero Trust) 資安的核心原則，同時也是這項新技術的關鍵。
只要採用一套面面俱到的 AI 防護方法，我們就能針對這些不肖 AI 所帶來的次世代威脅與漏洞做好萬全準備。相關的資安措施應該包括讓 AI 服務所使用的資料、基礎架構及通訊都經過加密、驗證並受到監控。
縱深防禦是對抗不肖 AI (Rogue AI)的關鍵，嚴格的政策與控管能防止資源使用失控，並檢查使用中的 AI 系統來偵測 AI 或資源使用的異常狀況。在面對完全無法預期的狀況時，偵測 AI 異常使用狀況依舊是最後的一道防線。
AI 時代的承諾唯有在安全無虞的情況下才能真正發揮力量。隨著我們邁向 AI 代理 (AI agent) 的世界，不肖 AI 已經是無可避免，只是目前還沒到最糟糕的情況。所以，只要我們能採用一套全方位的主動式資安方法，就能減少不肖 AI(Rogue AI) 的情況發生。