甚麼是人工智能保安風險?

人工智能保安風險因實施及/或使用人工智能科技而出現,包括由歹徒發動的惡意網絡攻擊及因平台及/或用戶行為導致的漏洞。

人工智能保安漏洞

開放全球應用程式安全計劃(OWASP)識別了一系列在大型語言模型建構人工智能有關的漏洞,包括:

  • 指令注入
  • 不安全的輸出處理
  • 訓練資料中毒
  • 模型阻斷服務
  • 供應鏈漏洞
  • 敏感資訊洩漏
  • 不安全的外掛程式設計
  • 過量的處理機構
  • 過度依賴
  • 模型盜竊

這些漏洞可整合及簡化為下列核心種類:

  • 與資料有關的人工智能風險
    • 敏感資訊洩漏
    • 模型盜竊
  • 系統完整性
    • 不安全的外掛程式
    • 不安全的輸出處理
    • 過量的處理機構
    • 模型中毒
    • 供應鏈軟件物料清單
    • 指令注入
    • 過度依賴人工智能
  • 登入
    • 阻斷服務
  • 利用完整性弱點的漏洞
    • 模型中毒
    • 指令注入
    • 生態系統整合
    • 不安全的外掛程式
    • 不安全的輸出處理
    • 軟件供應鏈
    • 過量的處理機構
    • 過度依賴人工智能

人工智能主要依賴已有資料及用戶的輸入,亦逐漸被歹徒利用作入侵數碼防護及盜竊敏感資訊。在最近 Gartner® 調查中,2024 年第一季最常出現的新興風險中 的首兩位都與人工智能有關,分別為人工智能強化的惡意攻擊及人工智能協助的虛假資訊。正如 Gartner 發現,人工智能可以「協助釣魚及社交工程進行更有效的入侵行動、增加可靠性及讓攻擊更具傷害性。」

Rogue AI

Rogue AI 是人工智能與用戶的目標出現不一致。這情況可能是意外,例如一個合適的屏障失效;但亦可能是故意的,歹徒可能會設法破壞人工智能系統,或嘗試在人工智能模型植入惡意指令。

詐騙自動化

詐騙自動化是利用合成的文字、話音及/或影片透過釣魚、商務電郵詐騙或深偽影片或話音以干擾業務程序。人工智能

數據管治

人工智能系統極依賴資料,因此它使用的資料及所接觸的實時數據都必須符合所有私隱及公平使用法規,並需要主動及有效地作數據管治以減低風險。

學習語言模型保安風險

OWASP 列出與學習語言模型相關的 10 大關鍵漏洞為:

  • 指令注入
  • 不安全的輸出處理
  • 訓練資料中毒
  • 模型阻斷服務
  • 供應鏈漏洞
  • 敏感資訊洩漏
  • 不安全的外掛程式設計
  • 過量的處理機構
  • 過度依賴
  • 模型盜竊

有關這些漏洞的資料可參考 OWASP 網站。.

生成式人工智能保安風險涉及用戶指令

生成式人工智能利用過去及現在的資料協助用戶,因此,對需要使用指令的工具而言,用戶必須謹慎及主動思考使用甚麼指令。有些工具讓用戶選擇退出資料搜集,例如 ChatGPT 用戶可以關閉聊天紀錄。視乎人工智能的管治及相關行業監管機構的使用政策,像這樣的預防措施及/或行為可能會是維持合規的必須要求。

在人工智能應用程式輸入財務資訊、未發佈軟件的機密規格、個人辨識資訊如地址和聯絡方式、及/或其他敏感資訊,即表示此應用程式可以隨意存取這些資料。這些資料亦會有被濫用的風險,包括因應其他接獲類似查詢的工具建議而被分享及/或被歹徒入侵系統而被盜。而當生成式人工智能工具被用作協助構思或快速匯編大量數據時,假如未有充份加密或實施保安措施,便會產生風險。

ChatGPT 保安風險

作為生成式人工智能的一個形式,ChatGPT 可對用戶的指令以文本方式回應,但歹徒也會利用 ChatGPT 來掩飾及/或加強他們的釣魚攻勢。另一方面,此平台也可能被針對來存取及濫用其用戶資料,包括利用所針對機構或個人的寫作範例來編寫釣魚電郵、修改錯字、文法及語法,令電郵更具說服力。另一個風險就是用戶資料被盜及/或利用指令注入或越獄來進行入侵。

其他保安風險則源於用戶,而並非直接與歹徒有關,例如,ChatGTP 會將您提交的資訊用作訓練大型語言模型之用,但資料可能會有未充份加密的風險,就像 ChatGPT MacOS 應用程式在開始推出時只把用戶的聊天以纯文本儲存一樣

OpenAI 保安風險

OpenAI API 本身已有被歹徒針對的潛在風險,雖然它已經符合 SOC 2 的需求並已定期進行滲透測試,用戶的風險仍未完全解除,為歹徒也會與時並進。最近 Soft Kraft 一篇文章詳細解析了 OpenAI 的資料保安風險,列出五項企業用戶需要知道的事項:

  • ChatGPT 的對話資料可以被用作模型再培訓用途
  • 經 API 發送的資料可以暴露在內部及外部
  • 要達致歐盟通用資料保護法規將是一個重大挑戰
  • 使用第三方委外廠商令地點及數據的處理更加複雜

Microsoft Copilot AI 保安風險

支援 Microsoft 365 應用程式的 Microsoft Copilot AI 已經發佈予用戶使用。在硬件層面,最新預載 Copilot+ 的個人電腦都包含實體 Copilot 鍵盤來讓用戶可更快速輸入。像其他生成式人工智能工具一樣,假如敏感資料可供 Copilot 使用,這些簡化的存取措施可能會帶來保安風險。假如沒有正確設定許可權限,或是人工智能產生的文件並未有適當的私隱設定,用戶可能會面對機密資料外洩的風險,而同樣風險亦會出現在用戶存取管理方面。最後,歹徒對平台的攻擊也會讓他們存取及分享您的資料。

相關研究

相關資料