人工智慧
AI Pulse：2024 年 AI 主要趨勢 - 回顧
本期的 AI Pulse 將回顧一下 2024 年最熱門的 AI 趨勢，好讓我們能更清楚預測 2025 年及未來的 AI 走勢。
AI 邁向成熟
2024 年很可能成為 AI 擺脫新奇技術定位、走入人們日常生活的一年。因為像 Microsoft、Salesforce 和 Intuit 這樣的知名大廠，都已經將 AI 內建到他們主流的企業解決方案當中。此外，從文案撰寫到資料分析，各種專門的 AI 應用程式和服務也如雨後春筍般冒出來，而政府、智庫和監理機關也紛紛投入心力來為 AI 的開發與使用制定一些實質的規範。但在此同時，不肖之徒也在尋找能將 AI 工具應用於詐騙、恐嚇及勒索的全新方式。
本期的 AI Pulse 特集將回顧 2024 年的 AI 趨勢，以及這些趨勢對未來一年有何意義。
2024 年 AI 趨勢
人工智慧大躍進
我們之前的 AI Pulse 花了很大篇幅在探討代理式 AI (agentic AI)，原因很簡單：由機器自己做主的合作式問題解決能力，是邁向「通用人工智慧」(AGI) 的必經之路。在 2024 一整年當中，所有 AI 大廠商都將其研發精力聚焦在代理式 AI 領域，而非 AI 廠商也紛紛就定位，開始供應所謂的「AI 代理服務」(AI Agent as a Service，簡稱 AIAaaS)。
教電腦使用電腦
今年，代理式 AI 界的大事之一就是 Anthropic 推出了 Claude 3.5 Sonnet 模型的 Computer Use 公開測試版 (public beta)。Computer Use 顧名思義就是要讓 Claude 3.5 Sonnet 能操作電腦，也就是看著螢幕畫面來操控游標、點選連結，以及輸入文字。其他廠商也在開發能操作網站的 AI 代理，不過要大規模地評估其效能將是一項眾所周知的挑戰。研究機構 ServiceNow 希望其推出的 AgentLab 產品能改變這個情況，這是一套 12 月推出的開放原始碼 Python 套件，能在各種線上環境同時執行大規模的網站代理實驗。
用 RAG 發掘 AI 寶藏
AI 系統要能有效解決問題，首先必須取得有相關性的資料，而「檢索增強生成」(Retrieval-Augmented Generation，簡稱 RAG) 就能做到這點，因為它可讓系統取得與情境高度相關的資訊，而非廣泛、無焦點的資料集。研究發現，光是靠 RAG 就能降低 AI 的幻覺，並且超越了其他替代方法，例如：長情境轉換器 (long-context transformer) 與微調 (fine-tuning)。若是將 RAG 與微調結合，其產生的效果甚至更好。
今年秋季初，Anthropic 發表了自家的 RAG，推出所謂的「情境式檢索」(宣稱可改善資訊檢索的成效)，以及新的「模型情境協定」(Model Context Protocol，簡稱 MCP) 來讓 AI 助理透過可靠、可擴充的方式連接資料系統。
趨勢科技早已發現，RAG 並非毫無風險，暴露在外的向量儲存與 LLM 代管平台，有可導致資料外洩以及未經授權的存取。而資料驗證錯誤以及阻斷服務 (DoS) 攻擊之類的資安問題，在 RAG 元件之間也相當普遍。除了加入認證機制之外，趨勢科技也建議採用傳輸層加密 (TLS) 以及零信任網路來防範未經授權的存取和篡改。
AI 模型縮小化
除了邁向代理式 AI 之外，AI 也需要針對某些工作推出更小、更敏捷、更快速的特定用途模型。在這方面，2024 年同樣也投入了許多心力。Meta 在 10 月份發布了新版的 Llama AI 模型，速度相較於先前的版本快了四倍，體積卻縮小了 56%，就算在手機這麼小的裝置上也能啟用一些精密的 AI 功能。此外，Nvidia 也推出了 Nemotron-Mini-4B Instruct 小型語言模型 (SLM)，將 VRAM 的用量減少到 2GB 左右，但速度卻遠遠超過 LLM。
更小的模型不僅更敏捷，也比 LLM 更節能，而且更容易負擔得起。如此一來，也就更容易普及。而這一切也符合「聯合國永續發展目標」(UN Sustainable Development Goals)。
AI 詐騙與網路犯罪：眼見不再為憑
大多數專家都同意，AI 目前仍無法製造出全新的威脅，但 2024 年已證明了它能讓現有的攻擊威力更強，尤其是大規模且高度針對性的網路釣魚詐騙。深偽 (Deepfake) 詐騙已經讓社會深受其害，採用 AI 技術的網路犯罪對企業所造成的損失，即使沒有數十億美元、也有數百萬美元。虛擬綁架的現象，開啟了駭客從自己的桌面就能從事勒索的新時代。
騙術更上層樓
2024 年一開始就發生了某香港公司的員工支付了 2,500 萬美元給詐騙集團的事件，原因是該員工以為接到了執行長的當面指示，但其實是歹徒利用了一段深偽影片假扮成該公司的執行長。印度某詐騙集團將一名商人「軟禁在家」，然後上演一齣假線上法庭的戲碼，向他敲詐了超過 80 萬美元。虛擬綁架已成了一種真實世界的威脅，駭客利用深偽影片讓受害者深信他們所愛的人遭到綁架，除非支付贖金，否則將受到傷害。《富比世》(Forbes) 雜誌在 11 月分析了一個新的深偽工具，它可以讓駭客騙過雙重認證來開立非法帳戶以取得信用和貸款，並且詐領取政府補助等等。
像這樣的案例促使美國「金融犯罪執法網路」(Financial Crimes Enforcement Network ，簡稱 FinCEN) 在 11 月發出警示要大眾小心專門針對金融機構及其客戶的深偽詐騙。尤其，趨勢科技一直持續追蹤日益猖獗的殺豬盤詐騙，這是一種投資及愛情詐騙，它們越來越常利用假照片和假的投資機會來騙取受害者的錢財。
深偽的民主
全球有 40 多個國家在 2024 年都舉行了選舉，料敵先機的科技業領袖在 2 月份的「慕尼黑安全會議」(Munich Security Conference) 上簽署了一份「反制 2024 年選舉 AI 詐術的技術協議」(Tech Accord to Combat Deceptive Use of AI in 2024 Elections)，致力共同開發偵測、介入及教育訓練工具來對抗 AI 產生的有害內容。
儘管有這項協議，但在這一整年的選舉中，深偽內容依然不斷地影響著大眾的認知，包括美國出現了泰勒絲 (Taylor Swift) 的粉絲宣布支持川普 (Donald Trump) 的 AI 生成照片，還有賀錦麗 (Kamala Harris) 在造勢場合對一群共產主義者演講的照片。
12 月，羅馬尼亞一位極右派候選人在 TikTok 上刊登付費內容來為自己拉抬聲勢，因而違反了該平台的政策與羅馬尼亞法律。不僅如此，這名反北約、親普丁的候選人，還可能涉及從資料竊取和網路攻擊中受益，其中有些還可追溯至俄羅斯網路犯罪平台。
將精靈封印在瓶中：AI 法規
政府單位和監理機關已意識到當前的這些潛在風險，包括行為上可能不符合人類利益的「不受控的 AI」(Rogue AI) 系統，因此在 2024 年也採取了一些措施來管制 AI 的開發與使用。針對這點，有些觀察家認為新的措施做得還不夠，有些卻認為管得太多、有可能阻礙創新。
世界一家：全球對 AI 的看法
在 9 月底的聯合國「未來高峰會」(Summit of the Future) 上獲得採納的「全球數位契約」(Global Digital Compact，簡稱 GDC) 是一個用來監督 AI 和其他數位技術的框架。它揭櫫了五大目標：
- 消除數位鴻溝
- 讓數位經濟更具包容性
- 確保數位空間能保障人權
- 促進良好的資料治理
- 提升人工智慧的國際治理來造福人類
GDC 被納入聯合國更大的「未來契約」(Pact for the Future) 當中，證明了 AI 的安全與數位公平性被視為是最重要的事。
此外，「經濟合作暨發展組織」(OECD) 也在 2024 年針對 AI 發表了自己的看法，其「AI 未來專家小組」(Expert Group on AI Futures) 在 11 月發表了一份關於 AI 重大風險與政策優先要務的報告。下表整理出該小組提出的一些重點，其中，日益精密的網路攻擊是頭號風險。
風險 |
優先要務 |
|
|
以人為優先：歐盟新措施
今年 3 月，歐盟通過了一項「人工智慧法案」(Artificial Intelligence Act) 來保障安全、基本人權以及 AI 創新。該法案禁止任何可能威脅人權的應用程式，例如：使用生物特徵來將人分類、從網際網路和監視錄影畫面建立臉部辨識資料庫，以及使用 AI 來進行社會評分、預判性執法或人為操弄。
接著在 12 月份，歐盟又制定了「資安韌性法案」(Cyber Resilience Act)，該法案要求數位產品製造商、軟體開發人員、進口商、代理商以及經銷商必須在設計中融入網路資安功能，例如：事件管理、資料保護，並且要支援更新與修補。此外，產品製造商也必須在發現任何漏洞時立即加以解決。違反者可能受到最高的罰鍰與制裁。
同樣在 12 月，歐盟也更新其「產品責任指令」(Product Liability Directive，簡稱 PLD) 將軟體也納入該規範中，這作法有別於其他未將軟體視為「產品」的國家 (如美國)。這使得軟體廠商必須對其解決方案的瑕疵所造成的傷害負責，這也意味著包括 AI 模型在內。
生在美國：美國的 AI 法規
今年下半年，美國聯邦政府相當忙碌，白宮在 10 月份發布了第一份有關 AI 的國家安全備忘錄。這份備忘錄要求採取「具體而有效的步驟」來：
11 月，美國「國家標準與技術局」(National Institute of Standards and Technology，簡稱 NIST) 成立了一個名為「測試 AI 對國家安全的風險」(Testing Risks of AI for National Security，簡稱 TRAINS) 的工作小組，負責處理 AI 對國家及公共安全的影響。TRAINS 成員來自美國國防部 (Department of Defense)、能源部 (Department of Energy)、國土安全部 (Department of Homeland Security)，以及國家衛生院 (National Institutes of Health)，負責協調人工智慧模型在各種國家安全領域的評估及測試，包括：放射、核子、化學、生物安全、網路資安等等。
同樣在 11 月，美國商務部 (Department of Commerce) 與國務院 (Department of State) 也首次聯合成立了「人工智慧安全機構國際網路」(International Network of AI Safety Institutes)，聚焦於合成內容風險、基礎模型測試，以及進階 AI 風險評估。
跨越赤道：拉丁美洲的 AI 法規
絕大多數拉丁美洲國家都已採取步驟來一方面應付 AI 的風險，一方面擁抱 AI 的潛力。根據 White & Case 指出，巴西和智利提出的方案最為具體，而阿根廷和墨西哥等其他國家則以較通盤的方式來面對這項問題。有些國家的重點在於降低風險，不論是透過禁令或法規限制，有些則是著眼於採取更自由的方式來吸引創新和國際投資機會。
了解您的敵人：AI 與資安風險
想要規範 AI，很重要的一點是要了解 AI 的實際風險是什麼。2024 年，OWASP、MIT 和其他機構都致力於 AI 漏洞的發掘與詳細探討。
OWASP 的 LLM 熱門排行榜
「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 發表了「2025 年 LLM 十大風險清單」。主要還是一些老掉牙的問題，例如：提示注入風險、供應鏈風險，以及輸出處理不當。此外也增加了一些新的漏洞，例如：向量與內嵌弱點、不實資訊，以及不受限制的消耗 (將先前的 DoS 風險類別彙整)。
OWASP 特別點出「過多的代理權限」所衍生的疑慮，主要是因為「半自主式代理架構」(semi-autonomous agentic architecture) 的興起。正如 OWASP 所言，「在 LLM 扮演代理角色或擴充元件的情境中，無限制的授權有可能導致非預期或危險的動作，使得這項問題比以往更加嚴重。」
此外，MIT 在追蹤 AI 風險方面也做出了不少貢獻，今年 8 月，他們推出了一套公開的「AI 風險資料庫」(AI Risk Repository)，根據 40 多種不同的框架列舉了 700 多項風險，並提供了引用來源以及風險分類。
AI 也能做好事
清楚了解 AI 的風險固然重要，但同樣重要的是別忘了它能帶來的效益，而且 2024 年也有不少人在試圖突顯這些正面功能。
打擊壞人
一整年當中，運用 AI 來發掘漏洞和漏洞攻擊手法的努力也獲得了不少關注。儘管 AI 並非絕對必要，但 AI 在複雜性及未知因素居高不下的情況下能產生絕佳的成果。根據「先驅模型論壇」(Frontier Model Forum) 發現，漏洞發掘與修補是 AI 一個新的強項，一部分的原因是訓練後階段的程式碼範例使用率增加，另一部分的原因是由於情境窗口 (context window) 的擴大。此外，AI 還可透過即時監控、分析及趨勢發掘等等來支援公開情報蒐集與報告製作。
如同趨勢科技對 2025 年的預測，代理式 AI 可結合工具、資料與規劃來擴大這些能力，進而縮短人類需要動腦的時間。若能將 Ida、Ghidra 和 Binary Ninja 等逆向工程工具與程式碼相似性、架構 RAG 以及已組譯程式碼演算法辨識等結合，很有可能為網路資安軍備競賽增添一項強大利器。
促進公共和平
趨勢科技參加了 2024 年「巴黎和平論壇」(Paris Peace Forum)，並宣布與該論壇合作，共同制定 AI 安全導入及實作指南。如同 AI Collaborative 執行長 Martin Tisné 在論壇上所言，最重要的是要確保 AI 從一開始就是以成果為導向，如此才能讓 AI 的開發與使用符合它能為社會帶來的好處。
未來將會如何？
每一年的這個時候，總是會出現各式各樣的預測，未來幾週之內我們也將進一步分享我們自己的預測。從 2024 年的 AI 趨勢可以清楚看到，創新在短期內還不會減緩：全面的代理式 AI 革命即將開始。未來，監理機關將會有更多新的選擇，網路駭客集團將有更多可化為武器的新功能，至於網路資安人員，則將發現更多主動守護數位世界的新契機。
更多來自趨勢科技的觀點
來看看我們 2024 年發表了那些 AI Pulse 文章：