人工智慧
每家公司都應知道的 10 大 AI 資安風險
AI 每個禮拜都會帶來一些新的發展，因此在導入 AI 工具之前，公司很重要的是先了解一下 AI 的風險。本文檢視「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 所點出今年下半年公司應謹記在心的 10 大風險領域。
Save to Folio
20 多年來，「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 的 10 大風險清單一直是公司改善軟體安全最具指標性的一份參考資料。2023 年，OWASP 又增加了一份新的清單，那就是專門針對 AI 的風險清單。AI 風險清單分別在該年的春季和夏季發布了兩個草稿版本，而第一份正式版也在當年的 10 月發布。
從那時起，大型語言 (LLM) 模型作為提升商業生產力的工具，地位變得更加穩固。大多數公司不是正在使用 AI、就是正在探索如何運用 AI。儘管大家都知道 LLM 存在著一些麻煩，例如您永遠必須檢驗 LLM 的輸出結果，但有些問題卻鮮為人知。
為此我們特別做了一些分析，我們發現 OWASP 公布漏洞大致分為三類：
- 权限滥用和未经授权的动作相关的「存取风险」。
- 資料遭篡改或服务中斷之類的「资料风险」。
- 因不良的 AI 輸出或動作而導致的「商誉和业务风险」。
以下进一步探讨每一类风险的细节，并提供一些建议的对策。
1. AI 的存取風險
在 OWASP 的 10 大漏洞當中，有三個漏洞跟存取與權限濫用有關：不安全的擴充功能 (plugin)、不安全的輸出處理方式，以及赋予过多的代理权限。
根據 OWASP 表示，LLM 若使用了不安全的擴充功能，有可能失去存取控管能力，讓自己暴露於惡意請求的風險，或執行未經授權的遠端程式碼。另一方面，擴充功能或應用程式若以不安全的方式處理大型語言模型的「输出」卻未加以查驗，很容易讓後台系統遭到跨網站腳本 (XSS)、跨網站請求偽造 (CSRF) 以及伺服器端請求偽造 (SSRF) 攻擊，進而執行一些不當的動作，同時也會暴露於未經授權的權限提升以及執行遠端程式碼的風險。
此外，由於 AI 聊天機器人有時也會扮演「採取行動」的角色，所以會做出一些決策或將決策付諸實行，因此它們被賦予多大的裁量空間 (也就是代理權限) 就很重要。正如 OWASP 所解釋：「過多的代理權限可能會因為 LLM 輸出了非預期或含糊的結果而執行了一些損害性動作，不論導致 LLM 失靈的原因為何，例如：LLM 自己的幻想/虛構、直接/間接的提示注入、惡意的擴充功能、設計不良的無害提示，或單純只是模型本身的問題。」
比方说，一个具备发信功能的个人邮件助理，就有可能遭到恶意邮件利用，进而藉由使用者的帐号散发垃圾邮件。
在所有上述情况当中，大型语言模型已成為歹徒渗透系统的一种途径。
2. AI 與資料風險
训练资料被下毒、供应链漏洞、机敏资料外流、提示注入漏洞以及阻斷服务，這些全都是跟資料相關的 AI 風險。
當 AI 系統從不可靠或未經審查的來源學習時，資料就有可能被不肖之徒蓄意或意外下毒。不論是使用中的 AI 聊天機器人，或是 LLM 供應鏈，都有可能出現這兩種資料下毒的情況。因為，使用預先訓練的模型、群眾外包的資料，以及不安全的擴充功能，都有可能輸出含有偏差的資料，或者發生資安事件或系統故障。
资料与供应链被下毒是输入的问题，而允许私密、机密、个人身分识别资讯之类的资料进入模型训练资料当中，则可能导致机敏资讯意外洩露。
至於提示注入的問題，意圖不良的輸入有可能導致大型語言模型 AI 聊天機器人揭露一些原本應該保密的資料，或執行一些可能導致資料外洩的其他動作。
AI 阻斷服务攻擊類似於傳統的 DoS 攻擊，其目標是要癱瘓大型語言模型，讓使用者無法存取資料和應用程式，或者迫使系統消耗過多的資源，使得帳單因而飆高 (因為許多 AI 聊天機器人都使用按用量付費的 IT 基礎架構)。
3. AI 相關的商譽及業務風險
最後兩個 OWASP 漏洞跟模型失窃以及過度依賴 AI有關。前者指的是公司擁有自己專屬 LLM 模型的情況。假使該模型遭未經授權的使用者存取、複製或外流，那就可能被用來打擊公司的業務並削弱其競爭力，而且還可能造成機敏資訊外流。
過度依賴 AI 的後果今日已在世界各地顯現，有關大型語言模型產生錯誤或不當輸出的傳聞從未間斷：從引用虛構的資料和，到发表的言论等等。
OWASP 指出，在沒有適當監督的情況下依靠 AI 聊天機器人，很可能讓公司陷入發布假訊息或冒犯內容的危險，進而導致商譽損失，甚至是法律訴訟。
既然有這麼多各式各樣的風險，那問題來了，「我們該怎麼辦？」 所幸，公司還是有些保護措施可以採用。?
大型公司該如何處理 AI 的漏洞
趨勢科技認為，要防範 AI 的存取風險，需要採取一種零信任的資安立場，並且有紀律地將系統隔離 (沙盒化)。儘管生成式 AI 可能對零信任防禦造成其他 IT 系統不會出現的挑戰 (因為它可模仿受信任的個體)，但零信任防禦還是可以加入一些機制讓不當的行為更容易被發現並加以制止。此外，OWASP 也建議不應該讓大型語言模型「自己審查自己」，而是需要在應用程式開發介面 (API) 當中加入一些管控。
沙盒化對於保護資料的隱私和完整也同樣重要：將機密資訊與可分享的資料徹底分離，並且讓 AI 聊天機器人及其他對外公開的系統無法存取機密資訊。
良好的资料分离可防止大型语言模型在对外的输出当中包含私密资料或个人身分识别资讯，同时也防止它被公开要求以不当方式和一些安全的应用程式互动，例如支付系统。
在商譽風險方面，最簡單的解決之道就是不要單純只仰賴 AI 生成的內容或程式碼，而且絕對不要在未經查核其真偽、準確性或可靠性之前就直接將 AI 輸出的內容拿來發布或使用。
公司可以 (而且也應該) 在政策當中加入一些這類防範措施，一但有了適當的政策作基礎，就可以採取一些資安技術，例如：端點偵測及回應 (EDR)、延伸式偵測及回應 (XDR)、資安事件管理 (SIEM) 系統來落實政策並監控任何可能有害的活動。
大型語言模型 AI 聊天機器人的時代已經來臨
OWASP 的 AI 風險清單，證明了急於擁抱 AI 所帶來的各種疑慮，確實值得商榷。此外，AI 的時代顯然已經來臨，所以最重要的是要了解其風險並採取負責任的作法來加以防範。
建立適當的 AI 運用管理政策，並藉由網路資安解决方案的協助來落實政策，是不錯的第一步，所以請持續保持關注。我們的看法是：OWASP 的 10 大 AI 風險清單勢必成為年度必讀的一份參考資料，就如同他們 2003 年開始至今的應用程式安全清單一樣。