訊息平台

AI代理人成職場新威脅 超七成部署含資安漏洞

圖/本報資料庫

商傳媒|林昭衡/綜合外電報導

隨著人工智慧(AI)技術演進,AI的角色已從傳統的數位助理轉變為能自主執行任務的「AI代理人」,如同數位同事般深度融入企業工作流程。這些AI代理人能夠處理電子郵件、查詢專有文件、安排會議甚至撰寫程式碼,且通常無需持續的人工監督。然而,這項發展也伴隨著前所未有的資安挑戰。

資安公司 KnowBe4 指出,AI代理人與人類員工有四項共通特質:存取權限、判斷決策、影響力與自主性,這些特性同時也成為資安風險的根源。AI代理人常持有信箱、檔案分享與程式碼儲存庫的存取憑證,且不像人類會有「直覺」判斷,AI預設服從指令,可能繼承超出其任務所需的權限。KnowBe4 歐洲與中東地區資安長顧問 Martin Kraemer (Martin Kraemer) 觀察,組織耗費二十年教導人類不要輕信所有電子郵件,現在卻部署了恰好會這麼做的AI代理人,強調AI已然成為我們的「數位同事」。

報告進一步揭示,現今已部署的AI產品中,高達73%存在可被利用的「提示注入」(Prompt Injection)漏洞,但僅有33%的組織部署了專屬防禦措施。此外,員工在未經IT部門批准下使用非官方AI工具,形成「影子AI」現象,使資安風險更難以掌握。

攻擊者正將社交工程手法轉向AI代理人,利用權威、急迫性與信任等策略進行攻擊。具體威脅包括:

  • 間接提示注入(Indirect Prompt Injection) :攻擊者將惡意指令隱藏在文件中(如白色文字隱藏在白色背景),當AI代理人被要求摘要文件時,可能被誘導執行惡意行為。
  • 迴聲洩漏(Echo Leak) :透過偽造的Markdown連結,誘騙AI代理人在摘要看似無害的電子郵件時,將敏感資料洩露至攻擊者網域。
  • 語境操控(Context Manipulation) :攻擊者將有害請求偽裝成「研究」或「虛構故事」,繞過AI的安全防護機制。

為應對這些新型資安威脅,企業組織應建立AI工具與代理人的使用規範框架,明確劃分「批准使用」(企業級解決方案搭配單一登入)、「引導使用」(限於特定應用場景)與「禁用」(會利用企業資料進行訓練的消費級工具)類別。同時,應對所有AI工具與整合建立庫存清單,以實現「零隱形AI風險」的目標。此外,導入「最小權限原則」限制AI代理人僅能存取完成任務所需的資料,並提供類似人類網路釣魚訓練的「提示詞安全訓練」(Prompt Hygiene Training)。對於敏感操作,則應採用「人工審查」(Human-in-the-Loop)機制,要求人類驗證AI代理人的輸出。

為協助企業防範風險,KnowBe4 推出了 Agent Risk Manager 產品,旨在偵測「影子AI」訊號並辨識AI代理人的高風險行為。