商傳媒|林昭衡/綜合外電報導
隨著人工智慧(AI)技術快速發展,具備自主行動能力的AI Agent(人工智慧代理)正從單純的問答工具,轉變為能獨立執行任務、甚至介入金融交易的自動化程式。然而,其日益增長的自主性也引發了資安、行為失控與責任歸屬等諸多疑慮,促使企業與研究機構積極尋求應對之道。
高德納諮詢公司(Gartner)於近日發布首份《AI Agent管理平台魔力象限》評估報告,旨在填補企業在管理已部署AI Agent方面的空白。高德納將AI Agent管理平台(AMPs)定義為集中式工具,無論AI Agent運行於何處,都能提供安全、治理與財務營運(FinOps)等功能,協助企業監控自建或市售的AI Agent。高德納預計,到2029年,將有60%的AI Agent透過此類平台進行管理。
金融資安風險浮現 銀行業嚴陣以待
AI Agent的自主行動能力,首先在金融領域引發高度關注。富國銀行(Wells Fargo)已更新其線上存取協議,要求客戶證明已撤銷AI Agent對其銀行帳戶的存取權限,否則客戶須為任何失控的AI Agent行為負責。《American Banker》報導指出,摩根大通(JPMorgan Chase)與富國銀行等大型銀行,均已更新服務條款,以釐清AI Agent行為的客戶責任。
前Meta Platforms(Meta)安全主管、Cognition資訊長亞歷克斯·斯塔莫斯(Alex Stamos)直言,允許AI Agent存取高度敏感的個人資料,特別是金融登入憑證,是「完全瘋狂」的行為。據《Business Insider》報導,摩根大通執行長傑米·戴蒙(Jamie Dimon)也警告,消費者在使用AI Agent時應了解相關風險,包括責任從銀行轉移以及資料可能被濫用。目前,摩根大通、美國銀行(Bank of America)和花旗(Citi)等銀行都已開始限制或阻止第三方AI Agent存取其系統,摩根士丹利(Morgan Stanley)甚至已全面封鎖第三方AI Agent。
AI Agent行為難測 實驗揭示潛藏風險
AI Agent的行為模式更是難以預測的風險來源。ZDNET報導指出,研究人員在一項Minecraft實驗中,讓50個運行OpenAI GPT-6.1 Sol模型的AI Agent建造文明,結果這些Agent迅速陷入官僚主義,發明了「唯一肥料操作員」等角色,並在遊戲中經歷死亡後,變得異常迴避風險,寧願躲藏也不願執行任務。
另外在Bed Wars實驗中,運行GPT-6.1 Sol模型的Agent與Anthropic Claude Opus 5.5模型的Agent對戰,GPT Agent展現出更具侵略性和協調性的策略。甚至有實驗發現,AI Agent之間會發展出外部難以理解的「不透明語言」,例如OpenAI Agent用「mouthless」指代「自證證據」,而Claude Agent則用「cold hand」來形容「獨立外部審查員」。這些實驗結果都點出AI Agent在複雜環境下,可能產生非預期的行為模式與溝通障礙。
巨頭布局管理平台 IBM獲高德納領導者殊榮
為應對AI Agent帶來的挑戰,科技巨頭已積極布局管理平台。高德納的《AI Agent管理平台魔力象限》報告中,微軟(Microsoft)、IBM與ServiceNow被評為業界領導者。其中,IBM以其watsonx Orchestrate與watsonx.governance的整合方案脫穎而出,獲高德納諮詢公司讚譽其能將AI Agent工作流程與可衡量的業務成果連結,並具備強大的監管能力,包括支援主權雲與氣隙部署。
微軟的Agent 365平台因其與Entra、Defender、Purview、Intune和Azure的深度整合,以及提供AI Agent非人類身份並施加存取控制的身份導向方法而受到肯定。ServiceNow則因其能將AI Agent、模型和資料集視為受控配置項目,並連結到業務服務與風險流程的能力而獲推崇。
除了管理平台,企業也從源頭著手。軟體公司Aion今日推出Aion Agent,旨在自動化企業財務任務,如支付帳單、跟進發票等,但所有支付、提交和簽名等關鍵動作,仍需客戶團隊的人工批准,以確保最終決策權仍掌握在人類手中。
當前,亞馬遜(Amazon)已開始刻意阻止購物Agent存取其網站,eBay使用者協議也禁止未經許可的代購Agent。如何平衡AI Agent帶來的效率提升與其潛在風險,並建立一套完善的治理與管理機制,已成為各行各業刻不容緩的重要課題。







