訊息平台

AI 學會「我不知道」提升可靠度 南韓團隊創抑制過度自信新法

圖/本報AI製圖(示意圖)

商傳媒|葉安庭/綜合外電報導

南韓研究人員成功開發一項新技術,能讓人工智慧(AI)模型學會承認其知識不足,從而有效抑制聊天機器人普遍存在的「幻覺」現象與過度自信問題,預期將顯著提升 AI 在自動駕駛、醫療診斷等關鍵應用領域的可靠度。

過去研究發現,AI 模型在決策過程中表現出的「過度自信」是其應用的一大風險,尤其在醫療診斷等場景,誤判可能導致嚴重後果。如 OpenAI 旗下知名的 ChatGPT 等常用 AI 模型,即便資訊不足,也常因被鼓勵「猜測」而非「承認未知」,進而生成錯誤資訊或「幻覺」。

南韓科學技術院的研究團隊發現,AI 過度自信的根本原因在於其人工神經網路在初始化階段的學習方式。此階段潛藏的微小錯誤,若未及時修正,將在後續訓練中累積並導致重大偏差。研究人員觀察到,當神經網路在初始化時輸入隨機資料,模型即使尚未學習任何內容,也會展現高自信,進而產生「幻覺」。

為解決此問題,研究團隊借鑒人類大腦解決此類問題的線索。科學家們模仿人類大腦在出生前,不需外部輸入即可產生腦訊號的原理,開發出一套預訓練系統。他們讓人形人工智慧模型的神經網路核心,在實際學習前,先經歷一段以隨機噪音輸入進行的短暫預訓練過程。此過程協助 AI 在開始資料學習前,為自身建立一個基準線,調整其不確定性。

這項「暖身」過程能幫助 AI 模型將其初始自信度設定在接近隨機的低水平,大幅降低過度自信的偏誤。研究團隊指出,透過這種方式,模型得以率先學習「我還不知道任何事」的狀態。相較於傳統模型即便面對未曾訓練的資料仍高自信給出錯誤答案,經過暖身訓練的模型在降低自信和識別「我不知道」的能力上,展現出顯著進步。

研究報告作者 Se-Bum Paik 表示:「這項研究證明,透過納入大腦發展的關鍵原則,AI 能以更接近人類的方式識別自身的知識狀態。」他進一步強調:「這項發現非常重要,因為它能幫助 AI 理解何時處於不確定或可能出錯的狀態,而不僅僅是提高其給出正確答案的頻率。」此突破將有助於 AI 發展區分「已知」與「未知」的能力,使其在應用上更加值得信賴。