訊息平台

AI摘要恐釀虛假記憶 喬治城大學研究示警法律應用風險

商傳媒|責任編輯/綜合外電報導

喬治城大學(Georgetown University)一項最新研究指出,人工智慧(AI)生成的摘要可能嚴重扭曲人們對親身經歷事件的記憶,導致記憶準確度大幅下降。這項發現對 AI 在法律、新聞等高風險領域的應用,提出嚴峻警示。

研究團隊招募 331 名參與者進行實驗。他們首先觀看一段動畫影片,內容描繪一輛紅色汽車在轉彎時撞上行人。24 至 48 小時後,參與者會閱讀一份事件摘要。其中部分人收到內容精確的摘要,而另一部分則讀到由 OpenAI 的 ChatGPT 和谷歌(Google)Gemini 等消費者多模態 AI 模型生成的錯誤摘要。

實驗結果顯示,AI 生成的影片摘要存在顯著缺陷,平均遺漏高達 51.6% 的關鍵事件細節。更甚者,有 95% 的 AI 摘要未能提及事件最核心的情節——汽車撞到行人。這種描述缺陷、反覆的幻覺(hallucinations,指人工智慧模型產生不真實或無關的內容)及系統性遺漏,引發研究人員高度擔憂。

記憶影響方面,閱讀精確摘要的參與者對關鍵場景細節的回憶準確度達 83.6%。然而,暴露於錯誤 AI 摘要的參與者,其回憶準確度卻驟降至 44.8%。這項數據明確指出,誤導性的 AI 資訊能系統性地改變目擊者對過去事件的回憶。

令人意外的是,研究還發現,即使參與者被告知摘要是透過 AI 產生,甚至無論他們對 AI 的熟悉度或信任程度如何,其記憶受污染的程度仍未有差異。這項發現挑戰了「讓人類參與(human-in-the-loop)」能有效防範 AI 錯誤的前提。研究主要作者 Mattea Sim 表示,AI 是傳遞錯誤資訊的新途徑,可能為讀者製造虛假記憶。

研究共同作者 Yael Eiger 憂心,執法部門可能在未經嚴謹測試與了解 AI 生成摘要錯誤程度的情況下,就已在使用影片摘要技術。這項發現深具意義,因執法人員或目擊者在撰寫證詞前若審閱到錯誤的 AI 事件摘要,可能會無意中將這些自動產生的錯誤內化為真實記憶。研究團隊計畫未來進一步探討商業摘要工具如何改變法律訴訟中的官方報告和證人證詞。