訊息平台

AI熱潮卡在銅線傳輸瓶頸 光子技術成新解方

圖/本報資料庫

商傳媒|責任編輯/綜合外電報導

隨著人工智慧(AI)基礎設施在矽谷(Silicon Valley)快速發展,大型AI運算所需的資料傳輸面臨嚴峻挑戰。傳統銅線因散熱、傳輸距離限制及功耗問題,已成為AI晶片間高速資料傳輸的瓶頸,促使投資者、晶片製造商和雲端巨頭轉向尋找替代方案。

光子技術(Photonics)利用光訊號取代傳統的電訊號來傳輸資料,正受到高度關注。這項技術透過光纖傳遞資訊,能讓資料傳輸得更遠、更快,且能耗更低。新創公司 Lightmatter 的執行長 Nick Harris 指出,光學技術有望成為AI時代不可或缺的基礎設施。

目前AI系統仰賴繪圖處理器(GPU)之間的銅線連接。然而,當需要連接數百甚至數千個 GPU 來訓練尖端AI模型(例如大型語言模型 Claude)時,銅線的訊號會隨著距離衰減,約一公尺後資料便可能流失,同時也產生大量熱能。這種物理限制導致AI資料中心必須將 GPU 伺服器緊密堆疊以縮短銅線長度,卻也讓散熱變得異常困難。

根據 Lightmatter 的展示,若將原本需要四個獨立機架的 500 個 GPU 透過光學連接,所有 GPU 都能直接互連,不僅能顯著縮短AI模型訓練時間,甚至可將訓練速度提升三倍。Nick Harris 表示,運用光子技術,公司能在相同功耗下獲得三倍效能,或是以三分之一的時間完成相同運算。

光子技術還帶來資料中心設計的靈活性。由於光訊號能長距離高速傳輸而不會衰減,GPU 伺服器與機架便能彈性配置,為資料中心帶來更好的散熱條件。Lightmatter 為了進一步最佳化,正開發 BiDi(雙向通訊)技術,旨在將次世代AI叢集約 300 英里長的纜線需求,透過單一纜線整合收發方向,減少一半至 150 英里,大幅簡化大規模AI叢集的建置。

儘管光子技術過去因成本高昂而未能普及,但隨著製造技術的精進與AI基礎設施需求的爆發式成長,其高價門檻已不再是問題。投資機構如富達(Fidelity)和普信集團(T. Rowe Price)都已對 Lightmatter 投入資金,使該公司迄今已募得 8.5 億美元。Nick Harris 認為,現在企業採用光子技術不僅是出於必要,更為了在競爭激烈的AI領域中取得效能優勢。Lightmatter 也已加入輝達(Nvidia)的 NVLink Fusion 生態系,以提升其硬體與輝達AI平台的相容性。