商傳媒｜何映辰／台北報導
在人工智慧（AI）應用日益普及的當下，企業如何有效管理AI成本已成為一大關鍵。一份最新分析揭示，發展小型且專業化的AI模型，是降低「高流量AI」應用成本的致勝策略。高流量AI，簡而言之，是指那些需要處理大量查詢或任務的AI系統；而模型大小與成本的關聯性，則在於模型規模越大，通常所需的運算資源與成本也越高。特別是AI模型計價常以「Token」（代幣，指AI處理語言的最小單位，如字詞或符號）數量為基礎，小型模型能顯著減少Token的使用量。高德納諮詢公司（Gartner）預測，至2027年，企業採用小型、任務專用模型的頻率將是一般大型語言模型（LLMs）的三倍。
Lightning AI的機器學習實踐研究員喬恩·克羅恩（Dr. Jon Krohn）指出，AI代理（AI agents）比聊天機器人更自主，能規劃任務、呼叫工具、檢查工作並循環執行直到完成，導致Token用量呈現爆炸式增長。然而，針對特定企業任務訓練的小型專業化模型，其Token成本更低，且由於模型已掌握相關知識，處理所需Token數量也更少，效率和精確度都超越通用型模型。這種精確性還能減少人工檢查需求，進一步節省成本。此外，小型模型能讓輝達（Nvidia）圖形處理器（GPU）保持更忙碌的狀態，減少閒置浪費。
為了支援這股趨勢，戴爾（Dell）與輝達正透過「Dell AI Factory with Nvidia」平台，提供整合式的AI解決方案。該平台由「Deskside AI」、「AI資料平台」和「AI工廠基礎」三大組成部分。其中，Deskside AI 能在企業本地硬體上運行生產級代理，有效「停止Token計價器」；AI資料平台則整合分散的企業數據供代理使用；AI工廠基礎提供經過驗證的架構和部署測試。Lightning AI更進一步，透過旗下資料中心提供彈性運算能力，並利用戴爾Dell AI Factory with Nvidia組合中的液冷式PowerEdge XE9780L和XE9785L伺服器（搭載Nvidia HGX B300晶片），以及最新的NVIDIA GB300 NVL72機架式系統。Lightning AI副總裁Frank Basso表示，這些整合方案能讓企業將自行訓練AI模型的經濟效益從理論變為實際。
企業若要成功導入這類高效AI策略，應從評估需改進的工作流程做起，並定義衡量標準。模型訓練應視為一個循環過程，記錄錯誤並回饋至下一版本。同時，擁有自己的基礎設施也是成功的關鍵。透過結合小型、任務專用模型與能簡化部署、提升運算資源生產力的整合式基礎設施，高流量AI推論（inference）的成本將可實現顯著節省。
