商傳媒|康語柔/綜合外電報導
行動裝置在不依賴網際網路連線的情況下,也能流暢運行大型語言模型(LLM),這項技術突破正逐步實現。科技媒體《XDA Developers》近期報導指出,有使用者成功地在智慧型手機上離線運行了完整的LLM,其實用程度遠超預期。
過去,在個人裝置上運行大型語言模型一直面臨挑戰。以 MacBok Air 為例,即使配備 8GB 記憶體,也難以順利執行本地端 LLM。其主要障礙在於,本地端模型需要將包含所有訓練權重與參數的完整模型,載入到裝置的記憶體中。
然而,Google 推出的 Gemma 4 系列模型,特別是其中的 E2B 和 E4B 版本,已針對輕量化與高效能進行優化。這些模型旨在以更少的參數提供更精準的輸出,大幅降低了對硬體的要求,使其能夠在智慧型手機或筆記型電腦等裝置上順暢運行。根據報導,Gemma-4-E2B-it 模型的安裝檔案約為 2.5GB,而 Gemma-4-E4B-it 則為 3.61GB。
報導提及,該名使用者已在 iPhone 15 Pro Max 上成功運行 Gemma-4-E2B-it 模型,並對其表現印象深刻。本地端大型語言模型的優勢顯而易見:使用者不需支付任何費用,所有操作都在裝置上進行,確保了個人資料的隱私與安全。
實務應用方面,這款模型對於日常輕量級任務表現出色,例如快速清理文字、起草電子郵件、解釋概念等。對於學生而言,它更是一個強大的學習工具,能夠協助理解複雜概念、進行自我測驗,甚至提供逐步解題的教學。儘管 Gemma 4 目前尚無法完全取代 ChatGPT、Claude 或 Gemini 等雲端大型語言模型處理所有任務,但其在離線環境下所展現的實用性,無疑為行動裝置 AI 應用開闢了新的發展方向。







