商傳媒｜林昭衡／綜合外電報導
開源 Python 程式庫 LiteLLM 已全面整合至甲骨文雲（OCI）生成式 AI 平台，其 AI Gateway（人工智慧閘道）現在能夠透過訓練過的分類器，智慧地將用戶請求導向最適合的 OCI Generative AI 模型。這項技術更新旨在為甲骨文雲生成式 AI 的客戶最佳化成本與效能，讓開發者能根據每次請求的具體需求，選擇最理想的模型。
LiteLLM 的 AI Gateway 為涵蓋 OpenAI、Google、Meta、xAI 和 Cohere 等多家廠商的二十種 OCI Generative AI 模型，提供單一的 OpenAI 相容應用程式介面（API）端點。此系統內建一個輕量級分類器，透過分析評分後的答案進行訓練，以判斷每項請求最合適的模型群組。根據《Blogs.oracle.com》報導，該路由器模型大小僅 220 KB，僅用 0.18 秒完成訓練，平均在 79 毫秒內即可完成分類，確保高效運作。
甲骨文雲目前提供 OpenAI 的 GPT-5.3-codex 模型，透過其 OpenAI 相容回應 API。透過 LiteLLM 的客製化供應商橋接，可無縫支援工具呼叫功能。這意味任何 OpenAI 用戶端，包含 OpenAI Codex，都能將 LiteLLM 設定為模型供應商，從而實現路由請求。LiteLLM 的治理功能則包含附帶預算和速率限制的虛擬金鑰、透過標籤區分的優先通道、故障轉移機制、重試、基於延遲的負載平衡、語境視窗檢查以及依金鑰追蹤花費等。
為協助開發者導入，甲骨文已在 GitHub 上提供名為「oci-litellm-routing」的公開參考實作，只需五個腳本即可部署到甲骨文雲環境中。此實作涵蓋八種路由，對應二十個 OCI Generative AI 模型，並依據模型能力區分為快速、平衡、強大、推理、程式碼、視覺、長語境及多語言等類別。訓練後的路由器是一個分類器，能預測各路由產生優良答案的可能性，並選擇達到品質閾值且成本最低的路由。
此新功能對於台灣地區的 AI 開發者而言極具價值，有助於更有效率且經濟地管理大型語言模型（LLM）應用。藉由 LiteLLM 的智能路由，開發者能更精準控制不同 AI 任務的資源消耗，尤其在多樣化模型選擇與預算受限的專案中，其成本與效能最佳化能力將帶來實質助益。
