Skip to main content

自訂 Provider

使用自訂 provider(BYOK - Bring Your Own Key)可以用自己的 API 金鑰連接至 OpenAI 相容的 API 端點。Ollama 等本機 provider 也支援。

ProviderConfig

ProviderConfig 類別具有下列屬性。

基本用法

使用自訂 provider 時,model 參數為必填
也可以陣列形式指定。

Ollama(本機 provider)

在 Ollama 等本機 provider 上,不需要 apiKey

Azure OpenAI

使用 Azure OpenAI 時,請注意以下事項。
  • type 必須指定為 azure(而非 openai
  • baseUrl 僅指定主機(不包含 /openai/v1 等路徑)

重要注意事項

使用自訂 provider 時 model 參數為必填。未指定會造成錯誤。
  • 使用 Azure 端點(*.openai.azure.com)時,務必使用 type: 'azure'
  • baseUrl 只需指定主機,路徑會由 SDK 自動組合

onListModels handler

在 BYOK 模式下使用自訂 provider 時,可設定 client->listModels() 改為呼叫自訂 handler,而非 CLI 伺服器。 透過 listModelsUsing() 方法進行設定。因 client 常會被初始化,請務必在呼叫 listModels() 前設定 listModelsUsing()
傳入 null 會解除 handler,恢復為 CLI 伺服器的預設行為。
若設定了 listModelsUsing()listModels() 就不需連接 CLI 伺服器,也不會使用快取。
最新資訊請參考 GitHub 儲存庫
最後修改於 2026年8月2日