自訂 Provider
使用自訂 provider(BYOK - Bring Your Own Key)可以用自己的 API 金鑰連接至 OpenAI 相容的 API 端點。Ollama 等本機 provider 也支援。ProviderConfig
ProviderConfig 類別具有下列屬性。
基本用法
使用自訂 provider 時,model 參數為必填。
Ollama(本機 provider)
在 Ollama 等本機 provider 上,不需要apiKey。
Azure OpenAI
使用 Azure OpenAI 時,請注意以下事項。type必須指定為azure(而非openai)baseUrl僅指定主機(不包含/openai/v1等路徑)
重要注意事項
- 使用 Azure 端點(
*.openai.azure.com)時,務必使用type: 'azure' baseUrl只需指定主機,路徑會由 SDK 自動組合
onListModels handler
在 BYOK 模式下使用自訂 provider 時,可設定client->listModels() 改為呼叫自訂 handler,而非 CLI 伺服器。
透過 listModelsUsing() 方法進行設定。因 client 常會被初始化,請務必在呼叫 listModels() 前設定 listModelsUsing()。
null 會解除 handler,恢復為 CLI 伺服器的預設行為。
listModelsUsing(),listModels() 就不需連接 CLI 伺服器,也不會使用快取。
最新資訊請參考 GitHub 儲存庫。