自定义提供商
使用自定义提供商(BYOK - Bring Your Own Key)后,你可以用自己的 API key 连接到 OpenAI 兼容的 API 端点。也支持 Ollama 等本地提供商。ProviderConfig
ProviderConfig 类具有以下属性。
基本使用方式
使用自定义提供商时,model 参数是 必需的。
Ollama(本地提供商)
Ollama 等本地提供商不需要apiKey。
Azure OpenAI
使用 Azure OpenAI 时,请注意以下几点。type必须指定为azure(而不是openai)baseUrl只指定 host(不包含/openai/v1等路径)
重要注意事项
- 在 Azure 端点(
*.openai.azure.com)上,请务必使用type: 'azure' baseUrl只指定 host,路径的构建由 SDK 自动完成
onListModels 处理器
在 BYOK 模式下使用自定义提供商时,可以配置让client->listModels() 调用自定义处理器而不是 CLI 服务器。
使用 listModelsUsing() 方法进行配置。由于 client 容易被初始化,因此请始终在 listModels() 之前设置 listModelsUsing()。
null 可以解除处理器,回到默认的 CLI 服务器行为。
listModelsUsing() 时,listModels() 不需要连接 CLI 服务器,也不使用缓存。
最新信息请参考 GitHub 仓库。