-
Notifications
You must be signed in to change notification settings - Fork 59.9k
如何使用v2.13.0的自定义模型功能(how to use 2.13.0 multi models) #5001
Copy link
Copy link
Open
Labels
documentationImprovements or additions to documentationImprovements or additions to documentation
Description
- 在v2.13.0版本扩展了CUSTOM_MODELS支持的语法
支持通过
@指定provider,支持通过=指定deploy_name
- 解决Azure和OpenAI的模型不能共存的问题
+gpt-3.5-turbo@openai,+gpt-3.5-turbo@azure=gpt-3.5
以上配置会分别展示两个模型gpt-3.5-turbo(OpenAI)以及gpt-3.5(Azure)
并且使用Azure部署的gpt-3.5-turbo模型会把请求发送到deploy_name=gpt-3.5这个部署的服务上面
- 新增使用字节跳动提供的豆包模型的时候定义deploy_id
+Doubao-lite-4k@bytedance=ep-2024xxxx-xxx
以上配置会新增一个Doubao-lite-4k(ByteDance)的模型,当选择这个模型的时候,会将请求发送到ep-2024xxxx-xxx这个deploy-id服务上面
- 支持自定义厂商发布的不在内置模型列表中的新模型
假如openai发布了gpt-4.5,但是nextchat未及时发布新版
可以配置+gpt-4.5@OpenAI,模型列表会新增gpt-4.5(OpenAI)选项,并且按openai的消息格式发送请求
- 考虑到一些厂商做中转的时候会将多家厂商的模型都按OpenAI的格式做转发,也可以通过
CUSTOM_MODELS配置使用:
例如,厂商同时中转了
gpt-3.5-turbo和claude-2.1,都走兼容openai的格式
配置+gpt-3.5-turbo@OpenAI,+claude-2.1@OpenAI(这里使用OpenAI而不是openai代表不是内置的服务商列表,只是符合OpenAI的消息格式)
会新增gpt-3.5-turbo(OpenAI)和claude-2.1(OpenAI)两个模型选项。请求都会发送到/api/openai/*
这个时候可以在.env通过配置BASE_URL+OPENAI_API_KEY的模式,或者签到配置自定义接口走这家中转供应商的服务
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
documentationImprovements or additions to documentationImprovements or additions to documentation