Skip to content

如何使用v2.13.0的自定义模型功能(how to use 2.13.0 multi models) #5001

@lloydzhou

Description

@lloydzhou
  1. 在v2.13.0版本扩展了CUSTOM_MODELS支持的语法

支持通过@指定provider,支持通过=指定deploy_name

  1. 解决Azure和OpenAI的模型不能共存的问题

+gpt-3.5-turbo@openai,+gpt-3.5-turbo@azure=gpt-3.5
以上配置会分别展示两个模型gpt-3.5-turbo(OpenAI)以及gpt-3.5(Azure)
并且使用Azure部署的gpt-3.5-turbo模型会把请求发送到deploy_name=gpt-3.5这个部署的服务上面

  1. 新增使用字节跳动提供的豆包模型的时候定义deploy_id

+Doubao-lite-4k@bytedance=ep-2024xxxx-xxx
以上配置会新增一个Doubao-lite-4k(ByteDance)的模型,当选择这个模型的时候,会将请求发送到ep-2024xxxx-xxx这个deploy-id服务上面

  1. 支持自定义厂商发布的不在内置模型列表中的新模型

假如openai发布了gpt-4.5,但是nextchat未及时发布新版
可以配置+gpt-4.5@OpenAI,模型列表会新增gpt-4.5(OpenAI)选项,并且按openai的消息格式发送请求

  1. 考虑到一些厂商做中转的时候会将多家厂商的模型都按OpenAI的格式做转发,也可以通过CUSTOM_MODELS配置使用:

例如,厂商同时中转了gpt-3.5-turboclaude-2.1,都走兼容openai的格式
配置+gpt-3.5-turbo@OpenAI,+claude-2.1@OpenAI(这里使用OpenAI而不是openai代表不是内置的服务商列表,只是符合OpenAI的消息格式)
会新增gpt-3.5-turbo(OpenAI)claude-2.1(OpenAI)两个模型选项。请求都会发送到/api/openai/*
这个时候可以在.env通过配置BASE_URL+OPENAI_API_KEY的模式,或者签到配置自定义接口走这家中转供应商的服务

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions