newapi 如何聚合多个模型为某个名字?

我的 newapi 是自用模式,在渠道中添加了很多第三方渠道,比如硅基流动/Openrouter/modelscope,以及论坛中各位佬贡献的渠道。

渠道太多了,并且模型也太多了,我现在想将某些名称的模型统一聚合成某一个名称,比如名叫 translate 的模型,然后此模型对应所有渠道 deepseek-v3+gpt-oss+gemini-2.0-flash (关键字匹配)的模型,根据权重来做负载平衡。

我知道可以针对某个渠道,添加模型重定向,但这样手动一个个维护太麻烦了。

我尝试在“模型管理(console/models)”页面添加模型来做这种匹配,好像是不 work,这个模型管理应该不是这么玩的吧,或者自用模式不 work。

所以官方会出这个功能吗?(虽然是开源的,但想问下是否有计划出?)

另外是否有其他的开源工具可以支持这种一对多的聚合+负载均衡?

我在用这个,可以满足你说的几个要求

1 个赞

uni-api?不过要自己写模型列表映射

刚也刷到这个佬的开源项目了,感觉自用的话,用这个佬的项目是最舒服的,newapi 还是有点重了,比较适合给 2api 小商家使用。

这个自己用就够了感觉,我直接用的windows安装版,资源占用很小

两个办法 ,一个是利用模型重定向,不同的模型你都重定向为同一个名称,那么调用这个名称就会实现不同模型的负载。
另一个办法就是使用 佬的 [Veloera/Veloera] (GitHub - Veloera/Veloera) 二开的,自带模型聚合。

1 个赞