ai的api,如何负载均衡?

我手上有好几个key,想要通过负载均衡来避免受到速率限制

new-api,设置优先级和权重都是0,结果一直在使用第一个渠道,很快遇到速率限制
uni-api没可视化界面,看使用情况不方便
n8n也试了下,添加删除渠道很麻烦

各位佬友有什么好方案吗

4 个赞

刚好我也想了解下

可以发我,我来帮你负载均衡 :tieba_025:

3 个赞

new-api 是不是开 redis 缓存了?正常情况应该不会一直在使用某个渠道吧

没有设置redis欸,但是就是一直使用一个渠道

#快问快答添加

我的很正常

1 个赞

我优先级都设置了值,权重没设置

我设置下优先级试试

真的是… 把优先级全部设置成1就正常了

1 个赞

佬,想请教一下,我现在有两个渠道,一个是从始皇oaipro那买的api,另一个是白嫖的GitHub models api。因为我想先用GitHub的4o,所以把GitHub的渠道设置为了1。
但是现在遇到一个问题就是GitHub models的4o因为平时用的最多,很容易就被限额了,这时候我想要的是,当GitHub的4o不能用时,自动将4o的调用转为oaipro的渠道。但是GitHub渠道里比如4o-mini还能调用,所以GitHub渠道不会自动禁用(因为好像是该渠道的所有模型都不行了,才会自动禁用),也就没法自动转为调用oaipro。
请问这个该咋解决啊?是不是不能将GitHub的优先级设为最高。

GitHub models api设置两个渠道啊

一个模型写4o,一个模型写4o-mini,这两个渠道的优先级都设置为1