github文档没有看到清晰说明。优先级0是最高还是最低。是否优先级决定渠道是否会被使用,相同优先级多个渠道基于权重轮询?那么0是最低权重吗?
3 个赞
优先级大的优先调用,同优先级,基于权重轮询
零是最低权重
3 个赞
感谢解答。默认都是双0。那我修改了任何一个渠道优先级则等于其他渠道都失效了,只调用这一个渠道。除非这个渠道自动失效,这个好像只有new-api有这个功能。如果我不动优先级,只需改部分渠道权重,可以实现多使用这些渠道的效果,整体还是轮询机制。我的理解对吗?
2 个赞
我自己测试下来这样的,只要还存在高优先级且没被禁用的渠道,就会调用该渠道
想要轮询的话还是同优先级设置权重
权重为零的设计挺令人费解的。按照一般含义0代表没有权重,等同于关闭。如果有渠道权重为1,有渠道权重为0,推测不出他的轮询算法怎么写。因为无法通过数学公式给0赋予合适的权重。
1 个赞
2 个赞
先优先级,同优先级按权重比例调用
3 个赞
这么说来还真是,不好意思我也没研究过
我记得在 One API 的设置页就看到过说明。数值越大权重越高。权重相同的话不知道是负载均衡还是直接按顺序调用,没看见说明,也没这需求。反正高权重的不能用了会自动下调到低权重的渠道。
那我修改了任何一个渠道优先级则等于其他渠道都失效了,只调用这一个渠道。
至于你说的这个???如果你 2 个渠道都有 GPT-4o 的话会优先调用权重高的渠道,如果你 2 个渠道的模型不重复的话,你设置 999 权重也对另一个渠道没影响。
1 个赞
oneapi 只有优先级,0 是最低,设置自动重试的情况下,高优先级响应失败会在剩下的渠道里随机选择渠道进行响应(此时无视优先级)
newapi 增加了权重,有个隐形权重因子 10,正常情况下在最高优先级的渠道里按照权重进行随机分配(权重越大,被选中的概率越大)
10 个赞