谁能给科普下论坛里经常提到的AI API相关项目?

经常看到什么new api、gpt load、gemini balance等等,佬友们能不能给科普一下,论坛里AI api相关项目还有哪些,这些项目具体干啥用的,有啥区别,如何选择

7 个赞

蹲一手,我也一知半解,都是跟着一些帖子配置了cherry studio、CC、clove这些

3 个赞

就个人而言只从cdk里面挑了一个能够格领取资格公益站的,没得选,不过还没正式开始用 :rofl:

2 个赞

前两个可以理解为api聚合,第三个就是谷歌key的轮询

来学习一下

2 个赞

:thinking:但凡找到项目地址,项目介绍里面不都已经介绍了吗?

3 个赞

不一定全对,详细还是看github

项目名称 主要功能 支持的AI服务提供商 核心特点 适用场景与定位
new-api AI模型接口管理与分发系统,支持将多种大模型统一格式化后调用,并提供个人或企业内部的渠道管理、负载均衡与权限控制。基于One API二次开发。 OpenAI、Anthropic Claude、Google Gemini 等主流模型 - 多模型统一调用接口,方便多种模型集成与管理
- 支持模型映射与请求体重构
- 完善的用户、渠道、令牌、兑换码管理
- 支持多机部署和负载均衡
- 支持流式响应和失败自动重试
- 丰富自定义配置(如用户分组、倍率设置、环境变量)
适合个人及企业内部搭建统一模型管理与调用平台,实现多大模型的集中管理和跨模型分发
GPT Load 企业级AI接口代理服务,支持多种AI服务提供商,重点在智能密钥管理、请求负载均衡、高并发处理和系统监控。 OpenAI、Google Gemini、Anthropic Claude等 - 基于Go语言1.23+开发,性能优异
- 智能API密钥管理,自动切换及过期处理
- 负载均衡分发策略
- 支持并发请求控制
- 丰富监控与日志系统
- 支持多渠道接入与管理
- 专为企业级大规模调用场景设计
面向企业级用户,适合需要代理并优化多渠道AI API调用的场景,重点提高稳定性与吞吐量
gemini-balance 针对谷歌最新Gemini模型的轮询代理服务,核心是实现请求的轮询分发,达到负载均衡效果。 主要是Google Gemini模型 - 简洁轻量,专注于轮询算法负载均衡
- 针对Gemini API请求做中转和负载分配
- 实现多节点请求轮询,避免单点压力
适合单一模型(Google Gemini)请求的简单负载均衡代理,功能专一,适合对Gemini访问进行均衡分发
15 个赞

new-api和gpt-load结合起来使用吗,还是单独使用某一个

newapi:整合所有三方api,并且以openai的api格式进行转发,你可以使用此项目来部署一个聚合了多个渠道的ai api
gemini-balance:用多个gemini key进行轮询

gpt-load支持gemini轮询吗?
new-api和gpt-load是二选一的关系,还是结合使用

1支持的,但是不转换格式,混用会连接失败
2我也曾计划组合起来

看来思路正确

我是结合起来,gpt-load用于多key轮询,new-api用于多渠道管理
(newapi alpha分支也支持多key轮询了,唐佬天塌了 :rofl:

  • New API,非常好用,多渠道类型管理,用户管理,额度计费这些非常完善。
  • GPT-Load,作为作者就不吹了,哈哈。专注于多渠道类型的轮询和Key池管理。但是没有用户管理和计费。
  • Gemini Balance,针对Gemini做了很深度的功能,key轮询,还有假流式,转openai格式等。

总结:New API适合用来管理用户计费和多渠道,如果有多用户使用需求。
GPT-Load适合多个渠道类型的Key池轮询。Gemini Balance适合Gemini渠道类型。

这几个也可以结合使用。比如我的公益站就是New API → GPT-Load结合。用GPT-Load来进行几个渠道的Key池轮询,然后上面用New API来管理用户额度。


话说,这三个项目我都是贡献者。 :zany_face:

23 个赞

佬友强啊,整理这么详细。

2 个赞

哈哈,昨天在new-api群里知道的。不过也还好,多产品发展。

1 个赞

最近两天看论坛打野gemini的挺多,可以用gpt-load轮询key吗?

完全可以啊。很多人已经在用了。

balance专门用于gemini轮询,功能更强点

用balance的话,架构上怎么组合,balance → new-api 聚合?还是只能独立使用

newapi 转 balance,你只用 gemini 可以不要 newapi