[开源]分享一个薅大模型羊毛的办法

很多云厂商都有注册赠送大模型额度的优惠,但是优惠相对分散,今天分享一个将这些免费的额度统一接入管理起来,并实现跨平台额度自动调用的办法。

场景描述

1)一个 AI 供应商多个账号集成调用

比如你们公司在某平台上注册了多个账号,获得多次 AI Token 的赠送,需要把这些 APIKey 全部集中调用。

2)多个 AI 供应商同一 AI 大模型集成调用**

比如你在 A 平台注册账号获赠 Deepseek 100万 Tokens ,在 B 平台注册账号获得 50万 Tokens 赠送额度;需要把所有平台上关于 Deepseek 的赠送额度都集中调用。

3)多个 AI 供应商不同 AI 大 模型集成调用**

比如你在 A 平台注册获赠 Deepseek 调用额度,在 B 平台注册获增 Doubao 调用额度,需要把这些不同的大模型集中调用。

以上三种场景均可用 开源AI 网关 APIPark 的功能解决。

APIKey 资源池概念

APIPark 的 APIKey 资源池功能是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。

在资源池中,你可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。

当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。还可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。

操作步骤

申请免费 Token

注册并开通各大云服务商/ AI 服务商账号,完成企业认证等必要步骤,领取 Token 额度。

部署 APIPark

一行命令5分钟即可快速部署 APIPark ,具体参照 APIPark 官方部署流程文档。

:pushpin:点击跳转: Github 仓 | 官方文档

接入 AI 供应商

打开 APIPark 界面前往「系统设置」 - 「AI 模型」,点击右侧「添加供应商」;您需要接入多少个 AI 供应商则需要在 APIPark 上创建多少个对应的 AI 供应商。

可以在模型供应商列表处添加系统内置的模型,点击添加该供应商的「默认模型」,选择要使用的模型,和填入默认 APIKey 保存即可。

配置 APIKey 资源池

在 「系统设置」 - 「API Key 负载」界面可见你创建的所有 AI 供应商。

下方栏处则是刚才创建 AI 供应商时默认的 APIKey, 如需给一个 AI 供应商创建多个 APIKey 点击右侧「添加 APIKey」配置新增即可。

创建 AI 服务

在「工作空间」 - 「服务」界面新建 AI 服务,配置 AI 供应商和模型等基本信息保存后,可在界面看到您创建完成的「AI 服务」。

打开该「AI 服务」选择左侧「发布」并配置完成「新建版本」的基本信息即可发布。

可以在「API 门户」处可见成功上架的 API, 即可调用使用。系统会依据您在「API Key 负载」里的 APIKey 顺序来依次调用。

该实践应用主要解决 “同一个 AI 供应商多个账号集成调用” 的场景。

接下来讲讲如何解决 “多个 AI 供应商同一 AI 大模型集成调用” 以及 “多个 AI 供应商不同 AI 大模型集成调用” 的场景。

模型灾备

前面的接入的步骤与上面一样,需要先接入 AI 供应商、创建和发布 AI 服务;然后接下来的步骤要用到 APIPark 的「模型灾备」功能。

在「系统设置」-「模型灾备」界面添加新的模型,配置完成后即可在列表处拖拉调整模型调用顺序。

该功能是系统级的 AI 模型调用顺序。APIPark 会自动识别模型灾备内列表上的大模型健康情况,待第一个大模型消耗完(或模型故障),则会依次自动切换到序列内的模型。

APIPark「模型灾备」实现了多个 AI 供应商同一种 AI 模型 以及 多个 AI 供应商不同 AI 模型的集成调用场景。

如果觉得能帮助到你,请给项目一个Star,任何建议和交流欢迎提Issue.

项目地址GitHub - APIParkLab/APIPark: Cloud native, ultra-high performance AI&API gateway, LLM API management, distribution system, open platform, supporting all AI APIs.🦄云原生、超高性能 AI&API网关,LLM API 管理、分发系统、开放平台,支持所有AI API,不限于OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型,统一 API 请求和返回,API申请与审批,调用统计、负载均衡、多模型灾备。一键部署,开箱即用。

32 个赞

感谢佬友分享 :folded_hands:

所以这个和New-api这些有什么区别优势吗?

new-api实现这个功能了吗?

啊?new-api肯定有这些功能啊?这不就多个渠道,每一个渠道多个key吗?

按我理解,应该是,类似于,同一模型名称可以调用不同渠道的key功能吧,因为确实,没理解完全,所以问一下,没有恶意哈 :melting_face: :heart:

哦哦哦 我以为是同个供应商的多key合成1个可以呢

没没没,客气了佬儿,我也是单纯的问 :innocent:

可以的呀,比如有10个渠道提供gpt-4o,每一个渠道100个key。是可以都加进去,然后最后暴露出一个新的url和key。最后请求的时候也会自动retry的。现在挺多new-api二开都有这个功能。也可以用优先级啥的调整,请求的比例。举个例子,图里就是某个渠道fail了,自动尝试了其他的渠道:

1 个赞

定位不一样,APIPark是整合所有api的开发者门户和AI 网关。
首先无论是否用AI能力,开发者都会遇到内部各种接口需要统一令牌和提供更加容易管理的授权机制的问题。
另外对于接入AI,APIPark不仅仅解决了one和new, uni这些把所有AI模型调用统合成一个API的场景,APIPark还支持把各种已有的API提供给不同的Agent调用的场景,也就是APIPark是双向的

按模型来的吧,一个模型可以来自多个渠道,多个渠道也可以是多个厂商的

感谢大佬教程

这个服务器配置需要多少 :smiling_face_with_tear:

OpenRouter开源版?

想问一下

的区别是?我没太明白意思,感觉这两个说法好像是一样的?

假设下面这种情况:
渠道A 有账号sk-a, sk-b, 提供模型①,②.
渠道B 有账号sk-c, sk-d, 提供模型②.
然后这个项目提供的能力是

  1. 统一的接口和密钥访问模型①,②.
  2. 对于模型①, 按key的顺序对sk-ask-b轮询实现负载均衡.
  3. 对于模型②, 可以按编排的顺序以Fallback的形式(比如先消耗A渠道, 后B渠道,渠道内按照key的顺序负载均衡)提供灾备(高可靠性)。

是这个意思不?

那好像*-api也能实现上述功能?只不过需要设置好优先级。不知道理解的对不对。

大佬好厉害~!

反正我玩不了。。。

是的,APIPark能实现以上的能力,而xxapi也能做到。区别是APIPark不仅仅做这样的统一AI接入的接口,可以把这种统一接口理解为企业内部的其中一种接口能力,然后要做的是管理所有的接口能力的对外开放授权和调用统计,以及对于企业已有业务接口可以被AI agent调用。

只是推荐企业级的硬件配置而已,用最低配置也能跑几千并发

感觉是很有帮助的项目,感谢佬友

1 个赞