分享自己开源的一个肝了一段时间的 AI 网关项目

项目地址:

感兴趣的可以看看,觉得有用的话,欢迎点个:sparkles:

详细介绍一下核心能力:

  1. OpenAI/Anthropic 请求格式互转,业务开发只要接一种格式,就可以对接各种不同的模型,减少开发成本
  2. 完善的控制面板,渠道管理,项目管理,权限控制,用户管理,API Key 管理等
  3. 低侵入 LLM API Trace ,支持不需要 SDK 就可以 trace 一次对话的多个 request,以及保存 Request 和 Response 内容,方便排查问题

本项目和 new-api 等项目的不同,本项目目标用户是 AI 产品开发者,不是中转服务商,所以会有更多开发监控相关能力,比如 Trace。

并且本项目核心代码都有单测覆盖,并且技术选型比较新颖

  • 后端:Go + ent + gqlgen
  • 前端:React + TypeScript + Shadcn + Graphql

本项目已经迭代了好几个版本了,今天正式发布 v0.4.0,主要添加功能
1.trace/threads 可以 trace 并且查看同一个任务的多个请求

  1. claude-code 优化支持,只要配置一次 claude-code ,然后可以在服务端随时切换模型,快速切换 DeepSeek, glm-4.5, kimi-k2 等;并且可以开启 claude code trace 支持,了解自己本次任务到底用了多少 token 等。

未来规划:

  1. Prompt Evaluation ,修改了 prompt 可以批量自动化回归是否有问题
  2. Agent 开发支持等

更多信息大家可以看看项目 README ,有什么其他问题的欢迎提问或者创建 issue 。

95 个赞

佬友太强了 :+1:

我想要知道对于openai转成anthropic的工具调用功能是否正常,我也写过类似的,但是遇到这个问题就做不下去了

这个可以openai转cc?直接用站内公益api就可以cc了吧

用 claude code 强力测试过,应该没啥问题;除了 image 输入,测的不多。

:laughing: UI挺好看的 部署试试

2 个赞

定位不一样哈,OpenAI 转 CC 只是本项目的一部分能力而已,除此之外本项目主要是想给 AI 相关开发者提供开发 trace 能力。

cc映射怎么配置的,这样?

github上的动态svg用什么做的,看着不错

1.配置反了,将 claude → longcat
2.让 AI 生成 svg 即可,只是 github 只支持部分语法,具体可以参考:Animate SVGs for GitHub READMEs

1 个赞

感谢支持,有什么部署问题,随时可以问我。
理论上本地部署直接启动就可以,服务器部署,应该配置一个数据库就好,主要是日志可能需要注意下。
然后就是默认会保存 request body/response body ,最好初始化系统以后,找个地方保存这些,这些体积太大了,容易撑爆数据库。

1 个赞

好棒 之前也有做过 trace/debug
最近也在做 网关,可以学习借鉴一波了
感谢楼主分享

1 个赞

感谢大佬

1 个赞

:laughing: 没事本地部署就我自己用

就是,佬,能不能打包个docker镜像,上传到dockerhub :tieba_087:


可以,等会我来上传试试,本地有条件也可以先自己 build。
本来计划是到 1.0 以后再上传镜像到 docker hub。

1 个赞

:blush: 辛苦佬了

好了好了,发上去了,下午太忙了,晚上才有时间搞。
https://hub.docker.com/r/looplj/axonhub,有哪些环境变量可以参考:

axonhub/config.example.yml at unstable · looplj/axonhub · GitHub

3 个赞

太强了佬,已star, UI 界面真不戳 :+1:

1 个赞

感谢支持,其实也是 AI 搞的,让 AI 慢慢调。

已star 有个问题想问一下,比如A B渠道都有模型qwen3-max, 能否在渠道那配置统一前缀,A-或A/,这样在使用的时候可以知道模型来自哪个渠道。(A-qwen3-max B-qwen3-max),目前只有veloera有这样的功能

佬会有gemini支持吗?