[开源] AxonHub 1.0 ,我想做的 AI 开发平台

项目地址: GitHub - looplj/axonhub: ⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing. · GitHub

欢迎大家试用反馈,觉得有用的话,欢迎点个 :sparkles:

前文见: [开源] AI 网关 AxonHub 发布 v0.9.0 ,迈向 1.0 前的最后一步

其实还只是第一个 alpha,只是一个能跑的阶段,不过还是得拿出来和大家介绍下,让大家瞧瞧。

截止目前 AxonHub 主要的功能都是 AI 网关相关的,但是项目的 README 一直介绍的是 All in one development platform,在 L 站宣传的时候,也一直说要做 agent ,那么到底 AxonHub 和 agent 有啥关系呢。

这就给大家介绍一下 AxonHub 1.0 引入的新功能。

AxonHub

我个人对 Agent 的理解大致如下图

可以简单的理解为:提示词 + tools 输入给 Runtime,然后 Runtime 负责调度大模型调用,解析调用结果和工具执行,以及因为当前模型限制,会有一些针对上下文管理,记忆管理,skills 等优化策略。

可以看到主要分别两部分

  1. 不怎么变的部分:Runtime,调度 + 工具执行

  2. 变的部分:prompt + tools

所以 AxonHub 分别针对两个部分,给出解决方案

  1. axon:一个 agent 运行时框架,主要参考了 pi

  2. hub:引入 agent 配置管理,可以在 AxonHub 管理后台

    1. 管理 agent

      1. tools 和 prompt

      2. 当前只支持 axon 内建的几个 tools,未来可能会支持使用脚本编写 tools

axon 启动的时候,从 hub 拉取 prompt 和 tools 配置,然后运行,流程如下:

这个其实也是 AxonHub 的名字来源,axon 类似于一个神经网络中的边缘突触,然后被 hub 管理,一个 hub 可以管理很多很多的 axon。

然后我自己也基于 axon 做了两个应用,下面介绍。

AxonClaw

这个月 openclaw 太火了,所以也来蹭一个热点。

基于 axon 框架做了一个类似的应用,不过也不是完全复刻,得用到 hub 的能力,所以设计如下:

  1. 引入 agent host 概念, agent host 可以是 linux 或者 docker

  2. 新建一个 agent,并且这个 agent 可以发布任意多个实例到 host

    1. 当前这个 agent 的 runtime 就是 axonclaw

    2. 后续可以运行自定义 agent runtime

  3. 可以在 hub 通过 message 操作 agent

    1. 后续计划支持 IM 软件集成
  4. 这样就可以只配置一次 AxonHub,就可以运行无数个 claw 了,新建 claw,销毁 claw 是一件轻量级的事情

注意

  1. 现在只是一个极度不完善的版本,只是一个玩具,请使用空闲,没有敏感信息,不需要日常使用的机器上使用,推荐使用 docker

AxonCli

这是另外一个基于 axon 的应用,但是没用到 hub 能力,这是用来验证 axon 框架各种能力的一个 demo 项目,从结果来看感觉是不错的,用 taste-skill + glm-4.7 做了一个自己的介绍页面,还挺不错的。

现在没什么优化,没上下文管理,没有 sub agent 基本纯靠模型能力。

最后

这个 alpha 版本可能会持续挺长一段时间,所以现在会维护两个分支,一个是 v0.9.x 专注网关功能和 bug 修复。

v1.0.x 完善 agent 相关能力,现在肯定有很多 bug,使用过程中有问题,部署不上,不要急,提个 bug 和 issue 就好。

有更多想法的欢迎一起讨论 https://github.com/looplj/axonhub/issues/953 , 然后有部分同学可能只想使用网关能力,也欢迎一起讨论。

最后的最后,有能力的佬,有么有想法赞助或者投资一下的。

140 个赞

前排支持~ 太强了~

太强了佬

1 个赞

可以可以,一直在用佬的AxonHub。最近正准备自己fork下来,增加更详细历史年月的使用统计。

前排支持 一直在用

1 个赞

前排支持。想问下引入Agent runtime后内存占用有大变化嘛

感谢还继续维护 0.9.X 而不是在稳定前推大家上去 1.0 :smiling_face_with_three_hearts:

2 个赞

哇,真大佬。

支持大佬!

1 个赞

可以可以,也欢迎提 PR

1 个赞

感谢佬友支持

太强了,大佬!

对于 AxonHub 这个服务来说,agent runtime 其实只是新增一个表而已,用来管理配置数据,真实的 agent 是运行在各之外的虚拟机或者 docker 上。

所以不会影响 AxonHub 服务本身的内存占用,只是可执行文件或者镜像可能会稍微大一点。

因为真的,真的很好用,哈哈哈哈。 :laughing:

1 个赞

那必须的,哈哈哈哈。

噢噢又结合流程图看了下理解了 :grinning_face_with_smiling_eyes: 。期待正式版,现在先不动了

[!success]
大佬太强了!

1 个赞

原来0.9便秘了这么久居然憋了这么多东西出来 :bili_040:

token 疯狂燃烧

大佬,你这个是真牛逼
我想请问一下AnyRouter能接入AxonHub吗