或许将是200亿令牌转发的GLM公益站的后续与终焉

从这两篇帖子继续

https://linux.do/t/topic/878977


我是这两个公益站的开发者和中间件的维护者,莫名其妙就想写点东西hhh


前情既要

从第一次创建仓库


8月3日10点提交代码到现在已经过去半个月了

期间呢分发GLMKey的Claude Code端点保证了至少95%+的服务在线率和服务成功转发率
而我的仓库也经历了上百次的Commit,一个个的修代码,调试,部署,继续接收反馈
而Star也从0->到了目前的84​:sparkles:


转发的令牌我并没有确切的值,只能从GLM后台一个Key资源的资源包用量大概估计Tokens值,但是预估应该是有上个 200亿 令牌了


我获得了什么呢

这对我而且确实是技术上的一次大跃进,在开启这个项目之前,马上升大二的我不懂异步,不懂后端,也不懂Docker,更难以理解端口、域名、DNS,更别提Traefik了

启动这个项目,一是想从XCPC训练或者调模型、练数据的单调生活中找点乐子哈哈哈,再就是手里买了GLM Key不用怪难受的


那么中间经历了什么呢?

我想构建的是一个高质量的公益站,何为高质量,那就是稳定
经常嫖公益的最大问题就是不稳定,所以在上游允许的情况下,我的公益项目就是要追求稳定
我没有那么多时间维护大满贯,那我就专精与Claude Code维护
稳定可靠就是最大的追求

开始

开始呀,我就开始尝试写一个透明转发代理

为什么透明呢?

因为透明意味着数据不经处理,理论上能达到原Key调用的效果,而且实现起来总应该比各种复杂的东西合在一起对于什么都不懂的新手好

为什么Python呢

简单就是王道,炼模型也是Python自然熟悉


维护二三事

  • 你什么都不知道怎么开发的,如何保持稳定的?
    保障代码质量最为直观的效果就是用户直接用,所以我就是我自己的第一个使用者
    我的第一版代码AI率高达惊人的90%+,显然这份代码让我快速入门开发,然后修bug中逐渐重构学习了很多东西
    基本上奠定了我后续开发的大体框架

  • 滥用怎么办
    我想提供的是一个Claude Code公益,专注于一处,我不想搞公益站分发,因为那样还要抽奖,抽奖后是死鱼又不用那不就浪费了吗有的佬友没看见不就错过了吗,所以我提供的直接是端点和Key,主打方便并且减少调用限制
    那滥用你不就炸了吗,没错,GLM绑实名,炸是很危险的,所幸ClaudeCode的端点本身就有很多奇怪的限制,本身就挡住了不少使用聊天软件的人,其次限流代码,最最最后的保障是人工+AI驱动的日志审查

对抗滥用是永恒不断的话题,公益开一天,滥用必须要处理

  • AI代码Bug频发你不就崩了吗
    没错,前几日的维护我基本每天3-4点睡觉,还要感谢佬友不断的测试,提出bug,而我也在尽量保持高频维护,重构许多AI代码,确保大家的使用体验


    再这样下去真会猝死的,已经熬不动了,在调整作息了

  • 稳定从何而来
    首先是来源稳定:我们负载GLM万亿官Key
    其次代码稳定
    私以为代码要可靠,要经过充分测试,所以每次更新主端点都会现在test.alencrenfo.work测试后没多大问题才会发布,并且采用Dokploy的回滚机制零中断部署,一旦出现问题立马回滚到上一版
    完善日志也是解决问题和打击滥用的绝佳方式,由于日志大,多,快(高峰每分钟大概会有60-70人请求,注意不是次数,是人数),原始的Docker日志无法满足要求,这迫使我调研常见日志解决方案,调研了Axiom,阿里云,Loki生态,signoz…等等一大堆,最终选择了Vector+Axiom日志方案,目前免费额度够用,加入Trace_id机制便于从海量日志中查询请求分析问题

  • 神奇的Cloudflare
    为了保护服务器安全,我们部署的服务器加装ufw、f2ban等安全加固
    在这些完成后请求一天天的加多,一个奇怪的问题出现了,有的佬友反馈老是Timeout,分析、完全重写转发都未解决问题
    后来GPT5跟我分析半天觉得是CF的缓存机制的锅,请求多了记缓存,后续佬友请求美名其曰:缓解服务器流量,实际上没到服务器就结束了,成了很多问题的罪魁祸首…

或许在各位佬友看来很简单的问题,但是什么都不懂的我面前,真的是让我头大

后续规划

  • 本轮GLM公益多久结束
    根据各个佬的Key到期判断大概在8月底31日左右

  • GLM key结束,项目与公益就会结束吗?
    项目不会结束,这是我真正意义上的第一个开源项目,我认为该中间件值得继续维护,只是后续维护将首先补全文档,其次就是维护现有代码框架,最后就是和各种公益配合当透明中间件用于分发Key
    我会继续做公益,并且主打稳定的公益,但是下一个是什么,需要时间研究(大概率Gemini相关)

  • 本人的时间
    马上就要开学了,时间减少,自然维护也会减少,但是当前的公益我会尽量维护稳定高效,在最近几天完成版本代码优化和文档书写,最终进入长期更新模式
    又要卷绩点,卷综测了

碎碎念而已,我还是那个菜菜的人,不过是凭着AI尝试为L站做一份贡献哈哈哈
感谢L站的各位佬友积极反馈,然我先实践后学习了解项目生命周期管理、网络开发相关内容

81 个赞

感谢佬友提供的服务
:grinning_face:

2 个赞

感谢佬:face_savoring_food:

1 个赞

让我这马上升大四的情何以堪。:flushed_face:

看我的开源项目都跟厕纸一样。

3 个赞

感谢佬友

1 个赞

太强了佬,感谢贡献

1 个赞

其实项目真不咋地,主要是各位佬友的支持

2 个赞

这个是真好用,我自己的一堆烂代码都跑在上面,舒服

3 个赞

太好了 发完这篇帖子公益站就收到了超级多的流量请求 :innocent:

2 个赞

谢谢佬友,辛苦了

1 个赞

感谢佬,学习力拉满:+1:

1 个赞

隔壁佬的api用不了换到这里 哈哈哈 好用

1 个赞

感谢佬,畅用cc的日子幸好有你

1 个赞

太强了,大佬

感谢你的贡献

1 个赞

感谢佬友,这个感觉比一些公益站好用

来过,学过,留下几个公益站,走了。

1 个赞

佬友加油 :saluting_face:

Python 居然能承载并发那么大的请求,用的是 FastAPI 吗?

没错 是的