魔改autojs的魔改版autox,添加mcp服务端,支持类似豆包手机的ai控制

看着佬友开源了基于智谱的手机助手的Android应用,感觉很高级,使用了一下,感觉还是不是我想的那种效果,想到以前的autojs就支持了类似的自动化,想着给它加上mcp服务端,不就是一个ai的自动化工具了吗。

说的做到

在驱动codex-5_2进行几轮对话后,就帮我集成了这个,通过mcp就能够驱动autojs来完成相应的

效果

期望

  • 其他佬友们能够开发基于这个的skills支持更复杂的自动化开发
  • 添加多模态支持,而不是ocr,在复杂情况下ocr无法满足ai自动化的要求

已知问题

  • 由于部分Android(miui)的安全限制,无法操控微信等关键隐私app

最后

源码地址: jinhan1414/AutoX: A UiAutomator on android, does not need root access(安卓平台上的JavaScript自动化工具)

文档: AutoX/docs/MCP_USAGE.md at setup-v7 · jinhan1414/AutoX

安装包: Release test · jinhan1414/AutoX

27 个赞

我最近也在做这个捏,我想问一下佬 这个无障碍有什么限制吗 比如一些打卡软件或者隐私截屏的页面我发现adb会被钉钉和银行检测,不知道无障碍会不会有类似问题

无障碍一样的会,这个就需要再次根据安全检测机制进行攻防了。

1 个赞

关注一个。太牛了

感谢分享 大佬厉害!

感谢佬的分享

好的 谢谢大佬

1 个赞

厉害了,大佬

牛 但是现在安卓系统限制越来越多了 只能拿一些旧的系统手机跑自动化脚本了

是的,就是一场攻防战,真正商业化的,估计都是rom级别修改了

这个有意思

我25年尝试写一款自动化软件 采用的是kotlin+Python组合 去进行无障碍控制 但是久了就会发现 用起来还是复杂 但是接入ai对话 比如几个任务之前写好了可以一键执行 但是ai需要持续消耗token 任务量大对话就难以接受 后续就纯使用截图加ocr进行操作了

这个还在更新吗

提issue

我这边基于楼主这个版本测试了一下,发现 MCP 服务在我的手机上不可用。
所以我重新 fork 了一份,在同版本基础上把 MCP 服务端相关问题修了一下,并重新发布了。

仓库地址:
[GitHub - eness-1/AutoX: A UiAutomator on android, does not need root access(安卓平台上的JavaScript自动化工具) · GitHub]

2 个赞

厉害厉害

不错不错