【chrome-mcp】分享一个自动控制excalidraw画图的玩法

前置知识

  1. 如果有用过 https://excalidraw.com 来画手绘风格的架构图流程图的应该知道excalidraw是什么,这里就不多介绍了用法了。其实本身它的免费版也提供文本至图表,但每天只有10次,但没得换模型且效果很一般
  2. 工具的下载安装请看:【硬核开源mcp-chrome】一个chrome插件,能让任意chatbot接管你的chrome浏览器
  3. 不同模型、不同的prompt、不同的问法,甚至同个模型同个prompt效果都可能不一样,具体要自己去pua一下大模型了,喜欢折腾的佬可以根据我下面的流程自己玩一下,效果见仁见智了哈(我这里只是分享我自己的玩法,如果效果不好请轻喷)
  4. 我自己测试用的模型是claude-3-7-sonnet,具体的生成速度和效果要看你自己的模型给不给力

具体使用案例

ps:视频已做加速处理,防止各位看官没耐心看完

  1. 看到别人画的一张图觉得不错,于是先让模型分析列出绘制步骤,然后让它控制excalidraw帮我复刻出来(ps:不可能100%复刻,只能神似,生成完之后自己再稍微改改也能用)
  1. 先总结当前网页的内容,然后让它控制excalidraw画图帮助理解
  1. 画一个神经网络结构示意图
  1. 系统架构设计:url短链服务

详细使用步骤

如何达到我上面视频类似的效果?以DeepChat为例,其他chatbot的客户端类似

  1. 确保chatbot已经连接上了chrome-mcp

  2. 把这个prompt:mcp-chrome/prompt/excalidraw-prompt.md at master · hangwin/mcp-chrome · GitHub 复制到你的chatbot
    以DeepChat为例如下图所示

  3. 对话的时候结合chrome-mcp + 对应的prompt使用即可组合出一个画图Agent

原理

自动控制excalidraw画图的原理实际上是利用chrome-mcp提供的脚本注入和通信工具,大模型先通过mcp server向网页注入一段内容脚本,内容脚本会监听后台脚本的事件,而大模型则可以以事件的方式再通过mcp server给内容脚本发送指令,从而达到控制它画图的效果

这段内容脚本我已经稍微压缩过然后一起放进这个prompt了mcp-chrome/prompt/excalidraw-prompt.md at master · hangwin/mcp-chrome · GitHub ,避免每次都重新生成,感兴趣的佬可以自行修改,也可以直接使用

最后

利用上面的原理,还有其他的玩法,比如修改页面的样式,效果如下:

用到的prompt:https://github.com/hangwin/mcp-chrome/blob/master/prompt/modify-web.md

感兴趣的大佬们可以根据自己的需求,参考我仓库里的prompt自行修改使用

觉得有帮助的佬给我的开源项目点个star吧 :star_struck:

45 个赞

感谢分享~

太强了佬

不错好东西! :heart_eyes:

佬友太强了 :+1:
控制 Chrome :thinking:,能刷帖,能点赞 :rofl:

1 个赞

太强了佬

感谢大佬。

大佬,我用的agent找不到脚本注入工具是为何,让ai列出所有可用的20个工具,也未看到相关的

1 个赞

有下载最新的插件包吗

可以哦,看起来不错

感谢分享,mark一下

chrome插件版本是0.03,分别用Arc和chrome浏览器试过了,都在调用工具失败。问ai回复说没有可用的工具(chrome_inject_script) mcp-chrome-bridge版本是1.0.15

太强了佬!

安装完是否有重新连接mcp server?

有的。但是不行

你用的是什么客户端?是所有工具都调失败了?看下list tools是否可以把server的工具列出来?比如

我用的raycast,工具列表有20个。


换一个cherry studio。

说明连接没问题,感觉是装了之前的版本所以工具列表还是之前的20个,你确认一下安装的版本对不对?

是这个,但是看到有个错误


有点意思