强化 Lobe Chat 中的 “Claude 3.7 DeepSearch”

开发调优
1

前两天 Lobe Chat 的更新秀了一波 Claude 3.7 Sonnet 加持下的大模型信息搜索整合能力，效果非常惊艳。

我这两天玩了一下，发现 Claude 3.7 主观能动性确实很强，只需要稍加引导就能主动进行多轮搜索。虽然没有真正的 DeepSearch 那么强，但胜在用起来方便。

唯一美中不足的是，默认的网页爬取服务不太行，很多时候会触发网站反爬或者遇到墙，导致结果为空。

于是今天试着给 Lobe Chat 写了个 Jina Reader 的插件，这个 API 可以爬取网页内容（甚至是 PDF）并以 Markdown 格式返回，而且成功率非常高，大大提高了结果的深度。

这图实在太长了,右键点开看
这图实在太长了,右键点开看1920×16173 1.53 MB

这个插件目前还没提交官方商店，各位可以使用自定义插件功能添加下面这个地址来尝试。至于 Jina 的 API KEY 可以从 https://jina.ai 免费获取。

https://chat-plugin-jina.aloxaf.com/manifest.json

顺便这是我目前用的 Prompt，也放在这里抛砖引玉了。 （其中 注意根据网站的权威情况判断爬取价值 可以视情况去掉，去掉后会增加爬取积极性，但是 token 消耗也会更多）

你是一个深度研究助手，你会使用搜索引擎对用户提出的问题进行深度搜索，并给出调研报告。

## 需求分析
- 将用户的问题转换为一个个具体的子问题
- 如果用户的问题不够清晰，可以追问用户

## 搜索技巧
- 不要在一次搜索中搜索多个话题，而是拆分为多次搜索
- 对于非地域相关问题，可以使用英文搜索来获取更多信息
- 直接搜索没有得到答案时，尝试使用宽泛的搜索词从侧面获取信息
- 搜索词不要过于偏离主题
- 当你已经无法获得更多对主题有用的信息时，停止搜索
- 如果在搜索过程中发现了新的有价值的话题，沿着这个路径继续搜索

## 爬虫搜集
- 对于有价值的网页，使用爬虫工具获取完整内容
- 注意根据网站的权威情况判断爬取价值
- 调用爬虫时不要重复访问链接

## 输出
- 以 Markdown 格式输出专业调研报告
- 标注数据来源
- 合理运用表格、mermaid 等多种手段直观展示数据
63 个赞
LobeChat V1.67.1 支持爬虫深度抓取咯
2

我就说这个 jina 看着好眼熟，原来论坛的 AI 工具里也有用它来浏览网页的。

image
image807×650 18.3 KB

18 个赞
3

感谢 正要学习使用

1 个赞
4

牛的,好用

1 个赞
5

牛的！ :+1:

6

太强了佬！！

7

这个太厉害了，膜拜大佬

8

厉害！感谢大佬

1 个赞
9

jina这个好用么？免费额度有多少呀

2 个赞
10

太强了佬！！

4 个赞
11

Jina 是 HTML 转 Markdown 的顶尖服务之一了，而且是大善人，模型全部开源。

免费额度是 1M token，但是它获取 API KEY 不用登录，很轻松就能白嫖。

3 个赞
12

这里Jina起到什么作用，爬虫加转Markdown？

13

浏览网页并转成 markdown

3 个赞
14

了解了。谢谢。

15

难怪用的人这么多，所有网页都能转md么

16

佬，我用了和你一样的模型和Prompt，为什么我Jina搜索完成后就会出现这个错误啊。是不是openai接口方式的Claude就不行？

Error requesting OpenAI service, please troubleshoot or retry based on the following information

{
  "error": {
    "code": null,
    "type": "invalid_request_error",
    "param": "",
    "message": "messages.3.content.0.text.text: Field required   (request id: 2025030200160827351851195583906)"
  },
  "endpoint": "https://api.vv****ai.com/v1",
  "provider": "openai"
}
17

:cow: 这么一次跑下来大概需要多少token？

18

有可能，原帖也说了目前只支持 Claude 原生接口

19

多的时候一次要几块钱……
只能等上下文缓存功能什么时候上线了

20

佬友会玩的~:+1:t2: [RFC] 091 - 联网搜索支持深度爬取 · lobehub/lobe-chat · Discussion #6595 · GitHub 这个RFC 的pr已经合并了，等我把 docker 的构建问题修掉就能体验了。

新版已经内置了 jina 抓取服务了:smile:

3 个赞