用 Gemini 模型查询一组提示词,收集模型回答与目标品牌的可见度信号,用于 GEO 表现跟踪与竞品对照。
网页转 Markdown
输入网址,每个网页返回一行:干净的 Markdown 正文、标题、作者、发布时间,以及分好的站内链接和站外链接,支持公众号文章;读不到的网页写明原因且不收费
概览
给出一批网址,每个网页返回一行:干净的 Markdown 正文,以及标题、站点名、作者、发布时间,和网页里分好的站内链接、站外链接。公众号文章也能直接读,正文、公众号名称和精确到秒的发布时间都会带上。
让 AI 总结一篇文章、把一批网页放进知识库,第一步都是先把网页变成干净的正文。网页里的导航、广告、页脚和 Cookie 提示会混进正文,既占篇幅又干扰理解。这个应用只保留正文,并转成 AI 和人都容易读的 Markdown:标题层级、列表、表格、链接和图片都保留。
每个网址都会有一行结果,并写明状态:读到了,还是网页打不开、要求验证、没有正文。没有正文的网页(例如列表页)仍会返回标题和站内、站外链接。不会出现提交了 10 个网址只拿回 7 行、不知道另外 3 个去哪了的情况。
数据说明
只读取你给出的网页本身,不会自动打开网页里的其他链接,所以读多少页、花多少钱事先都清楚。网页里的链接会分成站内链接(同一网站,含子域名)和站外链接两列,需要往下读时,从站内链接里挑出网址再读一轮即可。
作者和发布时间只取网页明确标注的信息,不从正文里猜;网页没有标注时这两项为空。普通网页的发布时间精确到日;公众号文章精确到秒,带北京时间时区。
公众号文章请使用从微信分享出来的链接(mp.weixin.qq.com/s/ 开头)。带 __biz= 的长链接要求先完成验证,会返回「需要验证」。
以下几类网页读不到正文,结果里会写明原因:内容要登录才能看的网页;网站要求人机验证的网页;内容完全靠浏览器脚本显示的网页(例如部分社区和资讯网站的首页);PDF 等文件。当前运行环境也访问不了部分海外网站,例如 Wikipedia 和 BBC、纽约时报、路透社等海外新闻网站。正文最多保留 10 万字,超出部分会截断,并在状态说明里注明。
结果长什么样
每条结果是一个网址。
| 网址 | 状态 | 标题 | 站点名 | 发布时间 | 正文字数 |
|---|---|---|---|---|---|
| https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA | ok | 跨境电商的机会在哪里 | 36氪出海 | 2021-04-06T09:29:00+08:00 | 11324 |
| https://www.anthropic.com/news/claude-opus-4-5 | ok | Introducing Claude Opus 4.5 | AnthropicAI | 2025-11-24 | 10785 |
| https://juejin.cn/ | empty_content | 稀土掘金 | juejin.cn | 0 |
此外还有正文(Markdown)、作者、摘要、语言、站内链接、站外链接、正文图片、状态说明和读取时间等字段。
应用场景
- 交给 AI 阅读:把「正文(Markdown)」直接交给 AI 做总结、问答或翻译,不再夹杂导航和广告。
- 搭建知识库:把一批文档页、博客或公众号文章的「正文(Markdown)」连同「标题」「网址」「发布时间」存进知识库,回答时可以注明出处。
- 追踪公众号文章:收集一批公众号文章的「标题」「站点名」(公众号名称)和「发布时间」,整理成文章清单,再按需阅读全文。
- 深度采集:从一个入口页开始,一层一层往下读整个栏目或文档站。
- 第一轮只放入口页,例如文档首页或栏目列表页。
- 从结果的「站内链接」里,按链接文字或网址路径挑出要读的页面,例如只要 /docs/ 下的页面,或者文字里带「教程」的链接;已经读过的网址不要再放进来。
- 把挑出的网址作为下一轮一次放进来,每次最多 100 个,再从新结果的「站内链接」里挑下一层。
- 重复到内容够用为止。读几层、每层读多少页都由你决定,每一轮花多少钱事先就能算出来,不会出现爬取失控、账单超出预期的情况。 「站外链接」可以用来整理文章引用了哪些外部来源,需要时也可以挑出来单独读。
- 清洗网址清单:按「状态」筛出打不开、要求验证或没有正文的网址,单独处理或剔除。
适用边界
每次最多 100 个网址,只读取填写的网页本身,不自动爬取整站;每个网页最多读取 5MB、等待 20 秒,正文最多保留 10 万字;按成功读取正文的网页计费,读取失败的网页也返回一行但不计费
- 适合用于
- 手里有一批网页地址,需要把正文转成干净的 Markdown 交给 AI 阅读、总结,或放进知识库
- 需要读取公众号文章的全文、标题、公众号名称和发布时间
- 需要深度采集一个栏目或文档站:先读入口页,从「站内链接」挑出要读的网址(跳过已读过的),作为下一轮输入再调用一次,一层一层往下读;每一轮读哪些页由调用方决定,费用事先可算
- 不要用于
- 手里没有网址、想按关键词找网页:先用网页搜索类应用拿到网址,再用本应用读取
- 目标是 Wikipedia、BBC、纽约时报、路透社等海外新闻和百科网站:当前运行环境访问不了,会返回「超时」
- 网页内容要登录才能看,或必须靠浏览器脚本才能显示(如部分社区和资讯首页):会返回「被拒」「需要验证」或「正文为空」
- 需要读取 PDF、Word 等文件:本应用只读取网页
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1每个网址都会返回一行,「状态」说明结果:已读取、正文为空、需要验证、被拒、网页不存在、不是网页、超时、域名不存在、无法打开;只有「已读取」计费
- 2「需要验证」「被拒」「超时」可以稍后重试;公众号的长链接(带 __biz=)一定需要验证,请改用从微信分享出来的 mp.weixin.qq.com/s/… 短链接
- 3「正文为空」表示网页能打开但没有可读的正文,通常是列表页、登录页,或内容要浏览器脚本才能显示的页面
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- 网址
urls必填array<string>要读取正文的网页地址,1–100 个,每个网址返回一行。支持公众号文章(请用从微信分享出来的 mp.weixin.qq.com/s/… 链接)。只读取填写的这些网页,不会自动打开页面里的其他链接;同一网址重复填写只读取一次。数量最多 100 项示例["https://mp.weixin.qq.com/s/2PT4uTuWfxQmbD_5SaDbdw"]
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- 网址
input_urlstring填写的网址,原样返回,用于和输入对应示例https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA - 最终地址
final_urlstring实际读取的地址;网址发生跳转时为跳转后的地址示例https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA - 状态
statusstringok=已读取正文;empty_content=网页能打开但没有可读的正文;verification=网站要求人机验证;blocked=网站拒绝访问;not_found=网页不存在或已删除;not_html=不是网页(如 PDF);timeout=长时间无响应;dns_error=域名不存在;error=无法打开。只有 ok 计费示例ok - 状态说明
status_textstring状态的中文说明,读取失败时附原因;正文过长被截断时也在这里注明示例已读取正文
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"input_url": "https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA",
"final_url": "https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA",
"status": "ok",
"status_text": "已读取正文",
"billed_pages": 1,
"title": "跨境电商的机会在哪里",
"site_name": "36氪出海",
"author": "阮飞",
"published_at": "2021-04-06T09:29:00+08:00",
"language": "zh-CN",
"description": "跨境出海是一个小圈子,圈内的人们喜欢交流分享,一起去海外市场淘金。",
"markdown": "### 写在开头:作者自述\n\n越看跨境,越喜欢这个赛道……",
"char_count": 11324,
"internal_links": "<internal_links>",
"external_links": "<external_links>",
"images": "<images>",
"checked_at": "2026-11-04T06:50:43+00:00"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=data_hunter/web-to-markdown",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
按输出字段 billed_pages 求和计量,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。