logo

网页转 Markdown

输入网址,每个网页返回一行:干净的 Markdown 正文、标题、作者、发布时间,以及分好的站内链接和站外链接,支持公众号文章;读不到的网页写明原因且不收费

发布者
价格
¥0.001 / 个网页(成功读取正文)
最近更新
2026-11-05

概览

给出一批网址,每个网页返回一行:干净的 Markdown 正文,以及标题、站点名、作者、发布时间,和网页里分好的站内链接、站外链接。公众号文章也能直接读,正文、公众号名称和精确到秒的发布时间都会带上。

让 AI 总结一篇文章、把一批网页放进知识库,第一步都是先把网页变成干净的正文。网页里的导航、广告、页脚和 Cookie 提示会混进正文,既占篇幅又干扰理解。这个应用只保留正文,并转成 AI 和人都容易读的 Markdown:标题层级、列表、表格、链接和图片都保留。

每个网址都会有一行结果,并写明状态:读到了,还是网页打不开、要求验证、没有正文。没有正文的网页(例如列表页)仍会返回标题和站内、站外链接。不会出现提交了 10 个网址只拿回 7 行、不知道另外 3 个去哪了的情况。

数据说明

只读取你给出的网页本身,不会自动打开网页里的其他链接,所以读多少页、花多少钱事先都清楚。网页里的链接会分成站内链接(同一网站,含子域名)和站外链接两列,需要往下读时,从站内链接里挑出网址再读一轮即可。

作者和发布时间只取网页明确标注的信息,不从正文里猜;网页没有标注时这两项为空。普通网页的发布时间精确到日;公众号文章精确到秒,带北京时间时区。

公众号文章请使用从微信分享出来的链接(mp.weixin.qq.com/s/ 开头)。带 __biz= 的长链接要求先完成验证,会返回「需要验证」。

以下几类网页读不到正文,结果里会写明原因:内容要登录才能看的网页;网站要求人机验证的网页;内容完全靠浏览器脚本显示的网页(例如部分社区和资讯网站的首页);PDF 等文件。当前运行环境也访问不了部分海外网站,例如 Wikipedia 和 BBC、纽约时报、路透社等海外新闻网站。正文最多保留 10 万字,超出部分会截断,并在状态说明里注明。

结果长什么样

每条结果是一个网址。

网址状态标题站点名发布时间正文字数
https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYAok跨境电商的机会在哪里36氪出海2021-04-06T09:29:00+08:0011324
https://www.anthropic.com/news/claude-opus-4-5okIntroducing Claude Opus 4.5AnthropicAI2025-11-2410785
https://juejin.cn/empty_content稀土掘金juejin.cn0

此外还有正文(Markdown)、作者、摘要、语言、站内链接、站外链接、正文图片、状态说明和读取时间等字段。

应用场景

  • 交给 AI 阅读:把「正文(Markdown)」直接交给 AI 做总结、问答或翻译,不再夹杂导航和广告。
  • 搭建知识库:把一批文档页、博客或公众号文章的「正文(Markdown)」连同「标题」「网址」「发布时间」存进知识库,回答时可以注明出处。
  • 追踪公众号文章:收集一批公众号文章的「标题」「站点名」(公众号名称)和「发布时间」,整理成文章清单,再按需阅读全文。
  • 深度采集:从一个入口页开始,一层一层往下读整个栏目或文档站。
    1. 第一轮只放入口页,例如文档首页或栏目列表页。
    2. 从结果的「站内链接」里,按链接文字或网址路径挑出要读的页面,例如只要 /docs/ 下的页面,或者文字里带「教程」的链接;已经读过的网址不要再放进来。
    3. 把挑出的网址作为下一轮一次放进来,每次最多 100 个,再从新结果的「站内链接」里挑下一层。
    4. 重复到内容够用为止。读几层、每层读多少页都由你决定,每一轮花多少钱事先就能算出来,不会出现爬取失控、账单超出预期的情况。 「站外链接」可以用来整理文章引用了哪些外部来源,需要时也可以挑出来单独读。
  • 清洗网址清单:按「状态」筛出打不开、要求验证或没有正文的网址,单独处理或剔除。

适用边界

每次最多 100 个网址,只读取填写的网页本身,不自动爬取整站;每个网页最多读取 5MB、等待 20 秒,正文最多保留 10 万字;按成功读取正文的网页计费,读取失败的网页也返回一行但不计费

  • 适合用于
  • 手里有一批网页地址,需要把正文转成干净的 Markdown 交给 AI 阅读、总结,或放进知识库
  • 需要读取公众号文章的全文、标题、公众号名称和发布时间
  • 需要深度采集一个栏目或文档站:先读入口页,从「站内链接」挑出要读的网址(跳过已读过的),作为下一轮输入再调用一次,一层一层往下读;每一轮读哪些页由调用方决定,费用事先可算
  • 不要用于
  • 手里没有网址、想按关键词找网页:先用网页搜索类应用拿到网址,再用本应用读取
  • 目标是 Wikipedia、BBC、纽约时报、路透社等海外新闻和百科网站:当前运行环境访问不了,会返回「超时」
  • 网页内容要登录才能看,或必须靠浏览器脚本才能显示(如部分社区和资讯首页):会返回「被拒」「需要验证」或「正文为空」
  • 需要读取 PDF、Word 等文件:本应用只读取网页

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1每个网址都会返回一行,「状态」说明结果:已读取、正文为空、需要验证、被拒、网页不存在、不是网页、超时、域名不存在、无法打开;只有「已读取」计费
  2. 2「需要验证」「被拒」「超时」可以稍后重试;公众号的长链接(带 __biz=)一定需要验证,请改用从微信分享出来的 mp.weixin.qq.com/s/… 短链接
  3. 3「正文为空」表示网页能打开但没有可读的正文,通常是列表页、登录页,或内容要浏览器脚本才能显示的页面

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • 网址urls必填array<string>
    要读取正文的网页地址,1–100 个,每个网址返回一行。支持公众号文章(请用从微信分享出来的 mp.weixin.qq.com/s/… 链接)。只读取填写的这些网页,不会自动打开页面里的其他链接;同一网址重复填写只读取一次。
    数量最多 100 项示例["https://mp.weixin.qq.com/s/2PT4uTuWfxQmbD_5SaDbdw"]

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • 网址input_urlstring
    填写的网址,原样返回,用于和输入对应
    示例https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA
  • 最终地址final_urlstring
    实际读取的地址;网址发生跳转时为跳转后的地址
    示例https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA
  • 状态statusstring
    ok=已读取正文;empty_content=网页能打开但没有可读的正文;verification=网站要求人机验证;blocked=网站拒绝访问;not_found=网页不存在或已删除;not_html=不是网页(如 PDF);timeout=长时间无响应;dns_error=域名不存在;error=无法打开。只有 ok 计费
    示例ok
  • 状态说明status_textstring
    状态的中文说明,读取失败时附原因;正文过长被截断时也在这里注明
    示例已读取正文

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "input_url": "https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA",
  "final_url": "https://mp.weixin.qq.com/s/YrZvkw7jnXqcFrEoMrwZYA",
  "status": "ok",
  "status_text": "已读取正文",
  "billed_pages": 1,
  "title": "跨境电商的机会在哪里",
  "site_name": "36氪出海",
  "author": "阮飞",
  "published_at": "2021-04-06T09:29:00+08:00",
  "language": "zh-CN",
  "description": "跨境出海是一个小圈子,圈内的人们喜欢交流分享,一起去海外市场淘金。",
  "markdown": "### 写在开头:作者自述\n\n越看跨境,越喜欢这个赛道……",
  "char_count": 11324,
  "internal_links": "<internal_links>",
  "external_links": "<external_links>",
  "images": "<images>",
  "checked_at": "2026-11-04T06:50:43+00:00"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=data_hunter/web-to-markdown",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

个网页(成功读取正文)

按输出字段 billed_pages 求和计量,任务失败不计费。

¥0.001/ 个网页(成功读取正文)

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.001 / 个网页(成功读取正文)