网站内容 Markdown 抓取器
从起始 URL 出发爬取同一域名下的页面,提取每页主要内容并转为干净的 Markdown,返回 url、title、content,可直接用于 LLM、RAG、向量库
概览
给 LLM 喂语料,最难的不是抓,是「干净」:导航、页眉页脚、Cookie 弹窗混进正文,向量化后全是噪声。
这份数据把网页变成干净的 Markdown:给起始 URL,爬取同一域名下的页面,每页提取主要内容、去掉导航/页眉/页脚/脚本/图片和常见 Cookie 提示语,返回网址、标题和正文三列,直接进 LLM、RAG、向量库或智能体。
数据说明
从 Start URLs 出发,只跟随同一域名的内部链接,最大深度默认 1 层,最多抓 Max URLs 指定的页数。抓之前会先看 robots.txt,禁止抓取的路径自动跳过。
正文选自页面的 <main> 或 <article> 容器(当它承载了页面大部分文字时),否则取整个 body。输出为纯文本 Markdown:保留标题层级、列表和链接,去掉图片、脚本和常见 Cookie 提示语。
本应用用纯 HTTP 抓取,不带浏览器渲染:静态站点和轻 JS 站点效果好;重 JS 站点、登录墙、人机验证站点可能拿到残缺内容,这与原版「自动化检测仍可能失败」的说明一致。搜索引擎发现仅支持 Bing(境内可用);选 Google/DuckDuckGo 会自动降级 Bing 并在日志说明。
单页内容超过平台单条记录 1MB 上限时,会按段落边界截断并结尾注明,是否截断 字段标记为 true,完整原文访问页面 URL 即可。
结果长什么样
一条记录对应一个页面。
| URL | Title | Content(节选) |
|---|---|---|
| https://docs.python.org/3/tutorial/index.html | The Python Tutorial | # The Python Tutorial Python is an easy to learn, powerful programming language… |
应用场景
RAG 知识库:把文档站或帮助中心批量转 Markdown,直接进向量库做检索问答。
销售线索分析:把目标公司官网喂给 LLM,一句话总结业务与卖点。
竞品内容监测:定时抓竞品页面,用 Markdown 比对内容变化。
适用边界
纯 HTTP 实现(无浏览器渲染):静态与轻 JS 站点效果好,重 JS 站点、登录墙、人机验证站点可能拿到残缺内容或空正文,与原版「自动检测反爬仍可能失败」的说明一致;只爬起始 URL 同域页面;每页去除导航/页眉/页脚/脚本/图片与常见 Cookie 提示语;单页内容超出平台单条记录 1MB 上限时按段落边界截断并以 truncated 字段标记;搜索发现仅支持 Bing(境内容器不可达 Google/DuckDuckGo,选择时自动降级 Bing 并在日志说明);遵循 robots.txt
- 适合用于
- 需要把文档站、帮助中心、博客批量转成 Markdown 喂给 LLM、RAG 或向量库
- 需要给 AI 智能体提供某公司官网的可读文本
- 需要定期抓取竞品页面内容做变化监测或文本语料归档
- 不要用于
- 目标站点需要登录、有付费墙或强人机验证
- 目标站点是重 JS 渲染且无服务端输出(纯 HTTP 抓不到正文)
- 需要图片、表格样式或原始 HTML 结构(输出为纯文本 Markdown)
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1个别页面打开失败或 HTTP 非 200 时跳过该页,不影响其他页面
- 2登录页、空壳页内容很短属正常现象(原版行为一致)
- 3搜索发现可能一页都未发现(依赖搜索引擎结果),起始 URL 爬取不受影响
- 4robots.txt 禁止抓取的路径会被跳过并在日志说明
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- Start URLs
start_urls必填array<string>起始 URL 列表,从这些页面开始爬取;只跟随同一域名的内部链接。也可传 [{"url":"..."}] 对象数组,与原 Actor 输入格式兼容。数量最多 10 项示例["https://apify.com"] - Maximum Depth
max_depth选填integer从起始 URL 向内跟随链接的最大层级;1 表示只抓起始页(含搜索发现的页面)。原版默认 1。默认值1 - Max URLs
max_urls选填integer本次运行最多抓取的页面数;建议按需设置以控制成本。原版默认 10。默认值10 - Search Engine
search_engine选填string(enum)爬取前是否用搜索引擎发现同域名的更多页面;选 None 只从起始 URL 爬取(更快更省)。Google/DuckDuckGo 在境内容器不可达,选择时自动降级为 Bing。可选值None(不搜索,推荐)NoneBing(境内可用)BingGoogle(境内不可达)GoogleDuckDuckGo(境内不可达)DuckDuckGo默认值None
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- URL
urlstring被抓取页面的网址;同一批结果按此去重示例https://apify.com - Title
titlestring页面标题(浏览器标签页标题)示例Apify: Marketplace of ready-to-run tools for AI - Content
contentstring页面主要内容的干净 Markdown:已去除导航、页眉、页脚、脚本、图片、内联 SVG 与常见 Cookie 提示语;超出单条记录 1MB 上限时会按段落边界截断并在结尾注明;页面无可用内容时为空字符串示例# 89,424 tools for your AI Apify is a marketplace of ready-to-run tools for AI. Get real-time web data, track competitors, generate leads... - 是否截断
truncatedbooleancontent 因超出单条记录 1MB 上限被截断时为 true;完整原文请访问页面 URL示例false
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"url": "https://apify.com",
"title": "Apify: Marketplace of ready-to-run tools for AI",
"content": "# 89,424 tools for your AI\n\nApify is a marketplace of ready-to-run tools for AI. Get real-time web data, track competitors, generate leads...",
"truncated": false
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderByte/website-markdown-scraper",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。