文章与新闻数据采集API
给定公开文章 URL 列表,用 Mozilla Readability 算法提取正文(自动去广告/导航/侧边栏),输出 Markdown、纯文本或 HTML,并附 JSON-LD 与 Open Graph 元数据(标题、作者、发布日期、og 图、站点名、语言),专为 RAG 管道与 AI Agent 供料
概览
给定公开文章 URL 列表,用 Mozilla Readability 算法(与 Firefox 阅读模式同源)提取正文并输出 Markdown / 纯文本 / HTML,附 JSON-LD 与 Open Graph 元数据。能力与 Apify Actor tugelbay/article-extractor 对齐,专为 RAG 管道与 AI Agent 供料。
输入
| 字段 | 类型 | 必填 | 默认 | 说明 |
|---|---|---|---|---|
urls | array | 是 | — | 文章 URL(1–10,000 个),仅 # 锚点不同的重复 URL 只处理一次 |
output_format | string | 否 | markdown | markdown / text / html |
max_items | integer | 否 | 10 | 单次最多提取文章数(1–10,000) |
extract_images | boolean | 否 | true | 是否包含正文图片 URL |
extract_links | boolean | 否 | false | 是否包含正文链接 URL |
timeout | integer | 否 | 30 | 单页超时秒数(5–120) |
max_concurrency | integer | 否 | 5 | 并发数(1–50) |
输出(每行一篇文章,15 字段)
url(重定向后最终 URL)、canonicalUrl(基于 <base href>)、title、author、publishedDate(原始格式)、description、content(请求格式正文,≤90 万字符)、wordCount(截断前统计)、language(HTML lang 属性)、siteName、images(≤500)、links(≤500)、ogImage、statusCode、extractedAt
行为与限制
- 提取算法为 Readability:少于约 100 词的页面可能识别不出正文
- 不支持 JS 渲染的 SPA;不能绕过登录墙/付费墙/验证码
- 单页响应 5MB 上限;408/5xx 自动重试 2 次;429 放弃该 URL
- 失败 URL(超时/404/被封/无正文)不产生输出行;全部失败则运行 FAILED 并汇总原因
- 元数据字段可能为 null(发布者未提供)
适用边界
提取算法为 Mozilla Readability(与 Firefox 阅读模式同源),少于约 100 词的页面可能识别不出正文;不支持 JS 渲染的 SPA 页面(React/Angular);不能绕过登录墙/付费墙/验证码;单次最多 10,000 个 URL、单页响应 5MB、正文 90 万字符截断(wordCount 按截断前统计)、images/links 各最多 500 项;重复 URL(仅 # 锚点不同)只处理一次;失败 URL(超时/404/被封/无正文)不产生输出行也不计费,全部失败则运行 FAILED 并汇总原因
- 适合用于
- 批量提取新闻/博客文章的干净正文,喂给 RAG 检索或 LLM 做摘要、翻译、情感分析
- 把文章转成 Markdown 存入知识库(自动去广告、导航等样板内容)
- 内容监控:定期提取目标媒体的正文与元数据(作者、发布时间、og 图)
- 不要用于
- 目标是 JS 渲染的 SPA 页面(需要浏览器渲染类工具)
- 页面在登录墙/付费墙后面
- 需要提取评论区、视频内容或整站爬取(本应用只处理给定的文章 URL)
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1单个 URL 失败(超时/404/被封/无正文)不产生行,运行继续;原因汇总在结束状态消息
- 2408/5xx 自动重试 2 次,429 不重试直接放弃该 URL
- 3全部 URL 失败时运行 FAILED,给出前 5 条失败原因
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- 文章 URL 列表
urls必填array<string>公开的文章式 URL(需有可读 HTML),单次最多 10,000 个;仅 # 锚点不同的重复 URL 只处理一次;受保护或 JS 渲染的页面可能失败数量最多 10000 项示例["https://blog.apify.com/what-is-web-scraping/"] - 输出格式
output_format选填string正文输出格式:markdown(默认)/ text / html默认值markdown示例markdown - 最大提取文章数
max_items选填integer单次运行最多提取的文章数(1-10000,默认 10)默认值10示例10 - 提取图片
extract_images选填boolean是否包含文章中的图片 URL(默认开启);只取正文时关掉可加速默认值true示例true - 提取链接
extract_links选填boolean是否包含文章中的外链 URL(默认关闭)默认值false示例false - 单页超时(秒)
timeout选填integer每个页面最长等待秒数(5-120,默认 30)默认值30示例30 - 并发数
max_concurrency选填integer同时处理的页面数(1-50,默认 5;建议保持默认以优先可靠性)默认值5示例5
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- URL
urlstring重定向后的最终 URL示例https://blog.apify.com/what-is-web-scraping/ - 规范 URL
canonicalUrlstring基于 HTML <base href> 解析的规范地址(页面未提供时为 null) - 标题
titlestring文章标题(JSON-LD / Open Graph / <title>) - 作者
authorstring第一位作者(meta 或 JSON-LD)
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"url": "https://blog.apify.com/what-is-web-scraping/",
"canonicalUrl": "<canonicalUrl>",
"title": "<title>",
"author": "<author>",
"publishedDate": "<publishedDate>",
"description": "<description>",
"content": "<content>",
"wordCount": 0,
"language": "<language>",
"siteName": "<siteName>",
"images": "<images>",
"links": "<links>",
"ogImage": "<ogImage>",
"statusCode": 0,
"extractedAt": "<extractedAt>"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderByte/article-extractor",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。