logo

文章与新闻数据采集API

给定公开文章 URL 列表,用 Mozilla Readability 算法提取正文(自动去广告/导航/侧边栏),输出 Markdown、纯文本或 HTML,并附 JSON-LD 与 Open Graph 元数据(标题、作者、发布日期、og 图、站点名、语言),专为 RAG 管道与 AI Agent 供料

发布者
价格
¥0.005 / 条
最近更新
2026-11-18

概览

给定公开文章 URL 列表,用 Mozilla Readability 算法(与 Firefox 阅读模式同源)提取正文并输出 Markdown / 纯文本 / HTML,附 JSON-LD 与 Open Graph 元数据。能力与 Apify Actor tugelbay/article-extractor 对齐,专为 RAG 管道与 AI Agent 供料。

输入

字段类型必填默认说明
urlsarray是—文章 URL(1–10,000 个),仅 # 锚点不同的重复 URL 只处理一次
output_formatstring否markdownmarkdown / text / html
max_itemsinteger否10单次最多提取文章数(1–10,000)
extract_imagesboolean否true是否包含正文图片 URL
extract_linksboolean否false是否包含正文链接 URL
timeoutinteger否30单页超时秒数(5–120)
max_concurrencyinteger否5并发数(1–50)

输出(每行一篇文章,15 字段)

url(重定向后最终 URL)、canonicalUrl(基于 <base href>)、title、author、publishedDate(原始格式)、description、content(请求格式正文,≤90 万字符)、wordCount(截断前统计)、language(HTML lang 属性)、siteName、images(≤500)、links(≤500)、ogImage、statusCode、extractedAt

行为与限制

  • 提取算法为 Readability:少于约 100 词的页面可能识别不出正文
  • 不支持 JS 渲染的 SPA;不能绕过登录墙/付费墙/验证码
  • 单页响应 5MB 上限;408/5xx 自动重试 2 次;429 放弃该 URL
  • 失败 URL(超时/404/被封/无正文)不产生输出行;全部失败则运行 FAILED 并汇总原因
  • 元数据字段可能为 null(发布者未提供)

适用边界

提取算法为 Mozilla Readability(与 Firefox 阅读模式同源),少于约 100 词的页面可能识别不出正文;不支持 JS 渲染的 SPA 页面(React/Angular);不能绕过登录墙/付费墙/验证码;单次最多 10,000 个 URL、单页响应 5MB、正文 90 万字符截断(wordCount 按截断前统计)、images/links 各最多 500 项;重复 URL(仅 # 锚点不同)只处理一次;失败 URL(超时/404/被封/无正文)不产生输出行也不计费,全部失败则运行 FAILED 并汇总原因

  • 适合用于
  • 批量提取新闻/博客文章的干净正文,喂给 RAG 检索或 LLM 做摘要、翻译、情感分析
  • 把文章转成 Markdown 存入知识库(自动去广告、导航等样板内容)
  • 内容监控:定期提取目标媒体的正文与元数据(作者、发布时间、og 图)
  • 不要用于
  • 目标是 JS 渲染的 SPA 页面(需要浏览器渲染类工具)
  • 页面在登录墙/付费墙后面
  • 需要提取评论区、视频内容或整站爬取(本应用只处理给定的文章 URL)

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1单个 URL 失败(超时/404/被封/无正文)不产生行,运行继续;原因汇总在结束状态消息
  2. 2408/5xx 自动重试 2 次,429 不重试直接放弃该 URL
  3. 3全部 URL 失败时运行 FAILED,给出前 5 条失败原因

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • 文章 URL 列表urls必填array<string>
    公开的文章式 URL(需有可读 HTML),单次最多 10,000 个;仅 # 锚点不同的重复 URL 只处理一次;受保护或 JS 渲染的页面可能失败
    数量最多 10000 项示例["https://blog.apify.com/what-is-web-scraping/"]
  • 输出格式output_format选填string
    正文输出格式:markdown(默认)/ text / html
    默认值markdown示例markdown
  • 最大提取文章数max_items选填integer
    单次运行最多提取的文章数(1-10000,默认 10)
    默认值10示例10
  • 提取图片extract_images选填boolean
    是否包含文章中的图片 URL(默认开启);只取正文时关掉可加速
    默认值true示例true
  • 提取链接extract_links选填boolean
    是否包含文章中的外链 URL(默认关闭)
    默认值false示例false
  • 单页超时(秒)timeout选填integer
    每个页面最长等待秒数(5-120,默认 30)
    默认值30示例30
  • 并发数max_concurrency选填integer
    同时处理的页面数(1-50,默认 5;建议保持默认以优先可靠性)
    默认值5示例5

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • URLurlstring
    重定向后的最终 URL
    示例https://blog.apify.com/what-is-web-scraping/
  • 规范 URLcanonicalUrlstring
    基于 HTML <base href> 解析的规范地址(页面未提供时为 null)
  • 标题titlestring
    文章标题(JSON-LD / Open Graph / <title>)
  • 作者authorstring
    第一位作者(meta 或 JSON-LD)

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "url": "https://blog.apify.com/what-is-web-scraping/",
  "canonicalUrl": "<canonicalUrl>",
  "title": "<title>",
  "author": "<author>",
  "publishedDate": "<publishedDate>",
  "description": "<description>",
  "content": "<content>",
  "wordCount": 0,
  "language": "<language>",
  "siteName": "<siteName>",
  "images": "<images>",
  "links": "<links>",
  "ogImage": "<ogImage>",
  "statusCode": 0,
  "extractedAt": "<extractedAt>"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=SpiderByte/article-extractor",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

每篇成功提取的文章

按实际成功返回的数据条数计费,任务失败不计费。

¥0.005/ 条

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.005 / 条