logo

Feeding LLM新闻文章正文抓取

给定新闻文章 URL 列表,返回每篇的正文纯文本、标题、作者、发布日期和主图,已去除导航/广告等版面噪声,一行一篇文章,可直接用于 LLM 训练、RAG 语料和市场情报

发布者
价格
¥0.005 / 条
最近更新
2026-11-18

概览

喂给 LLM 的新闻语料,难点从来不是下载网页,是"干净":正文里混着导航、广告、相关推荐、订阅弹窗,直接入库全是噪声。

这份数据把新闻文章变成干净的 JSON:给文章 URL 列表,返回每篇的正文纯文本、标题、作者、发布日期和主图,一行一篇文章,版面噪声已剔除,直接进 LLM 训练、RAG 向量库或舆情监测管线。

数据说明

URL 须指向文章页本身(不是栏目首页或列表页)。正文用版面启发式抽取:自动识别文章主体区块,去除导航栏、广告位、相关推荐、订阅提示等噪声,保留段落结构。标题、作者、发布日期和主图取自页面元数据(og 标签等),页面未标注时对应字段为空。每次运行最多 20 个 URL,并行处理。

部分大型媒体站点(如 BBC、Reuters、AP)对数据中心 IP 有反爬策略,此类 URL 会返回失败行并注明原因;失败的 URL 也会返回记录(带错误信息),不会静默丢失,方便换源重试。

结果长什么样

一条记录对应一篇文章(示例:CNBC 财经新闻):

URLTitleAuthorsPublish DateText(节选)
https://www.cnbc.com/2026/11/17/megaspeed-...U.S. agencies say they initiated investigation into Nvidia partner Megaspeed in 2024Lim Hui Jie2026-11-17The U.S. Commerce and Justice Department on Monday said they had initiated an investigation into Singapore-based company Megaspeed in 2024…

应用场景

舆情与市场情报:定时抓取公司相关报道正文,喂给 LLM 做情感分析、事件摘要和风险提示。

RAG 新闻知识库:把带标题/作者/日期的完整文章语料入向量库,检索问答有据可引。

LLM 训练数据:批量收集某主题的新闻正文,去噪后的纯文本可直接进训练管线。

适用边界

正文抽取用版面启发式算法(去导航/广告/推荐位),面向标准新闻文章页;对重设计版面或视频主导页面效果差;部分站点对数据中心 IP 反爬(实测 BBC/Reuters/AP 全站 403),此类 URL 按 failed 行返回并注明原因;URL 须指向文章页本身而非栏目首页;每次运行最多 20 个 URL;失败的 URL 也返回记录(status=failed + error 原因),不静默丢弃

  • 适合用于
  • 批量抓取指定新闻文章的正文,喂给 LLM 做摘要、情感分析或舆情监测
  • 为 RAG 管线收集带标题/作者/日期/主图的完整文章语料
  • 定时监测特定报道页面(分析师评论、公司新闻稿)的内容更新
  • 不要用于
  • 从零发现新闻(本应用只抓给定的文章 URL,不搜索、不爬栏目页)
  • 目标站点需要登录、付费墙或对数据中心 IP 强反爬(会按 failed 返回)
  • 需要文章下的评论区、视频内容或结构化表格

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1单个 URL 失败只影响该条:按 failed 行返回并给明确原因(HTTP 状态码/下载失败/非文章页)
  2. 2页面返回 200 但提取不出正文时同样按 failed 行返回
  3. 3站点返回非 200(反爬、文章下线)按 failed 行返回,不重试

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • Start URLsstart_urls必填array<string>
    新闻文章页面的 URL 列表(须指向文章页本身,非栏目首页);每次运行最多 20 个。注意部分站点(如 BBC、Reuters、AP)对数据中心 IP 反爬,会按 failed 行返回。
    数量最多 20 项示例["https://www.cnbc.com/2026/11/17/megaspeed-investigation-nvidia-jensen-huang.html"]

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • URLurlstring
    文章来源 URL;同一批结果按此去重
    示例https://www.cnbc.com/2026/11/17/megaspeed-investigation-nvidia-jensen-huang.html
  • Titletitlestring
    文章标题;页面无标题或提取失败时为空字符串
    示例U.S. agencies say they initiated investigation into Nvidia partner Megaspeed in 2024
  • Authorsauthorsstring
    作者列表;页面未署名时为空数组
    示例["Lim Hui Jie"]
  • Publish Datepublish_datestring
    发布日期(YYYY-MM-DD,尽量取自页面元数据);页面未标注时为空字符串
    示例2026-11-17

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "url": "https://www.cnbc.com/2026/11/17/megaspeed-investigation-nvidia-jensen-huang.html",
  "title": "U.S. agencies say they initiated investigation into Nvidia partner Megaspeed in 2024",
  "authors": "[\"Lim Hui Jie\"]",
  "publish_date": "2026-11-17",
  "text": "The U.S. Commerce and Justice Department on Monday said they had initiated an investigation into Singapore-based company Megaspeed in 2024...",
  "image": "https://image.cnbcfm.com/api/v1/image/108548786-1794383341968-gettyimages-2303986643-AFP_D6ZC9WF.jpeg",
  "scraped_at": "2026-11-17T09:00:00Z",
  "status": "success",
  "error": "<error>"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=SpiderByte/news-article-scraper",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

每篇文章

按实际成功返回的数据条数计费,任务失败不计费。

¥0.005/ 条

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.005 / 条