logo

Substack Newsletter 文章批量采集

输入若干 Substack newsletter 地址,批量返回其文章清单,含标题、发布时间、互动数与可选正文

发布者
价格
¥0.001 / 条
最近更新
2026-11-17

概览

给一批 Substack newsletter 的地址,就能拿回它们的文章清单:每篇文章一行,带标题、发布时间、付费或免费、点赞评论等互动数据和话题标签,开启开关后还能带免费帖的正文纯文本。适合做内容竞品监测、选题调研,或把高质量 newsletter 内容沉淀成自己的素材库。

数据全部来自 Substack 的公开文章归档,每次运行实时抓取,不需要任何登录或密钥。多个 newsletter 可以放在同一次运行里,地址按站点域名或链接填写均可。

数据说明

文章按发布时间从新到旧排列;同一篇文章的「文章 ID」保持不变,跨多次运行可按它去重。「是否付费帖」按文章受众判定。开启「包含文章正文」开关后会逐篇返回「正文纯文本」;付费帖的正文可用性不保证,缺失时该列为空。所有时间是 UTC 时间。「点赞数」是文章收到的全部表情反应的总数。不覆盖的内容:评论的具体内容、newsletter 的订阅人数。

结果长什么样

每条记录是一篇文章。

文章标题发布时间是否付费帖点赞数评论数作者
State of the tech job market: late 20262026-11-10是38938Lenny Rachitsky
AI Company Employees Should Unionize2026-11-07否322227Scott Alexander

另有文章链接、副标题、摘要、字数、话题标签、转发数、内容类型、出版物域名等其他字段。

应用场景

  • 竞品内容监测:定期采集同赛道几个 newsletter,对比「文章标题」「话题标签」与「点赞数」「评论数」,看哪些选题在别的刊物上反响最好。
  • 爆款选题复盘:按「发布时间」排列「点赞数」「转发数」,找出高互动文章的题材和发布节奏规律。
  • 素材库与 AI 语料建设:开启「包含文章正文」,用「正文纯文本」「文章标题」「话题标签」把免费帖沉淀成可检索的文本库。
  • 媒体矩阵盘点:用「出版物域名」「作者」统计同一矩阵下多个 newsletter 的更新频率和活跃度。

适用边界

每次最多 10 个 newsletter、每个最多 100 篇(全量归档模式有平台保护上限);仅公开数据,付费帖的正文可用性不保证,缺失时该列为空

  • 适合用于
  • 需要某个 Substack newsletter 的近期或全量文章清单做内容分析、竞品监测或选题调研
  • 不要用于
  • 需要保证每篇文章都有完整正文:付费帖的正文可用性不保证(缺失则为空)
  • 需要文章评论内容或出版物订阅数数据

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1单个 newsletter 失败不影响其余结果;无法识别的地址会被跳过并在运行日志中说明
  2. 2临时网络失败或被限流时,稍后原样重试即可

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • Newsletter 地址列表urls必填array<string>
    要采集的 Substack newsletter,每个元素填站点域名(如 www.lennysnewsletter.com)或该站点的任意链接,最多 10 个,自动去重
    数量最多 10 项示例["www.astralcodexten.com"]
  • 每个 newsletter 的篇数上限max_posts_per_newsletter选填integer
    按发布时间从新到旧采集,达到该数量即停;填 0 表示采集全量归档(有平台保护上限),默认 50
    范围0–100默认值50
  • 包含文章正文include_content选填boolean
    开启后逐篇补全免费帖的正文纯文本,运行时间明显变长;关闭时正文列为空。默认关闭
    默认值false

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • 文章 IDpost_idstring
    文章在平台内的唯一标识,同一篇文章保持不变,可用来去重
    示例224206488
  • 文章标题titlestring
    文章的完整标题
    示例State of the tech job market: late 2026
  • 副标题subtitlestring
    文章的副标题,没有则为空
    示例PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software
  • 文章链接urlstring
    文章的规范访问地址
    示例https://www.lennysnewsletter.com/p/state-of-the-tech-job-market-late

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "post_id": "224206488",
  "title": "State of the tech job market: late 2026",
  "subtitle": "PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software",
  "url": "https://www.lennysnewsletter.com/p/state-of-the-tech-job-market-late",
  "published_at": "2026-11-10T15:04:03.497Z",
  "post_type": "newsletter",
  "audience": "only_paid",
  "is_paid": true,
  "body_text": "<body_text>",
  "wordcount": 2183,
  "cover_image": "https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8be609d0-ed10-464c-8b94-d052d45956da_2912x1940.png",
  "description": "PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software",
  "tags": "<tags>",
  "reaction_count": 389,
  "comment_count": 38,
  "restacks": 35,
  "author_name": "Lenny Rachitsky",
  "publication_domain": "www.lennysnewsletter.com",
  "publication_url": "https://www.lennysnewsletter.com",
  "scraped_at": "2026-11-17T02:30:00.000Z"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/substack-scraper",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

运行受理

每提交一次任务计费一次,与返回条数无关。

¥0.1/ 次
每篇文章

按实际成功返回的数据条数计费,任务失败不计费。

¥0.001/ 条

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.001 / 条