Substack Newsletter 文章批量采集
输入若干 Substack newsletter 地址,批量返回其文章清单,含标题、发布时间、互动数与可选正文
概览
给一批 Substack newsletter 的地址,就能拿回它们的文章清单:每篇文章一行,带标题、发布时间、付费或免费、点赞评论等互动数据和话题标签,开启开关后还能带免费帖的正文纯文本。适合做内容竞品监测、选题调研,或把高质量 newsletter 内容沉淀成自己的素材库。
数据全部来自 Substack 的公开文章归档,每次运行实时抓取,不需要任何登录或密钥。多个 newsletter 可以放在同一次运行里,地址按站点域名或链接填写均可。
数据说明
文章按发布时间从新到旧排列;同一篇文章的「文章 ID」保持不变,跨多次运行可按它去重。「是否付费帖」按文章受众判定。开启「包含文章正文」开关后会逐篇返回「正文纯文本」;付费帖的正文可用性不保证,缺失时该列为空。所有时间是 UTC 时间。「点赞数」是文章收到的全部表情反应的总数。不覆盖的内容:评论的具体内容、newsletter 的订阅人数。
结果长什么样
每条记录是一篇文章。
| 文章标题 | 发布时间 | 是否付费帖 | 点赞数 | 评论数 | 作者 |
|---|---|---|---|---|---|
| State of the tech job market: late 2026 | 2026-11-10 | 是 | 389 | 38 | Lenny Rachitsky |
| AI Company Employees Should Unionize | 2026-11-07 | 否 | 322 | 227 | Scott Alexander |
另有文章链接、副标题、摘要、字数、话题标签、转发数、内容类型、出版物域名等其他字段。
应用场景
- 竞品内容监测:定期采集同赛道几个 newsletter,对比「文章标题」「话题标签」与「点赞数」「评论数」,看哪些选题在别的刊物上反响最好。
- 爆款选题复盘:按「发布时间」排列「点赞数」「转发数」,找出高互动文章的题材和发布节奏规律。
- 素材库与 AI 语料建设:开启「包含文章正文」,用「正文纯文本」「文章标题」「话题标签」把免费帖沉淀成可检索的文本库。
- 媒体矩阵盘点:用「出版物域名」「作者」统计同一矩阵下多个 newsletter 的更新频率和活跃度。
适用边界
每次最多 10 个 newsletter、每个最多 100 篇(全量归档模式有平台保护上限);仅公开数据,付费帖的正文可用性不保证,缺失时该列为空
- 适合用于
- 需要某个 Substack newsletter 的近期或全量文章清单做内容分析、竞品监测或选题调研
- 不要用于
- 需要保证每篇文章都有完整正文:付费帖的正文可用性不保证(缺失则为空)
- 需要文章评论内容或出版物订阅数数据
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1单个 newsletter 失败不影响其余结果;无法识别的地址会被跳过并在运行日志中说明
- 2临时网络失败或被限流时,稍后原样重试即可
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- Newsletter 地址列表
urls必填array<string>要采集的 Substack newsletter,每个元素填站点域名(如 www.lennysnewsletter.com)或该站点的任意链接,最多 10 个,自动去重数量最多 10 项示例["www.astralcodexten.com"] - 每个 newsletter 的篇数上限
max_posts_per_newsletter选填integer按发布时间从新到旧采集,达到该数量即停;填 0 表示采集全量归档(有平台保护上限),默认 50范围0–100默认值50 - 包含文章正文
include_content选填boolean开启后逐篇补全免费帖的正文纯文本,运行时间明显变长;关闭时正文列为空。默认关闭默认值false
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- 文章 ID
post_idstring文章在平台内的唯一标识,同一篇文章保持不变,可用来去重示例224206488 - 文章标题
titlestring文章的完整标题示例State of the tech job market: late 2026 - 副标题
subtitlestring文章的副标题,没有则为空示例PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software - 文章链接
urlstring文章的规范访问地址示例https://www.lennysnewsletter.com/p/state-of-the-tech-job-market-late
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"post_id": "224206488",
"title": "State of the tech job market: late 2026",
"subtitle": "PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software",
"url": "https://www.lennysnewsletter.com/p/state-of-the-tech-job-market-late",
"published_at": "2026-11-10T15:04:03.497Z",
"post_type": "newsletter",
"audience": "only_paid",
"is_paid": true,
"body_text": "<body_text>",
"wordcount": 2183,
"cover_image": "https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8be609d0-ed10-464c-8b94-d052d45956da_2912x1940.png",
"description": "PMs are winning, engineers are plateauing, designers are hurting, and the biggest AI hiring boom isn't in software",
"tags": "<tags>",
"reaction_count": 389,
"comment_count": 38,
"restacks": 35,
"author_name": "Lenny Rachitsky",
"publication_domain": "www.lennysnewsletter.com",
"publication_url": "https://www.lennysnewsletter.com",
"scraped_at": "2026-11-17T02:30:00.000Z"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/substack-scraper",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
每提交一次任务计费一次,与返回条数无关。
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。