Substack 三合一采集器(文章/评论/出版物信息)
一个应用三种模式:按刊物采集文章(最新/最热、可选全文)、批量取读者评论、或出版物资讯档案;支持多刊合批与全站关键词搜索,单次最多 500 条
概览
一个应用三种采集模式(scrape_type 开关),对应上游 cryptosignals/substack-scraper 的 scrapeType 设计:
- posts:按刊物采集文章列表。
sort_by=new最新 /top最热(按点赞数);search_query单独用走全站搜索、与刊物同用做刊内过滤;include_body_text=true附全文正文(付费帖也返回完整正文)。多刊合批,总条数由max_items统一控制(上限 500)。 - comments:按刊物批量取读者评论。从最新文章往后逐篇取样(每刊最多 20 篇),整棵评论树拍平成一条评论一记录,带层级(depth / parent / root),凑够
max_items即停。 - info:每个刊物一条出版物档案:名称、简介、作者、订阅数(数字+量级文案)、Logo、封面、主题色、付费开关、建刊时间等。不带邮箱/社媒发现。
数据说明(口径)
- 一条记录 = 一篇文章 / 一条评论 / 一个刊物档案,三种模式共用一套平铺字段,不相关的字段为空值;
record_id可用于去重。 - 订阅数:来自站点公开量级文案(如
1.2M+),换算为整数;约一半刊物不公开,此时为 0、文案为空。 - 最热排序(top):走归档接口
sort=top,按全历史点赞数降序,游标翻页。 - 评论层级:
depth=0为顶级评论,parent_comment_id指向直接父评论,root_comment_id指向所在树根;已删除评论被过滤。 - 评论覆盖怪癖:部分刊物评论接口返回空(如 lennysnewsletter.com 实测
comment_count>0但接口 0 条,评论可能托管在独立社区),按 0 条正常处理。 - 全站搜索:
search_query单独使用时走 substack.com 接口,部分网络环境不可达;sort_by对全局搜索不生效。 - 文章 tags:上游宣传有标签字段,但接口实测没有,不提供。
- 单次最多 20 个刊物、500 条记录;无法识别的输入跳过并在日志说明。
与同系列应用分工
| 应用 | 用途 |
|---|---|
| 本应用 | 三合一:多刊文章(含 top 排序/大单量)、批量评论、刊物档案 |
| substack-scraper | 单本刊物全量文章清单(逐篇一条) |
| substack-posts-scraper | 按关键词搜索 + 互动分析字段 |
| substack-comments-scraper | 单篇文章评论树深度采集 |
| substack-insights-scraper | 单刊互动分析(平均点赞、发文频率等衍生指标) |
| substack-newsletter-scraper | 多刊档案 + 邮箱/社媒联系人发现 |
典型用法
- 竞品内容研究:
scrape_type=posts+sort_by=top,拿某刊历史最热文章 Top N。 - 舆情/情绪分析:
scrape_type=comments+max_items=200,批量拉最新读者评论带层级。 - 刊物速览:
scrape_type=info,一批刊物的订阅数与付费状态一表带走。 - 内容复用:
scrape_type=posts+include_body_text=true,正文喂 LLM 做摘要/翻译。
适用边界
单次最多 20 个刊物、500 条记录;全站关键词搜索走 substack.com 接口(部分网络环境不可达,本地未实测);部分刊物的评论接口返回空(如 lennysnewsletter.com 实测,评论可能托管在独立社区);文章不提供 tags 标签;info 模式不带作者邮箱与社媒发现(用 substack-newsletter-scraper)
- 适合用于
- 想要一个入口搞定 Substack 三类数据:文章列表、读者评论、出版物档案,不想分别开多个应用
- 需要按热度(最热文章)而不只是时间序采集,或单次要拿到上百条记录
- 需要多本 newsletter 合批采集,总条数由 max_items 统一控制
- 不要用于
- 要单篇文章的完整评论线程深度解析:用 substack-comments-scraper
- 要作者邮箱/社媒链接等联系人发现:用 substack-newsletter-scraper
- 要按关键词跨 Substack 搜索并做互动分析:用 substack-posts-scraper
- 要单本 newsletter 的全量文章清单或互动分析指标:用 substack-scraper / substack-insights-scraper
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1单个刊物失败不影响其余刊物;无法识别的输入会被跳过并在日志中说明
- 2评论接口返回空列表按 0 条评论正常处理(部分刊物的评论不在该接口)
- 3临时网络失败或被限流时,稍后原样重试即可
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- 采集模式
scrape_type必填string(enum)三选一:posts 按刊物采集文章列表;comments 按刊物批量取读者评论(从最新文章往后逐篇取样);info 每个刊物返回一条出版物档案。默认 posts可选值postscommentsinfo默认值posts示例posts - 刊物列表
publications选填array<string>要采集的 Substack 刊物,每个元素可填链接(如 https://www.lennysnewsletter.com)、站点域名或裸 handle(如 noahpinion),最多 20 个,自动去重;posts/comments 模式必填其一;info 模式必填数量最多 20 项示例["www.astralcodexten.com"] - 搜索关键词
search_query选填stringposts 模式可用:单独使用时走全 Substack 站内搜索(部分网络环境不可达);与 publications 同时使用时作为刊内关键词过滤(已实测)。comments/info 模式忽略此参数 - 排序方式
sort_by选填string(enum)posts 模式按刊物采集时的排序:new 最新在前(默认)、top 最热在前(按点赞数,游标翻页);全局搜索模式下此参数不生效可选值newtop默认值new示例new - 总条数上限
max_items选填integer本次运行最多返回的记录总数(文章/评论/档案合计),跨刊物共享预算;默认 50,最大 500范围1–500默认值50示例50 - 附带全文正文
include_body_text选填boolean仅 posts 模式生效:为每篇文章补一次详情请求,把正文转成纯文本放进 body_text(付费文章也返回完整正文);会明显增加运行时间默认值false示例false
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- 记录 ID
record_idstring记录唯一标识:posts:{刊物}:{文章ID}、comments:{刊物}:{评论ID} 或 info:{刊物},可用于去重示例posts:astralcodexten.com:224206488 - 采集模式
scrape_typestring本条记录来自哪个模式(posts / comments / info),回显输入示例posts - 刊物标识
publicationstring记录所属刊物的站点域名标识(去掉 www.);全局搜索结果由文章自带信息推导示例astralcodexten.com - 刊物名称
publication_namestring记录所属刊物的显示名称(posts/info 模式有值,comments 模式为空)示例Astral Codex Ten
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"record_id": "posts:astralcodexten.com:224206488",
"scrape_type": "posts",
"publication": "astralcodexten.com",
"publication_name": "Astral Codex Ten",
"post_id": "224206488",
"title": "Open Thread 460",
"subtitle": "<subtitle>",
"slug": "open-thread-460",
"url": "https://www.astralcodexten.com/p/open-thread-460",
"published_at": "2026-11-17T01:00:00.000Z",
"author": "Scott Alexander",
"likes": 45,
"comments_count": 27,
"word_count": 108,
"is_paywalled": false,
"preview_text": "This is the bi-weekly open thread...",
"cover_image": "<cover_image>",
"body_text": "<body_text>",
"comment_id": "12345678",
"comment_body": "I've been having a lot of fun making websites...",
"comment_date": "2026-11-16T10:00:00.000Z",
"comment_likes": 23,
"parent_comment_id": "<parent_comment_id>",
"root_comment_id": "12345678",
"depth": 0,
"description": "Independent reporting on AI and social platforms",
"author_bio": "Writing • Angel investing • Advising",
"logo_url": "https://substackcdn.com/image/fetch/...",
"theme_color": "#f47c55",
"subscriber_count": 1200000,
"subscriber_count_text": "1.2M+",
"created_at": "2019-06-01T15:35:37.885Z",
"payments_enabled": true,
"has_podcast": false,
"custom_domain": "www.astralcodexten.com",
"scraped_at": "2026-11-17T08:00:00.000Z"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/substack-multi-scraper",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
每提交一次任务计费一次,与返回条数无关。
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。