logo

Substack 三合一采集器(文章/评论/出版物信息)

一个应用三种模式:按刊物采集文章(最新/最热、可选全文)、批量取读者评论、或出版物资讯档案;支持多刊合批与全站关键词搜索,单次最多 500 条

发布者
价格
¥0.001 / 条
最近更新
2026-11-17

概览

一个应用三种采集模式(scrape_type 开关),对应上游 cryptosignals/substack-scraper 的 scrapeType 设计:

  • posts:按刊物采集文章列表。sort_by=new 最新 / top 最热(按点赞数);search_query 单独用走全站搜索、与刊物同用做刊内过滤;include_body_text=true 附全文正文(付费帖也返回完整正文)。多刊合批,总条数由 max_items 统一控制(上限 500)。
  • comments:按刊物批量取读者评论。从最新文章往后逐篇取样(每刊最多 20 篇),整棵评论树拍平成一条评论一记录,带层级(depth / parent / root),凑够 max_items 即停。
  • info:每个刊物一条出版物档案:名称、简介、作者、订阅数(数字+量级文案)、Logo、封面、主题色、付费开关、建刊时间等。不带邮箱/社媒发现。

数据说明(口径)

  • 一条记录 = 一篇文章 / 一条评论 / 一个刊物档案,三种模式共用一套平铺字段,不相关的字段为空值;record_id 可用于去重。
  • 订阅数:来自站点公开量级文案(如 1.2M+),换算为整数;约一半刊物不公开,此时为 0、文案为空。
  • 最热排序(top):走归档接口 sort=top,按全历史点赞数降序,游标翻页。
  • 评论层级:depth=0 为顶级评论,parent_comment_id 指向直接父评论,root_comment_id 指向所在树根;已删除评论被过滤。
  • 评论覆盖怪癖:部分刊物评论接口返回空(如 lennysnewsletter.com 实测 comment_count>0 但接口 0 条,评论可能托管在独立社区),按 0 条正常处理。
  • 全站搜索:search_query 单独使用时走 substack.com 接口,部分网络环境不可达;sort_by 对全局搜索不生效。
  • 文章 tags:上游宣传有标签字段,但接口实测没有,不提供。
  • 单次最多 20 个刊物、500 条记录;无法识别的输入跳过并在日志说明。

与同系列应用分工

应用用途
本应用三合一:多刊文章(含 top 排序/大单量)、批量评论、刊物档案
substack-scraper单本刊物全量文章清单(逐篇一条)
substack-posts-scraper按关键词搜索 + 互动分析字段
substack-comments-scraper单篇文章评论树深度采集
substack-insights-scraper单刊互动分析(平均点赞、发文频率等衍生指标)
substack-newsletter-scraper多刊档案 + 邮箱/社媒联系人发现

典型用法

  1. 竞品内容研究:scrape_type=posts + sort_by=top,拿某刊历史最热文章 Top N。
  2. 舆情/情绪分析:scrape_type=comments + max_items=200,批量拉最新读者评论带层级。
  3. 刊物速览:scrape_type=info,一批刊物的订阅数与付费状态一表带走。
  4. 内容复用:scrape_type=posts + include_body_text=true,正文喂 LLM 做摘要/翻译。

适用边界

单次最多 20 个刊物、500 条记录;全站关键词搜索走 substack.com 接口(部分网络环境不可达,本地未实测);部分刊物的评论接口返回空(如 lennysnewsletter.com 实测,评论可能托管在独立社区);文章不提供 tags 标签;info 模式不带作者邮箱与社媒发现(用 substack-newsletter-scraper)

  • 适合用于
  • 想要一个入口搞定 Substack 三类数据:文章列表、读者评论、出版物档案,不想分别开多个应用
  • 需要按热度(最热文章)而不只是时间序采集,或单次要拿到上百条记录
  • 需要多本 newsletter 合批采集,总条数由 max_items 统一控制
  • 不要用于
  • 要单篇文章的完整评论线程深度解析:用 substack-comments-scraper
  • 要作者邮箱/社媒链接等联系人发现:用 substack-newsletter-scraper
  • 要按关键词跨 Substack 搜索并做互动分析:用 substack-posts-scraper
  • 要单本 newsletter 的全量文章清单或互动分析指标:用 substack-scraper / substack-insights-scraper

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1单个刊物失败不影响其余刊物;无法识别的输入会被跳过并在日志中说明
  2. 2评论接口返回空列表按 0 条评论正常处理(部分刊物的评论不在该接口)
  3. 3临时网络失败或被限流时,稍后原样重试即可

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • 采集模式scrape_type必填string(enum)
    三选一:posts 按刊物采集文章列表;comments 按刊物批量取读者评论(从最新文章往后逐篇取样);info 每个刊物返回一条出版物档案。默认 posts
    可选值postscommentsinfo默认值posts示例posts
  • 刊物列表publications选填array<string>
    要采集的 Substack 刊物,每个元素可填链接(如 https://www.lennysnewsletter.com)、站点域名或裸 handle(如 noahpinion),最多 20 个,自动去重;posts/comments 模式必填其一;info 模式必填
    数量最多 20 项示例["www.astralcodexten.com"]
  • 搜索关键词search_query选填string
    posts 模式可用:单独使用时走全 Substack 站内搜索(部分网络环境不可达);与 publications 同时使用时作为刊内关键词过滤(已实测)。comments/info 模式忽略此参数
  • 排序方式sort_by选填string(enum)
    posts 模式按刊物采集时的排序:new 最新在前(默认)、top 最热在前(按点赞数,游标翻页);全局搜索模式下此参数不生效
    可选值newtop默认值new示例new
  • 总条数上限max_items选填integer
    本次运行最多返回的记录总数(文章/评论/档案合计),跨刊物共享预算;默认 50,最大 500
    范围1–500默认值50示例50
  • 附带全文正文include_body_text选填boolean
    仅 posts 模式生效:为每篇文章补一次详情请求,把正文转成纯文本放进 body_text(付费文章也返回完整正文);会明显增加运行时间
    默认值false示例false

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • 记录 IDrecord_idstring
    记录唯一标识:posts:{刊物}:{文章ID}、comments:{刊物}:{评论ID} 或 info:{刊物},可用于去重
    示例posts:astralcodexten.com:224206488
  • 采集模式scrape_typestring
    本条记录来自哪个模式(posts / comments / info),回显输入
    示例posts
  • 刊物标识publicationstring
    记录所属刊物的站点域名标识(去掉 www.);全局搜索结果由文章自带信息推导
    示例astralcodexten.com
  • 刊物名称publication_namestring
    记录所属刊物的显示名称(posts/info 模式有值,comments 模式为空)
    示例Astral Codex Ten

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "record_id": "posts:astralcodexten.com:224206488",
  "scrape_type": "posts",
  "publication": "astralcodexten.com",
  "publication_name": "Astral Codex Ten",
  "post_id": "224206488",
  "title": "Open Thread 460",
  "subtitle": "<subtitle>",
  "slug": "open-thread-460",
  "url": "https://www.astralcodexten.com/p/open-thread-460",
  "published_at": "2026-11-17T01:00:00.000Z",
  "author": "Scott Alexander",
  "likes": 45,
  "comments_count": 27,
  "word_count": 108,
  "is_paywalled": false,
  "preview_text": "This is the bi-weekly open thread...",
  "cover_image": "<cover_image>",
  "body_text": "<body_text>",
  "comment_id": "12345678",
  "comment_body": "I've been having a lot of fun making websites...",
  "comment_date": "2026-11-16T10:00:00.000Z",
  "comment_likes": 23,
  "parent_comment_id": "<parent_comment_id>",
  "root_comment_id": "12345678",
  "depth": 0,
  "description": "Independent reporting on AI and social platforms",
  "author_bio": "Writing • Angel investing • Advising",
  "logo_url": "https://substackcdn.com/image/fetch/...",
  "theme_color": "#f47c55",
  "subscriber_count": 1200000,
  "subscriber_count_text": "1.2M+",
  "created_at": "2019-06-01T15:35:37.885Z",
  "payments_enabled": true,
  "has_podcast": false,
  "custom_domain": "www.astralcodexten.com",
  "scraped_at": "2026-11-17T08:00:00.000Z"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/substack-multi-scraper",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

运行受理

每提交一次任务计费一次,与返回条数无关。

¥0.1/ 次
每条记录

按实际成功返回的数据条数计费,任务失败不计费。

¥0.001/ 条

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.001 / 条