Substack Newsletter 档案采集(含联系方式发现)
批量输入多个 Substack newsletter,每个返回一条档案记录:出版物元数据、订阅数、作者信息、联系邮箱、社媒链接,可选附带最近文章
概览
批量输入多个 Substack newsletter(支持 *.substack.com 与自定义域名),每个 newsletter 返回一条档案记录:出版物元数据(名称、简介、Logo、建刊时间、语言)、订阅数与付费状态、作者档案,以及自动发现的联系邮箱与社媒链接(X/Twitter、LinkedIn、Facebook、Instagram、YouTube)。可选附带最近文章:只带元数据(information)或连全文正文一起(information_and_content)。
面向 B2B 触达(建联清单)、市场调研、竞品分析。无需任何上游凭证,只读公开页面。
数据说明(口径)
- 一条记录 = 一个 newsletter;文章打包在
posts_json字段里(JSON 字符串,JSON.parse后得到文章数组)。要按文章铺平请用文章采集类应用。 - 订阅数:来自站点公开的量级文案(如
1.2M+),换算为整数(1200000)。约一半出版物不公开订阅数,此时subscriber_count为 0、subscriber_count_text为空、subscriber_count_visible为 false。付费订阅只有量级文案(paid_subscribers_text),没有精确数字。 - 联系邮箱:优先取 About 页的 mailto 链接,其次出版物元数据里的发信/支持邮箱(
email_source标注来源)。邮箱覆盖非 100%:作者没放邮箱时字段为空。 - 社媒链接:扫描 About 页里的社媒域名链接,每个平台取第一个主页链接;登录/分享等功能页已过滤。作者未放链接的平台为空。
- 文章正文(information_and_content):走文章详情接口,付费文章也返回完整正文并转纯文本;单篇详情请求失败时该篇缺
content字段,不影响其他文章。 - 单次最多 20 个 newsletter、每刊最多 12 篇文章(与上游同类工具口径一致)。无法识别的输入会被跳过并在日志说明。
与同系列应用分工
| 应用 | 用途 |
|---|---|
| 本应用 | 多 newsletter 档案 + 联系人发现(邮箱/社媒),每刊一条记录 |
| substack-scraper | 单本 newsletter 的全量文章清单(逐篇一条记录) |
| substack-posts-scraper | 按关键词搜索全 Substack 文章 |
| substack-leaderboard-scraper | Substack 分类排行榜(付费/免费/热门) |
| substack-comments-scraper | 单篇文章的评论与回复树 |
| substack-insights-scraper | 单刊互动分析(平均点赞、发文频率等衍生指标) |
典型用法
- B2B 建联:填一批 newsletter 域名,
post_mode=none最快,用contact_email+ 五个社媒字段做触达清单。 - 竞品速览:
post_mode=information,看订阅数、付费状态和最近 12 篇文章的互动数据。 - 内容研究:
post_mode=information_and_content拿全文正文做分析(注意每篇多一次请求,运行更慢)。
适用边界
单次最多 20 个 newsletter,每刊最多 12 篇文章;联系邮箱来自 About 页 mailto 与出版物元数据,覆盖非 100%(无公开邮箱时字段为空);社媒链接从 About 页链接扫描,作者未放链接的平台为空;不提供作者 follower 数、文章评论内容与订阅数历史趋势
- 适合用于
- 需要一批 Substack newsletter 的档案与联系人信息(作者邮箱、社媒主页),做 B2B 触达或建联清单
- 需要订阅数、付费状态、建刊时间等出版物级信息做市场调研或竞品分析
- 需要顺带拿最近文章的标题、互动数据和(可选)全文正文
- 不要用于
- 要采集某本 newsletter 的完整文章清单(全量翻页):应使用文章采集类应用(substack-scraper)
- 要按关键词搜索全 Substack 文章、看排行榜或采集评论:应使用对应搜索/榜单/评论类应用
- 需要作者 follower 数或评论内容:本应用不提供
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1单个 newsletter 失败不影响其余结果;无法识别的输入会被跳过并在运行日志中说明
- 2About 页获取失败时该刊的邮箱与社媒字段可能为空,其余字段正常返回
- 3临时网络失败或被限流时,稍后原样重试即可
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- Newsletter 列表
newsletter_urls必填array<string>要采集档案的 Substack newsletter,每个元素可填完整链接(如 https://www.lennysnewsletter.com)、站点域名(如 www.astralcodexten.com)或裸 handle(如 noahpinion);支持 *.substack.com 与自定义域名,最多 20 个,自动去重数量最多 20 项示例["https://www.lennysnewsletter.com","www.astralcodexten.com"] - 文章输出模式
post_mode选填string(enum)每个 newsletter 附带的最近文章内容:none 只出出版物档案不带文章;information 携带文章元数据(标题、日期、点赞、评论、字数、摘要);information_and_content 再附全文正文(每篇多一次详情请求,较慢)。默认 information可选值noneinformationinformation_and_content默认值information示例information - 每刊文章篇数
max_posts_per_newsletter选填integerpost_mode 非 none 时,每个 newsletter 取最近多少篇文章,最多 12;默认 12范围1–12默认值12示例12
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- 站点标识
handlestringnewsletter 的站点域名标识(去掉 www.),同一出版物保持不变,可用来去重示例www.lennysnewsletter.com - 出版物名称
namestringnewsletter 的显示名称,如 Lenny's Newsletter示例Lenny's Newsletter - 出版物主页
publication_urlstring出版物主页地址(base_url)示例https://www.lennysnewsletter.com - 自定义域名
custom_domainstring绑定的自定义域名;未绑定(*.substack.com 子域名直接访问)时为空示例www.lennysnewsletter.com
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"handle": "www.lennysnewsletter.com",
"name": "Lenny's Newsletter",
"publication_url": "https://www.lennysnewsletter.com",
"custom_domain": "www.lennysnewsletter.com",
"description": "My goal is to make you smarter, happier, and better at your job.",
"language": "en",
"logo_url": "https://substackcdn.com/image/fetch/...",
"cover_photo_url": "<cover_photo_url>",
"created_at": "2019-06-01T15:35:37.885Z",
"first_post_date": "2019-06-14",
"subscriber_count": 1200000,
"subscriber_count_text": "1.2M+",
"subscriber_count_visible": true,
"paid_subscribers_text": "Tens of thousands of paid subscribers",
"payments_enabled": true,
"is_on_substack": false,
"has_posts": true,
"has_podcast": true,
"author_id": "1849774",
"author_name": "Lenny Rachitsky",
"author_handle": "lenny",
"author_bio": "Writing • Angel investing • Advising",
"author_photo_url": "https://substackcdn.com/image/fetch/...",
"author_twitter": "lennysan",
"contact_email": "lenny@lennysnewsletter.com",
"email_source": "about-page",
"twitter_url": "https://x.com/lennysan",
"linkedin_url": "https://www.linkedin.com/in/lennyrachitsky",
"facebook_url": "<facebook_url>",
"instagram_url": "https://www.instagram.com/crumbler",
"youtube_url": "https://www.youtube.com/@LennyRachitsky",
"post_mode": "information",
"posts_count": 12,
"posts_json": "[{\"url\":\"https://www.lennysnewsletter.com/p/example\",\"title\":\"Example post\"}]",
"scraped_at": "2026-11-17T08:00:00.000Z"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/substack-newsletter-scraper",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
每提交一次任务计费一次,与返回条数无关。
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。