Remote Job Aggregator(多站远程职位聚合)
从 RemoteOK、Remotive、Jobicy、Working Nomads、Himalayas、Hacker News 六个公开职位板聚合远程职位,统一字段、跨站去重后输出标准化职位线索 Feed
概览
从 6 个公开远程职位板聚合职位,统一字段、跨站去重后输出标准化职位 Feed(对齐上游 flash_scraper__remote-job-aggregator 的核心聚合场景):
职位标题、公司、地点、年化薪资、标签、描述、发布日期、资历/工作类型派生字段、职位直链与来源 board。
只覆盖 6 个免 key、无挑战的公开职位板,每个去重职位一行;不含被 Cloudflare 挑战页拦截的 WWR/The Muse/Arbeitnow/DevITjobs,也不含 LinkedIn/Indeed/Glassdoor。
输入
| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
search_terms | string | 空(全部) | 逗号分隔关键词,OR 逻辑;多词短语要求各词都出现;英文效果最好 |
match_descriptions | boolean | true | true=宽匹配(标题+标签+描述前 500 字),false=只匹配标题 |
boards | string | 全部 6 个 | 逗号分隔:remoteok / remotive / jobicy / working_nomads / himalayas / hn_hiring |
max_items | int | 100 | 返回条数上限,1-1000 |
posted_within_days | int | 0 | 只保留最近 N 天发布的职位(0-365);0=不过滤;无日期行默认保留 |
salary_min_annual | int | 0 | 年化薪资下限过滤(不换算币种);0=不过滤;无薪资行默认保留 |
country | string | 空 | 逗号分隔国家/地区,如 US, Germany, EU;全球职位始终保留 |
seniority | string | 空 | 逗号分隔资历:entry/junior/mid/senior/lead/staff/principal/manager/director |
exclude_keywords | string | 空 | 逗号分隔;标题含这些词的职位排除(计费前生效) |
exclude_companies | string | 空 | 逗号分隔;公司名含这些词的职位排除 |
输出字段(26,id_field=record_id)
- 身份:
record_id(job:{job_id})、job_id(16 位指纹,可作 upsert key)、source_board - 职位:
title、company、location、remote、url、posted_at、expires_at - 薪资:
salary_min、salary_max、salary_currency、salary_interval、salary_source、salary_text(自由文本解析或结构化字段,非年薪已年化) - 内容:
tags(JSON 数组字符串)、description_snippet(前 500 字)、description(前 2000 字) - 派生:
seniority、job_type、timezone_restrictions(Himalayas 专属,JSON 数组) - 其他:
company_logo、apply_url、also_on_boards(跨站合并来源)、scraped_at
数据流
- 并发拉取:逐 board 请求公开 API(RemoteOK/Remotive/Jobicy/Working Nomads/Himalayas 为 JSON,HN 走 Algolia 搜最新 "Who is hiring" 帖再读顶层评论)
- 统一映射:每个 board 一个纯函数解析器,字段归一化、HTML 清洗、薪资年化(hourly×2080 / monthly×12 等)
- 过滤:关键词(宽/窄匹配)、国家、发布天数、薪资下限、资历、排除词/公司,均在条数上限前生效
- 去重:
job_id基于 canonical URL(去 www/尾斜杠),重复职位合并also_on_boards并借用缺失字段 - 容错:单 board 失败只记日志,不影响其他 board;全部失败才
upstream-blocked报错;单条脏数据跳过
计费
- 受理 ¥0.10/次 + ¥0.001/条(push_data 计费,去重后计数)
凭证
无需平台凭证。6 个数据源都是公开 keyless API,无需登录、代理或验证码。runtime.json 的 env 为空,「DataApp 上游凭证」零配置。
HTTP 层用 curl_cffi(内置 curl TLS + chrome 指纹)——本机 Python 标准库 SSL 栈在部分环境握手失败(SSL EOF),curl_cffi 已实测 6 路全通。
能力边界(重要)
- 数据源范围:只 6 个可达 board。WWR / The Muse / Arbeitnow / DevITjobs 返回 Cloudflare "Just a moment..." 挑战页,不做付费验证码求解(上游 Actor 也未把这些作为验证码场景,而是直接不采集)。
- 不做增量记忆:
onlyNewJobs90 天记忆需持久化 KV,超出本单范围;每次运行返回当前 feed 全量。 - 公开 feed 非历史归档:只能采样各 board 当前可见职位;各站深度不同(Remotive 约 16 条、RemoteOK 约 100、Jobicy 200/次等)。
- 薪资覆盖有限:多数职位来自 description 文本解析或结构化字段,未披露时为 0;币种未说明留空不猜测。
- HN 解析是 best-effort:社区自由格式,company/title 切分偶尔不准;只保留明确写了 remote 且非求职模板的帖子。
- 回链合规:RemoteOK / Remotive / Jobicy / Himalayas 的条款要求回链来源站,
url字段保留原始来源链接,勿改写为自有域名。
适用边界
仅覆盖 6 个免 key 公开职位板(RemoteOK/Remotive/Jobicy/Working Nomads/Himalayas/HN Who is hiring);不含 WWR/The Muse/Arbeitnow/DevITjobs(Cloudflare 挑战页)、LinkedIn/Indeed/Glassdoor;不含 onlyNewJobs 90 天记忆与 webhook 推送
- 适合用于
- 按关键词批量搜远程职位,做招聘情报或销售线索
- 需要多站去重后的标准化职位 Feed 做后续入库/分析
- 按国家、薪资、资历过滤远程工作机会
- 不要用于
- 需要 LinkedIn/Indeed/Glassdoor 职位(本应用不含这些站)
- 需要历史归档数据(公开 feed 只反映当前可见职位)
- 需要增量 job alert(不含 onlyNewJobs 记忆库)
失败处理
开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。
- 1单个 board 失败只记日志不影响其他 board;全部 board 失败时以 upstream-blocked 明确报错
- 2被 Cloudflare 挑战的站点不在 board 列表内,不做付费验证码求解
- 3某条脏数据解析失败跳过该条,不拖垮整个 board
输入参数
调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。
- 搜索关键词
search_terms选填string逗号分隔的关键词(英文效果最好),OR 逻辑;多词短语如 python developer 要求两词都出现。留空=返回全部职位。默认宽匹配(标题+标签+描述前 500 字),可用 match_descriptions 关掉示例python, developer - 宽匹配描述
match_descriptions选填booleantrue=关键词同时匹配标题、标签和描述摘要(召回高、精度略低);false=只匹配标题默认值true示例true - 数据源 board
boards选填string逗号分隔,可选 remoteok / remotive / jobicy / working_nomads / himalayas / hn_hiring;留空=全部 6 个示例remoteok,remotive,jobicy,working_nomads,himalayas,hn_hiring - 返回条数上限
max_items选填integer单次最多返回多少条去重职位,1-1000,默认 100;各 board 公开 feed 深度不同,实际条数可能略少范围1–1000默认值100示例100 - 发布天数内
posted_within_days选填integer只保留发布日期在最近 N 天内的职位(0-365);0=不过滤。无发布日期的行默认保留范围0–365默认值0示例0 - 最低年薪过滤
salary_min_annual选填integer只保留年化薪资上限不低于该值的职位(不换算币种);0=不过滤。无薪资数据的行默认保留范围0–默认值0示例0 - 国家/地区过滤
country选填string逗号分隔,如 US, Germany, EU, Canada;标注 anywhere/worldwide/remote 的全球职位始终保留。留空=不过滤 - 资历过滤
seniority选填string逗号分隔,可选 entry/junior/mid/senior/lead/staff/principal/manager/director;留空=不过滤 - 排除关键词
exclude_keywords选填string逗号分隔;标题含这些词的职位被排除(在条数上限和计费前生效) - 排除公司
exclude_companies选填string逗号分隔;公司名含这些词的职位被排除(适合屏蔽猎头或已投递公司)
输出数据
单条记录的字段结构,与 manifest.json 的 output.schema 同源。
- 记录唯一键
record_idstringjob:{job_id};同一职位跨站去重后唯一 - 职位指纹
job_idstring16 位十六进制,基于 canonical URL(无 URL 用 title|company);可作 upsert key - 职位标题
titlestring清洗后的职位标题 - 公司
companystring招聘公司名称
示例数据
以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。
{
"record_id": "<record_id>",
"job_id": "<job_id>",
"title": "<title>",
"company": "<company>",
"location": "<location>",
"remote": true,
"salary_min": 0,
"salary_max": 0,
"salary_currency": "<salary_currency>",
"salary_interval": "<salary_interval>",
"salary_source": "<salary_source>",
"salary_text": "<salary_text>",
"url": "<url>",
"source_board": "<source_board>",
"posted_at": "<posted_at>",
"tags": "<tags>",
"description_snippet": "<description_snippet>",
"description": "<description>",
"scraped_at": "<scraped_at>",
"seniority": "<seniority>",
"job_type": "<job_type>",
"company_logo": "<company_logo>",
"apply_url": "<apply_url>",
"expires_at": "<expires_at>",
"timezone_restrictions": "<timezone_restrictions>",
"also_on_boards": "<also_on_boards>"
}调用方式
本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。
通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。
客户端配置
把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。
{
"mcpServers": {
"bazhuayu_datahub": {
"type": "http",
"url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/remote-job-aggregator",
"headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
}
}
}让 AI 自己完成配置
不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。
如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。
价格
每提交一次任务计费一次,与返回条数无关。
按实际成功返回的数据条数计费,任务失败不计费。
多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。
立即体验
填写参数直接运行,结果来自真实调用。