logo

Remote Job Aggregator(多站远程职位聚合)

从 RemoteOK、Remotive、Jobicy、Working Nomads、Himalayas、Hacker News 六个公开职位板聚合远程职位,统一字段、跨站去重后输出标准化职位线索 Feed

发布者
价格
¥0.001 / 条
最近更新
2026-11-19

概览

从 6 个公开远程职位板聚合职位,统一字段、跨站去重后输出标准化职位 Feed(对齐上游 flash_scraper__remote-job-aggregator 的核心聚合场景): 职位标题、公司、地点、年化薪资、标签、描述、发布日期、资历/工作类型派生字段、职位直链与来源 board。

只覆盖 6 个免 key、无挑战的公开职位板,每个去重职位一行;不含被 Cloudflare 挑战页拦截的 WWR/The Muse/Arbeitnow/DevITjobs,也不含 LinkedIn/Indeed/Glassdoor。

输入

参数类型默认说明
search_termsstring空(全部)逗号分隔关键词,OR 逻辑;多词短语要求各词都出现;英文效果最好
match_descriptionsbooleantruetrue=宽匹配(标题+标签+描述前 500 字),false=只匹配标题
boardsstring全部 6 个逗号分隔:remoteok / remotive / jobicy / working_nomads / himalayas / hn_hiring
max_itemsint100返回条数上限,1-1000
posted_within_daysint0只保留最近 N 天发布的职位(0-365);0=不过滤;无日期行默认保留
salary_min_annualint0年化薪资下限过滤(不换算币种);0=不过滤;无薪资行默认保留
countrystring空逗号分隔国家/地区,如 US, Germany, EU;全球职位始终保留
senioritystring空逗号分隔资历:entry/junior/mid/senior/lead/staff/principal/manager/director
exclude_keywordsstring空逗号分隔;标题含这些词的职位排除(计费前生效)
exclude_companiesstring空逗号分隔;公司名含这些词的职位排除

输出字段(26,id_field=record_id)

  • 身份:record_id(job:{job_id})、job_id(16 位指纹,可作 upsert key)、source_board
  • 职位:title、company、location、remote、url、posted_at、expires_at
  • 薪资:salary_min、salary_max、salary_currency、salary_interval、salary_source、salary_text(自由文本解析或结构化字段,非年薪已年化)
  • 内容:tags(JSON 数组字符串)、description_snippet(前 500 字)、description(前 2000 字)
  • 派生:seniority、job_type、timezone_restrictions(Himalayas 专属,JSON 数组)
  • 其他:company_logo、apply_url、also_on_boards(跨站合并来源)、scraped_at

数据流

  1. 并发拉取:逐 board 请求公开 API(RemoteOK/Remotive/Jobicy/Working Nomads/Himalayas 为 JSON,HN 走 Algolia 搜最新 "Who is hiring" 帖再读顶层评论)
  2. 统一映射:每个 board 一个纯函数解析器,字段归一化、HTML 清洗、薪资年化(hourly×2080 / monthly×12 等)
  3. 过滤:关键词(宽/窄匹配)、国家、发布天数、薪资下限、资历、排除词/公司,均在条数上限前生效
  4. 去重:job_id 基于 canonical URL(去 www/尾斜杠),重复职位合并 also_on_boards 并借用缺失字段
  5. 容错:单 board 失败只记日志,不影响其他 board;全部失败才 upstream-blocked 报错;单条脏数据跳过

计费

  • 受理 ¥0.10/次 + ¥0.001/条(push_data 计费,去重后计数)

凭证

无需平台凭证。6 个数据源都是公开 keyless API,无需登录、代理或验证码。runtime.json 的 env 为空,「DataApp 上游凭证」零配置。

HTTP 层用 curl_cffi(内置 curl TLS + chrome 指纹)——本机 Python 标准库 SSL 栈在部分环境握手失败(SSL EOF),curl_cffi 已实测 6 路全通。

能力边界(重要)

  1. 数据源范围:只 6 个可达 board。WWR / The Muse / Arbeitnow / DevITjobs 返回 Cloudflare "Just a moment..." 挑战页,不做付费验证码求解(上游 Actor 也未把这些作为验证码场景,而是直接不采集)。
  2. 不做增量记忆:onlyNewJobs 90 天记忆需持久化 KV,超出本单范围;每次运行返回当前 feed 全量。
  3. 公开 feed 非历史归档:只能采样各 board 当前可见职位;各站深度不同(Remotive 约 16 条、RemoteOK 约 100、Jobicy 200/次等)。
  4. 薪资覆盖有限:多数职位来自 description 文本解析或结构化字段,未披露时为 0;币种未说明留空不猜测。
  5. HN 解析是 best-effort:社区自由格式,company/title 切分偶尔不准;只保留明确写了 remote 且非求职模板的帖子。
  6. 回链合规:RemoteOK / Remotive / Jobicy / Himalayas 的条款要求回链来源站,url 字段保留原始来源链接,勿改写为自有域名。

适用边界

仅覆盖 6 个免 key 公开职位板(RemoteOK/Remotive/Jobicy/Working Nomads/Himalayas/HN Who is hiring);不含 WWR/The Muse/Arbeitnow/DevITjobs(Cloudflare 挑战页)、LinkedIn/Indeed/Glassdoor;不含 onlyNewJobs 90 天记忆与 webhook 推送

  • 适合用于
  • 按关键词批量搜远程职位,做招聘情报或销售线索
  • 需要多站去重后的标准化职位 Feed 做后续入库/分析
  • 按国家、薪资、资历过滤远程工作机会
  • 不要用于
  • 需要 LinkedIn/Indeed/Glassdoor 职位(本应用不含这些站)
  • 需要历史归档数据(公开 feed 只反映当前可见职位)
  • 需要增量 job alert(不含 onlyNewJobs 记忆库)

失败处理

开发者声明的失败与重试处理方式,接入时建议一并写进系统提示词。

  1. 1单个 board 失败只记日志不影响其他 board;全部 board 失败时以 upstream-blocked 明确报错
  2. 2被 Cloudflare 挑战的站点不在 board 列表内,不做付费验证码求解
  3. 3某条脏数据解析失败跳过该条,不拖垮整个 board

输入参数

调用本 Data App 需要传入的参数,与 manifest.json 的 input.schema 同源。

  • 搜索关键词search_terms选填string
    逗号分隔的关键词(英文效果最好),OR 逻辑;多词短语如 python developer 要求两词都出现。留空=返回全部职位。默认宽匹配(标题+标签+描述前 500 字),可用 match_descriptions 关掉
    示例python, developer
  • 宽匹配描述match_descriptions选填boolean
    true=关键词同时匹配标题、标签和描述摘要(召回高、精度略低);false=只匹配标题
    默认值true示例true
  • 数据源 boardboards选填string
    逗号分隔,可选 remoteok / remotive / jobicy / working_nomads / himalayas / hn_hiring;留空=全部 6 个
    示例remoteok,remotive,jobicy,working_nomads,himalayas,hn_hiring
  • 返回条数上限max_items选填integer
    单次最多返回多少条去重职位,1-1000,默认 100;各 board 公开 feed 深度不同,实际条数可能略少
    范围1–1000默认值100示例100
  • 发布天数内posted_within_days选填integer
    只保留发布日期在最近 N 天内的职位(0-365);0=不过滤。无发布日期的行默认保留
    范围0–365默认值0示例0
  • 最低年薪过滤salary_min_annual选填integer
    只保留年化薪资上限不低于该值的职位(不换算币种);0=不过滤。无薪资数据的行默认保留
    范围0–默认值0示例0
  • 国家/地区过滤country选填string
    逗号分隔,如 US, Germany, EU, Canada;标注 anywhere/worldwide/remote 的全球职位始终保留。留空=不过滤
  • 资历过滤seniority选填string
    逗号分隔,可选 entry/junior/mid/senior/lead/staff/principal/manager/director;留空=不过滤
  • 排除关键词exclude_keywords选填string
    逗号分隔;标题含这些词的职位被排除(在条数上限和计费前生效)
  • 排除公司exclude_companies选填string
    逗号分隔;公司名含这些词的职位被排除(适合屏蔽猎头或已投递公司)

输出数据

单条记录的字段结构,与 manifest.json 的 output.schema 同源。

  • 记录唯一键record_idstring
    job:{job_id};同一职位跨站去重后唯一
  • 职位指纹job_idstring
    16 位十六进制,基于 canonical URL(无 URL 用 title|company);可作 upsert key
  • 职位标题titlestring
    清洗后的职位标题
  • 公司companystring
    招聘公司名称

示例数据

以下示例按 output.schema 生成;未提供示例值的字段使用结构占位符。

output.example
{
  "record_id": "<record_id>",
  "job_id": "<job_id>",
  "title": "<title>",
  "company": "<company>",
  "location": "<location>",
  "remote": true,
  "salary_min": 0,
  "salary_max": 0,
  "salary_currency": "<salary_currency>",
  "salary_interval": "<salary_interval>",
  "salary_source": "<salary_source>",
  "salary_text": "<salary_text>",
  "url": "<url>",
  "source_board": "<source_board>",
  "posted_at": "<posted_at>",
  "tags": "<tags>",
  "description_snippet": "<description_snippet>",
  "description": "<description>",
  "scraped_at": "<scraped_at>",
  "seniority": "<seniority>",
  "job_type": "<job_type>",
  "company_logo": "<company_logo>",
  "apply_url": "<apply_url>",
  "expires_at": "<expires_at>",
  "timezone_restrictions": "<timezone_restrictions>",
  "also_on_boards": "<also_on_boards>"
}

调用方式

本 Data App 支持通过 MCP、API、SDK 与文件导出方式接入,各接入方式共享同一套能力与计价。所有请求统一使用 Authorization: Bearer 请求头完成身份认证,凭证为 API Key(长期有效,在开放平台创建);MCP 客户端另支持 OAuth 免密钥登录。CLI、Skill 等更多接入方式正在规划中。本 Data App 异步运行,支持中途取消:取消后任务停止;已写回的部分保留,按写回计费。

通过 MCP(Model Context Protocol)协议,可在 Claude、Cursor 等 AI 客户端中直接调用本 Data App。选择你的客户端与认证方式,复制下方配置即可接入。

客户端配置

把 Bearer 后替换为长期有效的 API Key 即可,各类客户端与 CI、无浏览器环境通用。

mcpServers 配置
{
  "mcpServers": {
    "bazhuayu_datahub": {
      "type": "http",
      "url": "https://mcp-v2.bazhuayu.com?pin=SpiderNexus/remote-job-aggregator",
      "headers": { "Authorization": "Bearer <YOUR_API_KEY>" }
    }
  }
}

让 AI 自己完成配置

不想手动改配置?复制配置提示词,粘贴到任意 AI 客户端对话框,由它按自身方式完成接入(默认引导你登录授权,不会让你把 API Key 发在对话里)。

如需在同一个 MCP 连接里指定多个 Data App,前往 MCP 连接页(已为你指定本 Data App)。

价格

受理费(每次运行)

每提交一次任务计费一次,与返回条数无关。

¥0.1/ 次
每条去重职位

按实际成功返回的数据条数计费,任务失败不计费。

¥0.001/ 条

多个计费事件按各自口径独立累计,具体以每一项说明为准;任务失败不计费。

立即体验

填写参数直接运行,结果来自真实调用。

示例
参数按 input.schema 校验后提交
¥0.001 / 条