Skip to main content

采集学院:本地浏览器采集方式

文档同步日期: 2026 年 7 月 23 日 本次依据八爪鱼帮助中心的最新内容,同步更新采集学院“本地采集方式”教程。
本地采集方式由内置浏览器、独立浏览器两种模式扩展为三种模式,新增本地浏览器
  • 直接调用电脑上已经安装的 Chrome、Edge 等浏览器,复用浏览器指纹、缓存、Cookies 与登录状态
  • 支持扫码、短信验证码、滑动验证、弹窗处理和账号切换等人工干预,操作完成后可继续执行采集
  • 支持使用本地浏览器中已经安装的翻译、代理等插件,适合多级菜单、地图拖拽等复杂交互场景
  • 补充浏览器路径配置、启动采集、状态查看、运行控制和数据导出的完整操作流程
  • 更新三种模式的技术原理、反爬能力、适用场景、稳定性和运行窗口对比
相关文档:本地采集方式

MCP 服务能力同步

核验日期: 2026 年 7 月 22 日 本次文档依据 MCP 端点实际工具发现结果更新;核验时服务版本为 0.8.3.3-85ef7c4b,协议版本为 2025-11-25
当前服务公开 10 个工具。本次新增文档:
  • search_platform_content:按关键词、时间范围与域名搜索数据中心的网页、图片和视频存量内容
  • list_platforms:查询数据中心支持的平台和域名
  • ecommerce_data_task:提交 Temu 或 TikTok Shop 商品与评论采集任务
  • query_collected_reviews:查询已采集的电商评论
现有采集工作流同步升级:search_templates 支持关键词和精确查询;execute_task 新增 validateOnly 参数预检与 MCP Tasks;export_data 支持进度轮询、数据预览和更多导出类型;search_tasks 更新分页与状态筛选参数。 服务还公开 octoparse://workflow 工作流 Resource,以及模板搜索、任务搜索和导出预览 Widget。Widget 是否渲染取决于 MCP 客户端实现。 数据中心通过对接各大平台的数据接口与公开内容源,提前采集、清洗并索引存量内容;覆盖量级为数百个国内外网站、20+ 语种,平台范围持续扩充。相关文档:MCP 概览标准工作流程数据中心内容搜索电商数据任务

知识库审核台(本地)

  • 新增隐藏 FAQ 知识库迁移流程:历史常见问题可完整保存在文档仓库中,图片同步到本地资源目录。
  • 本地“知识审核台”改为完整答案审核:运行 npm run kb:review 可直接编辑、预览并确认历史 FAQ,保存后自动重建客户问答索引,同时保留草稿、停用、稍后处理和撤销能力。
  • 新增“问题解答”入口:只展示采集学院、产品文档和人工确认的答案;未经确认、暂缓或停用的历史 FAQ 不会直接面向客户显示。
  • “问题解答”升级为受控知识 Agent:通过服务端使用 deepseek-v4-flash 生成结论、步骤、注意事项和站内引用;原始思维链与 API Key 不会进入前端。
  • 新增可信文档分段索引、服务端限流与来源校验;模型服务不可用时自动回退到本地可信教程。
  • MCP 问答新增正式协议 2025-11-25 基线,并将官方协议语义与八爪鱼产品能力分池检索;回答会经过第二次事实复核,未通过复核的初稿不会对外展示。

2026 年 7 月发布说明

更新日期: 2026 年 7 月 21 日 CLI 当前版本升级至 v0.1.30,新增用户浏览器模式并升级本地浏览器运行时;v0.1.28 的远端任务管理、模板、云定时和数据检查能力继续保留。

CLI 更新 v0.1.30

安装或更新:
本次更新:
  • 用户浏览器模式:新增 octopus browser 命令族,可复用 Windows / macOS 上 Chrome 或 Edge 用户 Profile 的 Cookie 与登录状态
  • 浏览器选择detect 与本地 run 新增 --browser independent|user--browser-id chrome|edge--profile <name> 和可选的 --force-close-browser
  • 扩展与 Profile 管理:支持查看状态、列出 Profile、安装扩展、关闭浏览器,以及保存 detect / run 共用的默认模式
  • Agent 与识别增强:优化自动建任务、截图和样品运行流程,并继续提升详情页、列表、Feed 分页与 XPath 识别准确率
  • 运行时升级:本地引擎升级为 @octopus/browser-runtime,默认独立模式仍使用 Chrome for Testing
  • 修复与校验:修复登录会话、Cookie 安全和复杂嵌套列表问题,并增强模板任务参数校验
用户浏览器首次设置必须按顺序完成:
只有 browser status --json 返回 readyForUserBrowserRun: true 后才应保存用户模式。安装扩展时浏览器必须关闭;正常 detect/run 可复用已打开的浏览器,不需要每次强制关闭。
用户浏览器模式仅支持 Windows 和 macOS,并且不支持 --headless。Linux 继续使用独立浏览器模式。--agent-command 仍必须是可信的本地 shell 命令,自然语言采集目标应通过 --goal 传入。

CLI 更新 v0.1.28

历史版本日期: 2026 年 7 月 9 日
安装或更新:
本次更新:
  • 任务管理扩展octopus task list 支持按任务组、模板注册 ID、模板版本、调度状态等条件筛选;新增 task showtask copytask renametask movetask delete
  • 任务组管理:新增 octopus task-group list/create/update/delete/set-default
  • 模板与模板任务:新增 octopus template search/view/versionoctopus template-task create/update
  • 云定时管理:新增 octopus schedule cloud get/update/start/stop/next,仅覆盖云定时;本地定时仍依赖桌面客户端
  • 数据检查增强:新增 octopus data countoctopus data preview,并支持 data export --unexported 读取云端未导出数据
  • 高风险操作确认:远端状态修改类命令需要显式传入 --yes,包括重命名、移动、删除任务,更新/删除/设置默认任务组,更新/启动/停止云定时,以及更新模板任务
常用示例:
--unexported 会读取云端未导出数据,但不会把这些数据标记为已导出。需要远端状态变更的命令必须带 --yes,脚本里不要省略确认参数。

保持兼容

  • octopus detect、Agent 计划、--run-sample、API 列表任务和本地 run 语法保持 v0.1.27 兼容
  • octopus recognize 仍不是当前命令;旧链接会跳转到 octopus detect
  • run-url 仅作为隐藏兼容入口保留,新脚本继续使用 detecttask validaterundata export

同步更新的文档