Skip to main content

快速入门

从注册安装到第一个采集任务,这一栏适合第一次接触八爪鱼采集器的用户,先熟悉客户端、采集界面和基础任务流程,再进入后续的操作指南。

注册安装

Windows客户端安装方法

介绍 Windows 客户端下载安装步骤、系统要求和登录前准备。

Mac客户端安装方法

介绍 Mac 客户端下载安装步骤、系统要求和启动注意事项。

免费注册账号

说明八爪鱼账号注册入口、注册流程和首次登录准备。

3分钟快速上手

客户端

快速认识八爪鱼客户端的主要区域和核心入口。

采集界面

熟悉采集界面的布局、常用按钮和任务配置区域。

新手指引

通过官方新手引导快速理解基础采集流程和常用概念。

模板采集

使用现成模板快速启动采集任务,适合低门槛入门。

自动识别采集

了解自动识别网页内容的方式,快速生成基础采集流程。

搭建第一个规则任务

从零搭建第一个规则任务,理解字段、步骤和导出的关系。

八爪鱼采集器:官方推广福利

查看新手福利、活动说明和适用方式。

【八爪鱼新手入门】常见问题清单-官方版

汇总新手常见问题与官方解答,适合边上手边排查。

基本采集

初级采集

自定义采集(含智能识别)

介绍自定义采集界面、智能识别能力和基础配置流程。

列表采集

学习从列表页提取多条结构化数据的基础方法。

列表进入详情页采集

从列表进入详情页并采集详情内容,适合图文详情场景。

表格采集

面向网页表格结构采集行列数据,适合规整列表页面。

点击元素跳转

通过点击页面元素进入新页面或新内容区域后继续采集。

登录验证

处理需要登录后才能访问和采集的数据页面。

采集原理/逻辑

梳理采集流程的基本逻辑,帮助理解任务步骤之间的关系。

本地采集方式

说明本地运行采集任务的方式、场景和注意事项。

翻页采集多页数据

点击“下一页按钮翻页”

适用于存在明确下一页按钮的常见翻页采集场景。

滚动加载数据翻页

处理下拉滚动后自动加载更多数据的页面。

点击【加载更多】或【再显示20条】等按钮翻页

通过点击加载更多类按钮,逐步拉取后续列表数据。

边滚动边采集数据

一边滚动页面一边提取数据,适合瀑布流和长列表。

边点击加载更多边采集数据

在点击加载更多的同时持续提取新增数据,减少重复采集。

无【下一页】按钮,点击数字进行翻页

适用于通过页码数字切换页面的翻页采集任务。

多关键词多网址采集

文本循环:批量输入关键词

批量输入多组关键词,循环执行同一套采集流程。

URL循环:批量采集同类网页

批量导入多个网址,对同类页面执行统一采集规则。

规则排错与优化

采集数据异常时的排查思路,涵盖本地排错、流程优化、防采集应对和云采集排错。

本地排错

手动执行规则排查,解决无数据、速度慢、数据重复/错位/漏采等问题。

规则优化

执行前等待、Ajax 超时、页面滚动等流程优化配置。

Ajax 网页采集方法

判断 Ajax 网页并正确设置 Ajax 点击与超时。

新标签页处理

识别和配置新标签页中的采集流程。

自动重试

重试条件、次数、代理 IP 和浏览器版本切换。

常见防采集套路及解决

验证码、IP 封锁、数据加密等防采套路的识别与应对。

云采集排错

本地有数据但云采集无数据的排查与解决。

数据导出

采集完成后数据的导出方式,涵盖启动采集与导出格式说明、文件下载、导出到数据库及自动导出到本地。

启动采集并导出

本地采集与云采集的启动方式,以及 Excel、CSV、HTML、数据库、API 等导出格式。

文件下载

采集过程中下载网页中的图片、音频、视频、文档等文件(个人版及以上专享)。

导出到MySQL数据库

手动/自动导出数据到 MySQL,含数据库配置、字段映射和定时导出设置。

导出到SqlServer数据库

手动/自动导出数据到 SqlServer,支持 Windows 身份验证和 Sqlserver 身份验证。

导出到Oracle数据库

Oracle 依赖组件安装及手动/自动导出数据到 Oracle 的完整配置流程。

导出到数据库常见问题

数据库导出时的常见错误及解决方案(连接失败、字符编码、字段长度等)。

自动导出到本地

团队版及以上专享,自动将采集数据保存为 Excel、CSV、HTML、JSON、XML 到本地。

XPath学习与案例

XPath 定位是采集数据的关键技能,80% 以上采集难题可通过一条正确的 XPath 解决。本栏目从 XPath 入门到实战案例,系统讲解 XPath 函数、相对与绝对 XPath、修改循环列表/翻页 XPath 等核心知识。

Xpath入门

为什么要用xpath?

通过百度搜索采集案例说明学习 XPath 的重要性,以及 XPath 在采集流程中的作用。

什么是html和xpath?

HTML 基本结构与常用标签,XPath 概念与表达式写法入门。

xpath获取方法

通过浏览器开发者工具查看网页源码、定位元素、获取和验证 XPath。

xpath函数

text、contains、position、last、following-sibling 等常用 XPath 函数及实战演练。

相对xpath、绝对XPath / 修改Xpath元素

相对xpath、绝对XPath

绝对 XPath 与相对 XPath 的概念、循环框 XPath 与相对 XPath 的关系及修改实例。

定位某一元素Xpath

通过详情页和列表页实例,修改字段定位 XPath 解决字段提取不到、错位等问题。

修改循环列表xpath

修改循环列表 XPath 解决漏采、只采集到部分列表等问题,固定与不固定元素列表的转换。

修改循环翻页xpath

观察翻页确定问题并修改循环翻页 XPath,解决一二页重复循环的问题。

xpath案例

数据字段缺失或错位

同一字段在不同页面位置不同时,通过设置备用位置和修改 XPath 解决字段缺失或错位。

重复采集某几页数据

分析翻页 XPath 在第二页同时定位到上一页和下一页导致重复采集的原因及解决办法。

重复采集最后一页数据

采集到最后一页后不停止、一直循环采集的原因分析及 XPath 修改方案。

循环列表-添加更多的项

手动修改 XPath 让循环列表定位到全部所需数据项,解决只采集到部分列表的问题。

循环列表-过滤多余的项

两种过滤循环列表多余项的方法:修改 XPath 筛选和分支判断丢弃。

进阶功能

进阶功能适合在掌握基本采集后继续学习,覆盖字段格式化、字段合并、特殊字段、流程步骤、流程设置、增量采集、iframe/json 采集、断点采集和 RPA 自动化导出等内容。

数据处理(格式化)

字段格式化

对采集字段进行替换、正则匹配、时间格式化、HTML 处理等格式化操作。

字段合并

将多个字段按指定格式合并成一个字段,便于后续导出和使用。

添加特殊字段

添加当前时间、当前网页信息、固定值等特殊字段。

自定义抓取方式

根据网页结构调整字段抓取方式,提高复杂页面的数据提取准确度。

无此字段时如何处理

处理部分页面缺少字段时的数据错位、空值和兼容问题。

设置备用位置

为字段配置备用提取位置,解决不同页面结构不一致导致的字段缺失。

数据去重

配置去重字段和去重规则,避免重复采集或重复导出数据。

正则表达式

学习常用正则表达式写法,并用于字段提取、替换和文本清洗。

特殊流程步骤介绍

返回上一级网页

在详情页采集后返回列表页,继续执行后续循环采集。

鼠标移动出现新数据

处理鼠标悬停后才出现的新数据、菜单或详情内容。

循环下拉框(切换下拉选项)

循环切换下拉框选项,批量采集不同筛选条件下的数据。

判断条件

根据页面内容或流程状态设置分支判断,让采集流程更灵活。

流程设置

获取/修改浏览器UA

获取或切换浏览器 User-Agent,应对不同网页访问环境。

触发器

使用触发器自动启动任务或串联流程,减少手动操作。

网址批量输入(补充用法)

补充说明 URL 批量输入的更多使用方式和适用场景。

增量采集

配置增量采集,只采集新增数据或避免重复采集历史内容。

网页包含iframe框架处理办法

处理网页中嵌套 iframe 导致元素无法直接定位或采集的问题。

json采集

面向 JSON 数据源或接口响应进行数据提取和采集配置。

技巧操作

点击展开获取全文-微博为例

以微博为例,点击展开按钮后采集完整正文内容。

断点采集(采集中断,需要采集后续数据)

采集中断后从指定位置继续采集,减少重复工作。

ajax加载网页进入详情页无法正常返回到列表

处理 Ajax 页面进入详情页后无法正常返回列表继续采集的问题。

采集器数据导入飞书表格(RPA实现)

通过 RPA 将采集器数据写入飞书表格。

采集数据(通过RPA)批量任务导出excel

使用 RPA 批量导出任务采集数据为 Excel。

高版本功能

高版本功能面向个人版、团队版和企业版中的增强能力,覆盖付费能力、云采集与企业版管理,适合在采集流程稳定后继续提升并发效率、自动化能力和团队协作能力。

付费功能

本地加速同时运行任务-个人版及以上专享

提升本地任务并发能力,同时运行多个采集任务以提高效率。

代理IP-个人版及以上专享

使用代理 IP 访问目标网站,降低限制并提升采集稳定性。

采集新增数据-团队版及以上参考

仅采集新增内容,减少重复抓取历史数据。

定时任务-个人版(本地)及以上(云)专享

按设定时间自动执行本地或云端采集任务。

自动识别验证码-团队版及以上专享

自动识别和处理验证码,减少人工介入。

Cloudflare验证

处理 Cloudflare 防护验证,提高受保护站点的访问成功率。

云采集

云采集介绍

了解云采集的基本能力、适用场景和运行方式。

定时云采集

在云端按计划自动启动任务,实现无人值守采集。

云采集原理及规则加速原理

讲解云采集的执行原理以及规则加速机制。

云采集日志

查看云采集日志,定位任务异常和运行细节。

云采集实况与历史运行记录

查看任务运行实况与历史记录,便于跟踪采集状态。

企业版管理

八爪鱼企业版本套餐介绍

了解企业版套餐能力、适用团队和版本差异。

企业版管理

配置企业版后台、权限和常用管理功能。

企业成员账号管理

管理企业成员账号、角色分配和协作权限。

云采集任务启动优化

优化云采集任务启动流程,提升批量执行效率。

云采集监控预警平台

通过监控与预警平台实时掌握任务状态并及时处理异常。

实战案例

实战案例按业务场景整理完整的采集流程,适合在掌握基础操作后,结合实际网站和目标数据练习任务配置、运行与导出。左侧导航提供电商、社交媒体、新闻资讯、房产、生活服务和金融六类案例,可按行业选择对应教程开始学习。