采集场景

在豆瓣读书详情页 https://book.douban.com/subject/4011670/ , 采集图书评论信息。

 

采集字段

作品名、用户名、评论时间、短评内容、星级、爬取时间

 

 

鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理  

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:

 

  

教程说明

本篇制作时间:2020/5/13    八爪鱼版本:V8.1.12

如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正。

 

采集步骤

步骤一:打开网页

步骤二、创建【循环列表】,采集所有图书评论列表中的数据

步骤三、编辑字段

步骤四、创建【循环翻页】,采集多页数据

步骤五、格式化数据

步骤六、启动采集

 

以下为具体步骤:

 

步骤一、打开网页

 

在首页【输入框】中输入目标网址 https://book.douban.com/subject/4011670/ ,点击【开始采集】,八爪鱼自动打开网页。

 

 

特别说明:

a. 打开网页后,如果开始开始【自动识别】,请等待自动识别完成。八爪鱼支持自动识别网页上的列表,滚动和翻页,识别成功后直接启动采集并获取数据。如果【自动识别】的结果不是我们需要的,可点击【取消】关闭智能识别,自行配置采集流程。详情点击查看【自动识别】

b. 示例中输入的的是单个网址 https://book.douban.com/subject/4011670/ ,大家可根据需求进行更换,结构与示例网址相同即可。如果需要批量采集网址,点击查看 批量采集同类网页(URL)教程

 

步骤二、创建【循环列表】,采集所有图书评论列表中的数据

 

1、点击进入评论列表页

点击页面上的【全部 46479 条】,在操作提示框中点击【点击该链接】,进入评论列表页。

 

 

2、通过以下连续4步,采集所有图书评论列表中的数据

①、选中页面上1个评论列表(注意一定要选中整个列表,包含所有所需字段)

②、在黄色操作提示框中,点击【选中子元素】

③、点击【选择全部】

④、点击【采集数据】

 

 

特别说明:

a. 经过以上连续4步,【循环-提取数据】创建完成。【循环】中的项,对应着页面上所有图书评论列表,【提取数据】中的字段,对应着每个图书评论列表中的字段。启动采集以后,八爪鱼就会按照循环中的顺序依次提取每个列表中的字段。 

b. 为何通过以上4步,可建立【循环-提取数据】?详情点击查看 列表数据采集教程 

 

步骤三、编辑字段

 

1、在【当前页面数据预览】面板中,删除不需要的字段。


 

2、添加更多字段

默认提取的是评价中的字段。其他字段,如:作品名、星级、采集时间等,需手动添加。

【作品名】:选中作品名, 在操作提示框中,点击【采集该元素的文本】。

【星级】:选中星级, 在操作提示框中,点击【采集该元素的 Outer Html】。

【采集时间】:在【当前页面数据预览】面板中,点击【+】→ 【添加当前时间】。

 

 

3、在【提取数据】设置页面,修改数据字段名称、调整字段位置。

 

 

步骤四、创建【循环翻页】,以采集多页数据

 

1、建立【循环翻页】

如果只是采集一页数据,可跳过此步骤。

如果需要翻页以采集多页数据:选择页面中的【下一页】按钮,在操作提示上单击【循环点击下一页】,创建【循环翻页】。

 

 

特别说明:

a. 创建【循环翻页】后,八爪鱼会自动点击【下一页】按钮进行翻页,从第1页,第2页......直到最后1页。如果只需采集特定页的数据,可在八爪鱼中设置循环翻页的次数,详情点击查看  翻页以采集多页数据教程

 

2、修改【循环翻页】的XPath

默认的【循环翻页】XPath会在第二页重复翻页,不断采集第一页的内容,需修改【循环翻页】XPath。

进入【循环翻页】设置页面,修改XPath为://A[@class="page-btn" and text()='后一页'] 

 

 

特别说明:

a. 为什么重复翻页?这是因为【循环翻页】默认生成的XPath,不仅可以定位到【下一页】的按钮,还能同时定位到【上一页】或者【首页】等,导致不断重复提取某页或某几页内容,因此我们需要修改翻页按钮的XPATH。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 

 

步骤五、优化字段

 

1、修改【时间】字段的XPath

默认的【时间】字段XPath定位不精准,导致一些评价列表有时间,但提取不到,需修改【时间】数据字段XPath

进入【提取数据】设置页面,然后找到【时间】字段,点击  按钮,进入【自定义定位元素方式】设置页面,修改XPath为:/DIV[2]/H3[1]/SPAN[2]/SPAN[not(@class)] 。

 

 

特别说明:

a. 修改字段XPath,需要一定的XPath知识。点击查看 XPath学习与实例教程 

 

2、去除【作品名】字段中的【短评】文字

提取作品名时,都会带上【短评】2字。如果不想带有【短评】2字,请按以下步骤操作:

点击【作品名】字段后的  ... 按钮 → 【格式化数据】→【添加步骤】→【替换】,将【短评】替换为【空】,然后保存设置。

 

 

3、 【星级】字段格式化

在步骤三中,将【星级】字段对应的源码提取下来。但是源码中有许多无效信息,如果需要精准将【星级】提取出来:

点击【星级】字段后的  ... 按钮 → 【格式化数据】→【添加步骤】→【正则表达式匹配】→ 输入【(?<="user-stars )(.+?)(?= rating")】→【确定】,得到【allstar50】,即评分为50。

 

 

特别说明:

a. 什么是数据格式化?数据采集下来之后,有时候格式不是我们想要的,或者只想从一段数据里提取特定数据,可通过八爪鱼的【格式化数据】功能实现。详情点击查看 数据格式化教程 。

b. 正则表达式是什么?怎么写?正则表达式是对字符串(包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,用来从文本中匹配/过滤信息。正则表达式有其特定写法,需要系统学习才能掌握,点击查看 正则表达式 教程 。

 

步骤六、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

特别说明:

a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解

 

2、采集完成后,选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。

 

 

作者:Vee

编辑:DJacky