采集场景

打开雪球网 https://xueqiu.com/,页面显示雪球热帖列表,点击每一个帖子的标题可进入详情页,查看并采集详情页里面的数据内容。

 

采集字段

帖子作者、标题、文章内容、发布时间、评论数、评论者、评论内容、评论时间等。

 

点击查看高清大图,下文其他图片同理  

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:

 

 

教程说明

本篇制作时间:2020/8/26    八爪鱼版本:V8.1.22

如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正。

 

采集步骤

步骤一:打开网页

步骤二、设置页面滚动和【点击加载更多】

步骤三、创建【循环列表】

步骤四、采集详情页的文章标题、正文等字段

步骤五、创建评论部分的【循环列表】,采集全部评论内容、评论者等字段

步骤六、编辑字段

步骤七、设置执行前等待

步骤八、启动采集

 

 

以下为具体步骤:

 

步骤一、打开网页

 

在首页【输入框】中输入目标网址https://xueqiu.com/,点击【开始采集】,八爪鱼自动打开网页。

 

 

特别说明:

a. 打开网页后,如果开始开始【自动识别】,请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

b. 【自动识别】适用于自动识别网页上的列表、滚动和翻页,识别成功后直接启动采集即可获取数据。详情点击查看 【自动识别】教程

 

步骤二、设置页面滚动和【点击加载更多】

 

打开雪球网网页后,我们观察发现,页面默认只显示部分帖子,向下滚动页面到底部才能加载出更多帖子列表。

且滚动一定次数后(测试滚动10次左右,具体以大家操作时需要的滚动次数为准)出现【加载更多】按钮,随后需要点击【加载更多】按钮,继续加载新的帖子列表。

在八爪鱼中也需要进行相同的设置。

 

1、设置页面滚动

进入【打开网页】设置页面,点开【页面加载后】,设置【页面加载后向下滚动】,滚动方式为【向下滚动一屏】,【滚动次数】为20次,【每次间隔】2秒 并保存。

 

 

特别说明:

a. 设置中的滚动次数和时间间隔,请根据采集需求和网页加载情况进行设置,并非是一成不变的,具体请点击查看 处理滚动加载数据的网页教程

 

2、设置点击【加载更多】

① 手动向下滚动页面,直至【加载更多】按钮出现

② 点击【加载更多】按钮,在黄色操作提示框中,选择【循环点击单个链接】。

③ 进入【循环翻页】设置页面,点开【退出循环设置】,把循环执行次数设为4次(我们需要设置一个合适的次数,可根据需要采集的数据量灵活调整)。

④ 进入【点击翻页】设置页面,点开【页面加载后】,设置【页面加载后向下滚动】,滚动方式为【滚动到底部】,【滚动次数】为5次,【每次间隔】2秒 。

 

 

特别说明:

a. 为什么通过【加载更多】进行翻页的网页,需设置一个合适的翻页次数?通过一定次数的【加载更多】翻页后,页面上展示出非常多的标题列表。这些列表同在一个页面,采集的时候都会被定位到。如果同时定位的列表过多,采集速度会变慢,影响数据的正常采集。设置一个合理的翻页次数,可以控制同时定位到的列表,保障数据采集正常进行。

b. 设置中的滚动次数和时间间隔,请根据采集需求和网页加载情况进行设置,并非是一成不变的,具体请点击查看 处理滚动加载数据的网页教程

 

步骤三、创建【循环列表】

 

1、创建【循环-点击元素】,点击进入每个帖子详情页

通过以下连续3步,实现循环点击每个链接,进入详情页:

① 选中页面上第1条帖子链接(此网页比较特殊,选中一大块范围也是链接)

② 再选中页面上另一条帖子链接

③ 点击【循环点击每个链接】,进入第1条帖子的详情页

 

2、调整流程

又由于这个网页比较特殊,需要先点击【加载更多】,完成翻页后才能提取数据,所以需要将整个【循环列表】拖入到【循环翻页】之后。

然后点击流程中的【点击元素】步骤,进入第1条帖子的详情页。

 

 

步骤四、采集详情页的文章标题、正文等字段

 

选中页面中的文本,然后在操作提示框中,点击【采集该元素文本】。

文本类字段都可以按照这样的方式提取。示例中我们提取了文章标题、作者、发布时间、正文等字段。

 

 

步骤五、创建评论部分的【循环列表】,采集全部评论内容、评论者等字段

 

一篇帖子内可能有多条评论,通过以下几步,采集文章内的所有评论者和评论内容:


① 选中一个评论者名称

② 在黄色操作提示框中,选择【选中全部】

③ 选择【采集以下链接文本】

 

注意:如果还需要采集其他字段,则在当前列表中继续提取即可(在页面中以红框框起来),无需再新建循环。

 

 

特别说明:

a. 评论列表有可能不止一页,如需采集多页评论内容,可添加翻页步骤,具体操作参考教程实现翻页。

 

步骤六、编辑字段

 

执行完前面的步骤,采集框架已经完成啦!我们需要在这个基础上进一步优化。

 

1、修改字段名称

进入【提取数据】设置页面,修改字段名称。

 

 

2、修改字段XPath

上述操作中,每个字段的XPath都是系统默认生成的,定位不一定准确,根据实际情况我们可能需要手动修改。

将【发布时间】的XPath修改为://A[contains(@class,"time")] 

将【正文内容】的XPath修改为://ARTICLE[@class="article__bd"]

 

 

特别说明:

a. XPath是什么?怎么写?需要系统学习XPath知识,点击查看 XPath学习与实例教程 

b. 评论部分字段的修改方式是一样的,修改后的XPath为:

【评论者】://div/a[@class="user-name"]

【评论时间】://div[@class="comment__item__main__hd"]/span[@class='time']

【评论内容】://div[@class="comment__item__main"]/*[not(@class="comment__item__main__hd")]

 

步骤七、设置执行前等待

 

为防止网页跳转太快采集不到数据,我们需要设置执行前等待:

几乎每个步骤都可以设置执行前等待,但是如果设置过多,会影响采集速度,请酌情设置。

 

 

步骤八、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

特别说明:

a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解

 

2、采集完成后,选择合适的导出方式来导出数据。支持导出为Excel,CSV,HTML,数据库等。这里导出为Excel。数据示例:

 

 

 

 作者:Tom

 编辑:Aisling