采集场景

在微博主页（https://weibo.com/）登录后，循环打开微博博文链接，采集博文链接的一级评论数据。实例地址：https://weibo.com/1977661791/I7PgktlCh 。

 

 

采集字段

博主用户名、发布时间、博文内容、转发数、评论数、点赞数、评论人、评论内容、评论时间。

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。

 

 

 

教程说明

本篇更新时间：2023/04/20 八爪鱼版本：V8.6.0

如因网页改版导致网址或步骤无效，无法收集到目标数据，请联系官方客服，我们会及时处理。

 

采集步骤

步骤一：打开网页

步骤二、设置登录微博

步骤三、创建【循环-打开网页】，示范打开多个博文网址

步骤四、提取微博字段

步骤五、创建【循环列表】，提取一级评论列表数据

步骤六、创建循环滚动，以采集更多评论

步骤七、适当设置执行前等待，使采集更稳定

步骤八、启动采集

 

 

下面为具体步骤：

 

步骤一、打开网页

 

在首页【输入框】中，输入微博主页网址 https://weibo.com/，点击【开始采集】，八爪鱼自动打开网址。微博主页需要向下滚动，才会加载出登录的按钮，所以我们需要在【打开网页】步骤设置滚动，设置路径如下：

【打开网页】，选择【高级设置】，设置【页面滚动】，滚动模式为【全局】，滚动方式为【向下滚动一屏】，【每次间隔】1秒，【滚动次数】为3次，点击应用保存。

 

 

 

步骤二、设置登录微博

 

要采集微博评论数据，首先需要登录。如果没有登录，只能采集到二三十条数据。

在八爪鱼中的登录步骤：

1、点击立即登录；

2、根据提示用手机app端快速扫码登录（建议提前打开微博APP准备好）；

扫码等待一会后，成功登陆微博。

 

 

 

步骤三、创建【循环-打开网页】，示范打开多个博文网址

 

创建【循环-打开网页】，示范打开多个博文网址，实现自动采集多个博文网址下的评论。

 

在【点击元素】步骤后，添加一个【循环】。

进入【循环】设置页面。选择循环方式为【网址列表】，点击  按钮，将我们准备好网址粘贴进去后保存（同时输入多个网址，一行一个）。 

然后添加【打开网页】步骤，勾选【使用当前循环里的网址作为导航网址】。

 

 

 

 

步骤四、提取微博字段

 

选中网页中的目标字段，在操作提示框选择提取【文本内容】。

所有文本类型的字段都可以这样提取，示例中提取了 博主用户名、发布时间、博文内容、转发数、评论数、点赞数。

 

 

 

步骤五、创建【循环列表】，提取一级评论列表数据

 

1、建立【循环列表】

通过以下连续4步，采集一级评论列表数据：

1、选中页面上1个评论列表（注意一定要选中单条评论整个列表，包括所有需要的信息）

2、在黄色操作提示框，点击【选中全部子元素】

3、点击【选中全部相似组】

4、点击提取【元素中数据内容】。

 

 

 

2、编辑字段

进入【提取列表数据】设置页面，可删除多余字段，修改字段名，移动字段顺序等。

 

 

 

步骤六、创建循环滚动，以采集更多评论

 

因为微博网页结构的原因：网页需要往下滚动，同时不管滚动多少次都只能定位十几条数据。所以需要设置边滚动边采集，同时勾选上【滚动时循环列表不自动去重】。

微博特殊网页结构问题会导致采集会有大量重复数据，这个属于正常现象，采集完成后，可以选择导出去重后的数据。

创建步骤如下：

1.添加循环框，选择循环的方式为【循环滚动】；

2.设置滚动模式，选择【全局】；设置滚动方式，选择【向下滚动一屏】；

3.勾选上【滚动时循环列表不自动去重】；

4.把【循环列表-提取列表数据】整个拖拽放到【循环1】里面进行内嵌套，如动图所示。

 

 

 

步骤七、适当设置执行前等待，使采集更稳定

 

采集模板做好之后，可以在一些步骤适当设置下执行前等待，这样可以使模板在采集数据的时候更稳定。

设置步骤如下：

1、【循环】这个框这里，设置【执行前等待】10s（之所以设置这么久，是为了在点击登录后，为用微博APP扫码登录留出时间，时间可根据个人情况适当调整）；

2、【打开网页1】、【提取数据】、【循环列表】，设置【执行前等待】3s。

 

 

 

步骤八、启动采集

 

1、【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

 

2、采集完成后，选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。数据示例：

 

 

作者：Tina

编辑：Tina