免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
微信订阅号:八爪鱼采集器Live
扫一扫,关注我们
教程 | 功能点 | 实战案例
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:148686415 点击加入
专业版QQ群
2群:135071723 限专业版用户
1群:385161018 限专业版用户
旗舰版QQ群
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

微博评论数据采集

标签: 实战教程,v7.0,微博评论 2017/9/6 18:33:27

本文介绍使用八爪鱼采集新浪微博评论的方法

采集网站:

https://weibo.com/mdabao?is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=1#feedtop

 

使用功能点:

Ajax滚动教程

Ajax点击和翻页教程

分页列表及详细信息提取

 

新浪微博:新浪微博是一个由新浪网推出,提供微型博客服务类的社交网站。用户可以通过网页、WAP页面、手机客户端、手机短信、彩信发布消息或上传图片。新浪可以把微博理解为“微型博客”或者“一句话博客”。用户可以将看到的、听到的、想到的事情写成一句话,或发一张图片,通过电脑或者手机随时随地分享给朋友,一起分享、讨论;还可以关注朋友,即时看到朋友们发布的信息。

 

新浪微博评论采集数据说明:本文进行了新浪微博-微博评价进行采集。首先个人微博主页,然后循环点击每一条微博,进入之后采集评价信息。本文仅以“新浪微博-微博评价采集”为例,大家在实操过程中,可根据自身需求,更换新浪微博的其他内容进行数据采集。

 

新浪微博评论采集字段详细说明:博主ID,发博时间,博文链接,微博内容,微博评论。


步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

1

 

2)要采集的网址制粘贴到网站输入框中,点击“保存网址

2

 

步骤2:创建翻页循环

1)系统自动打开网页,进入微博。观察网页结构,当把页面下拉至底部的时候,会出现“正在加载中,请稍后”的字样,随着我们的下拉,页面会有新的数据加载出来。经过2次下拉加载,此页面达到最底部,出现“下一页”按钮

3

此网页涉及Ajax下拉加载,需要对其进行一些高级选项的设置。打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“4次”,每次间隔“3秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

4

注意: 这里的滚动次数及间隔时间,需要针对网站进行设置。

测试方法可以参考:八爪鱼7.0教程——AJAX滚动教程

 

2)将页面下拉到底部,点击“下一页”按钮,在右侧操作提示框中,选择循环点击下一页

5

“打开网页”类似,此步骤同样涉及Ajax下拉加载。打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“4次”,每次间隔“3秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

6

 

步骤3:创列表循环

1)移动鼠标选中页面里的第一条微博链接。选中后,系统会自动识别页面里的其他相似链接。在右侧操作提示框中,选择“选中全部”

7

 

2)选择“循环点击每个链接”,以创建一个列表循环

8

 

3)系统会自动点击进入第一条微博的详情页。观察网页结构,微博评论页面,需经过1次下拉加载,才会出现“查看更多”按钮。此步骤也涉及Ajax下拉加载。打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为1次”每次间隔“3秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

9

 

步骤4:提取微博信息

1)微博详情页中,我们想采集博主ID、发博时间、微博内容、微博URL和微博评论。点击要采集的字段,在右侧的操作提示框中,选择“采集该元素的文本”(采集微博URL,则选择“采集该链接地址”)

10

 

2)字段信息选择完成后,选中相应的字段,可以进行字段的自定义命名完成后,点击“确定”

11

 

 

步骤5:提取微博评论

1)下拉页面,找到并点击“加载更多”按钮。在操作提示框中,选择“更多操作”

12

 

2)选择“循环点击单个元素”

13

由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”

14

 

注:AJAX即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。

表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。

验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。

 

3)选中页面中第一个评论区块,系统会自动识别出页面中的其他同类元素。在操作提示框中,选择“选中全部”,以建立一个列表循环

15

 

4)我们可以看到,页面中所要采集的微博评论区块均被选中,变为绿色。选择“采集以下元素文本”

16

 

5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击“确定”

17

 

步骤6:调整流程图结构

回顾采集过程,操作思路是: 打开要采集的网页>建立微博链接的翻页循环>建立微博链接的循环列表>点击微博链接,进入微博详情页>建立微博评论的翻页循环>建立微博评论的列表循环>提取微博评论

已有的流程图没有遵循此逻辑,我们需要手动调整一下流程图结构。

 

1)选中“循环”步骤(微博链接的循环列表),将其拖入到第1个“循环翻页”和到第2个“循环翻页”之间

18

 

2)选中“循环翻页”步骤(微博评论的循环翻页),将其拖入到“循环”(微博链接的循环列表)步骤中的“提取数据”

19

 

3)选中“循环”步骤(微博评论的列表循环),将其拖入到“循环翻页”(微博评论的循环翻页)步骤后。因为微博特殊的网页结构,我们需要先点击“查看更多”,将所有的评论加载出来,然后再提取评论。如果不做调整,会出现很多重复数据

20

 

4)最终流程图,如图所示

21

 

5)点击左上角的“保存并启动”,选择“启动本地采集”

22

 

步骤7:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据”。选择合适的导出方式,将采集好微博发博数据导出

23

 

2)这里我们选择excel作为导出为格式,数据导出后如下图

24



分享到: 更多
人工服务

立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号