免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
微信订阅号:八爪鱼采集器Live
扫一扫,关注我们
教程 | 功能点 | 实战案例
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:148686415 点击加入
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 限专业版用户
1群:475423041 限专业版用户
旗舰版QQ群
3群:196097783 限旗舰版用户
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

新浪微博数据采集

标签: 实战教程,实战案例,v7.0 2017/8/23 16:22:17

采集新浪微博数据

 

介绍使用八爪鱼7.0采集新浪微博数据的方法

采集网站:

https://weibo.com/1875781361/FhuTqwUjk?from=page_1005051875781361_profile&wvr=6&mod=weibotime&type=comment#_rnd1503315170479

示例规则:

http://www.dataduoduo.com/Rule/Detail/a15fce1e-4a73-4fb1-8993-2743b33cbc5b

使用功能点:

Ajax滚动加载设置

分页列表详情页内容提取

步骤1:创建采集任务

进入主界面选择,选择自定义模式

1 

 

上面网址的网址复制粘贴到网站输入框中,点击保存网址

2 

保存网址后,页面将在八爪鱼采集器中打开,红色方框中的信息是这次演示要采集的内容

3 

步骤2:设置ajax页面加载时间

设置打开网页步骤的ajax滚动加载时间

找到翻页按钮,设置翻页循环

设置翻页步骤ajax下拉加载时间

在页面打开后,当下拉页面时,会发现页面有新的数据在进行加载

4

所以需要进行以下设置:打开流程图,点击“打开网页”步骤,在右侧的高级选项框中,勾选页面加载完成向下滚动设置滚动次数,每次滚动间隔时间,一般设置2秒这个页面的滚动方式选择直接滚动到底部”;最后点击确定

5 

注意:这里的滚动次数及间隔需要针对网站进行设置,测试方法可以参考八爪鱼7.0教程——AJAX滚动教程

将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择循环点击下一页

6

由于页面使用了ajax加载技术,当采集时,网站总需要重新加载,所以对翻页步骤需进行上面打开网页步骤中的设置

71 

 

步骤3:采集微博内容

 

选中需要采集的微博时间,创建循环点击列表

进入微博页创建采集列表

如图,移动鼠标选中列表中商家的名称,右键点击,需采集的内容会变成绿色,然后点击“选中全部”

7 

注意:点击右上角的流程按钮即可展现出可视化流程图。

 

然后点击“循环点击每个链接”

8

 

网页会跳转到详情页中,移动鼠标选中要采集的内容,右键点击,

选择“采集该链接的文本”

9 

 

鼠标右键点击需要采集的文本字段,点击选中全部

10 

注意: 鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。

11 

 

修改采集字段名称,点击下方红色方框中的保存并开始采集

12 

 

步骤4:数据采集及导出

根据采集的情况选择合适的采集方式,这里选择启动本地采集

13 

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

 

采集完成后选择合适的导出方式,将采集好的数据导出

15 

 

 

 

 



分享到: 更多
人工服务

立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号