免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4.3
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:03月22日 (新版功能)
免费下载
微信订阅号:八爪鱼采集器Live
扫一扫,关注我们
教程 | 功能点 | 实战案例
官方论坛解答
点击提问
免费版QQ群
1群:470619317 点击加入
2群:148686415 点击加入
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 限专业版用户
1群:475423041 限专业版用户
旗舰版QQ群
3群:196097783 限旗舰版用户
2群:286777906 限旗舰版用户
1群:130849246 限旗舰版用户
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

采集1688某店铺全部商品评价

标签: 实战教程,v7.0,1688 2017/8/28 10:49:30

本文介绍使用八爪鱼采集1688-某店铺全部商品评价的方法

采集网站:

https://hooozen.1688.com/page/offerlist_63753737.htm?spm=a2615.2177701.0.0.35688ae8LEOoIT

 

使用功能点:

Xpath

AJAX点击和翻页

分页列表及详细信息提取

 

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

1

 

2)要采集的网址制粘贴到网站输入框中,点击“保存网址

2

 

步骤2:创建翻页循环

1)将页面下拉到底部,点击“下一页”按钮,在右侧操作提示框中,选择循环点击下一页

3

 

步骤3:创列表循环

1)移动鼠标选中页面里的第一条商品链接,接着再选中第2、3、4条商品链接。选中后,系统会自动识别页面里的其他相似链接。在右侧操作提示框中,选择“循环点击每个元素”,以创建一个列表循环

4

 

步骤4:提取商品信息

1)在创建列表循环后,系统会自动点击第一条商品链接,进入商品详情页。点击需要的字段信息,在右侧的操作提示框中,选择“采集该元素的文本”

5

 

2)继续点击要采集的字段,选择“采集该元素的文本”采集的字段会自动添加到上方的数据编辑框中选中相应的字段,可以进行字段的自定义命名

6

 

3)下拉页面并点击“评价”按钮,在操作提示框中,选择“点击该链接”

7

由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”

8

注:AJAX即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。

表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。

验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。

 

步骤5:提取商品评价

1)点击“评价”按钮后,页面出现商品评价。下拉页面,找到并点击“下一页”按钮,选择“循环点击下一页”,以建立一个翻页循环

9

由于此网页涉及Ajax技术,我们选中“点击翻页”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”

10

 

2)选中页面中第一个评价区块,选择“选中子元素”

11

 

3)系统会自动识别出页面中的其他同类元素,在操作提示框中,选择“选中全部”,以建立一个列表循环

12

 

4)我们可以看到,页面中商品评价区块里的所有元素均被选中,变为绿色。右侧操作提示框中,出现字段预览表,将鼠标移到表头,点击垃圾桶图标,可删除不需要的字段。字段选择完成后,选择“采集以下数据”

13

 

5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名

14

 

步骤5:调整流程图结构

回顾采集过程,操作思路是: 打开要采集的网页>建立商品链接的翻页循环>建立商品链接的循环列表>点击商品链接,进入商品详情页>建立商品评价的翻页循环>建立商品评价的列表循环>提取评价

已有的流程图没有遵循此逻辑,我们需要手动调整一下流程图结构

1)选中整个“循环”步骤(商品链接的循环列表),将其拖入到第1个“循环翻页”步骤和到第2个“循环翻页”步骤之间

15

拖动完成后,位置如图

16

 

2)选中整个“循环翻页”步骤(商品评价的循环翻页),将其拖入到整个“循环”(商品链接的循环列表)步骤中

17

拖动完成后,位置如图

18

 

步骤6:修改Xpath

点击左上角的“保存并启动”,选择“启动本地采集”。采集过程中我们发现,采集的数据出现大量重复。

1)选中整个“循环翻页”步骤,打开“高级选项”,将单个元素列表中的这条Xpath://A[text()='下一页'],复制粘贴到火狐浏览器中的相应位置

19

Xpath:是一种路径查询语言,简单的说就是利用一个路径表达式找到我们需要的数据位置。

Xpath是用于XML中沿着路径查找数据用的,但是八爪鱼采集器内部有一套针对HTML的Xpath引擎,使得直接用XPATH就能精准的查找定位网页里面的数据。

 

2)在火狐浏览器中,我们发现,要采集的评论已经翻到最后一页(第11页)了的时候,使用此条Xpath://A[text()='下一页'],依旧能找到“下一页”按钮,即一直都可以点击这个按钮进行采集,循环无法结束

20

 

3)返回八爪鱼采集器,选择“自定义”

21

勾选"元素Class=next“,元素匹配的Xpath为:“//A[@class='next']”

22

 

4)将修改后的Xpath://A[@class='next'],复制粘贴到火狐浏览器中。我们发现,当评论翻到第1-10页时,能够定位到“下一页”。当翻到最后一页(第11页)的时,不能定位到“下一页”。翻页死循环的问题得到解决

23

 

5)点击左上角的“保存并启动”,选择“启动本地采集”,再次启动采集任务

24

 

步骤7:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据”。选择合适的导出方式,将采集好的数据导出

25

 

2)这里我们选择excel作为导出为格式,数据导出后如下图

26



分享到: 更多
人工服务

立即下载,体验更高效简单的数据收集吧! 免费下载

粤公网安备 44030502000701号