采集场景

孔夫子旧书网有非常多的类目,本教程讲解如何分类目采集图书列表页数据。

示例网址 http://book.kongfz.com/Cjishu/n1004000000/ 是【图书-工程技术-改革开放与80年代】类目的网址。

 

采集字段

书名、作者、出版社、商家、发货地址、品相、售价等字段。

 

 

 

点击查看高清大图,下文其他图片同理  

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:

 

 

教程说明

本篇制作时间:2020/9/28   八爪鱼版本:V8.1.22

如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正。

 

采集步骤

 

步骤一:打开网页,创建网页循环

步骤二、使用【智能识别】,采集所有图书列表中的数据

步骤三、编辑字段、修改字段XPath

步骤四、启动采集

 

以下为具体步骤:

 

步骤一、打开网页

 

在首页【输入框】中输入目标网址 ,点击【开始采集】,八爪鱼自动打开第一个网页。

本示例输入的是以下2个网址:http://book.kongfz.com/Cjishu/n1004000000

                                       http://book.kongfz.com/Cjishu

(输入网址时可输入多个网址,网址结构需一致,网址之间分行隔开)

 

 

特别说明:

a.  手动输入的url数量不得大于1万个,如有超过1万url,请选择【从文件导入】,具体请查看教程 网址输入升级

b.  打开网页后,如果开始开始【自动识别】,请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

c. 【自动识别】适用于自动识别网页上的列表、滚动和翻页,识别成功后直接启动采集即可获取数据。详情点击查看 【自动识别】教程

 

步骤二、使用【智能识别】,采集所有图书列表中的数据

 

点击右上角操作提示框中的【自动识别】,待它识别成功,点击【生成采集设置】(已默认生成翻页设置)。

 

 

特别说明:

a. 智能识别成功,一个网页可能有多组数据,八爪鱼会将所有数据识别出来,然后智能推荐最常用的那组。如果推荐的不是想要的,可自行【切换识别结果】

b.【自动识别】默认生成的翻页设置,在采集时,八爪鱼会自动点击【下一页】按钮进行翻页,从第1页,第2页......直到最后1页。如果只需采集特定页的数据,可在八爪鱼中设置循环翻页的次数,详情点击查看  翻页以采集多页数据教程

 

步骤三、编辑字段

 

执行完上面的步骤,基本流程已经设置好了,我们需要进一步完善规则。

 

1、删除字段

在【当前页面数据预览】面板中,删除不需要的字段。

 

 

2、修改字段名称、移动字段位置

在【当前页面数据预览】面板中,修改字段名称、移动字段位置。

 

 

 

3、添加字段

【自动识别】为我们提取的是一些常见字段,像图书的isbn码这种特殊字段隐藏在网页源码中,需对源码进行处理才能提取到。

如需采集图书的isbn码,请按以下步骤操作:

① 在网页中选中整个图书列表,并在操作提示框中,选择【采集该元素的Outer Html】

② 找到①中采集的源码字段,点击 ,勾选【采集当前循环中设置的元素】

③ 找到①中采集的源码字段,点击【...】,选择【自定义抓取方式】,选择【抓取元素属性值】,选择属性【isbn】并保存,这样就将【isbn】的属性值提取下来。

 

 

特别说明:

a.  为什么要修改【自定义抓取方式】?点击查看 自定义抓取方式教程 

 

4、修改字段XPath

为了精准采集到每个字段,我们需要修改一下字段的XPath。

找到要修改的字段,点击字段后的  按钮,在如图位置修改字段的XPath和备用位置XPath。

示例中修改了3个字段:

 

【书名】XPath:     //div[@class="title"]/a[@class="link"]

【出版社】XPath:  //span[@class="normal-title"][text()='出版社']/following::span[1][@class="normal-text"]

                     备用位置://div[@class="zl-isbn-info"]/span[2]

【作者】XPath:     //span[@class="normal-title"][text()='作者']/following::span[1][@class="normal-text"]

                     备用位置://div[@class="zl-isbn-info"]/span[1]

 

 

 

特别说明:

a.  修改字段XPath需要一定的XPath知识,点击学习 XPath系统学习与实例 教程

b. 示例中只修改了部分字段的XPath,实际采集过程中,其他字段的XPath也需修改,参考:

【版次】XPath:    //span[@class="normal-title"][text()='版次']/following::span[1][@class="normal-text"]

【出版时间】XPath:  //span[@class="normal-title"][text()='出版时间']/following::span[1][@class="normal-text"]

         备用位置://div[@class="zl-isbn-info"]/span[3]

【印次】XPath:    //span[@class="normal-title"][text()='印次']/following::span[1][@class="normal-text"]

【装帧】XPath:   //span[@class="normal-title"][text()='装帧']/following::span[1][@class="normal-text"]

         备用位置://div[@class="zl-isbn-info"]/span[4]

【发货地址】XPath://div[@class="text user-place"]

【卖家】XPath:    //div[@class="text"]/a[@class="user-info-link"]

【品相】XPath:  //div[@class="item-other-info"]//div[contains(@class,"quality")]

【售价】XPath:  //div[contains(@class,'price')]/span[@class="bold"]

【快递费用】XPath:  //div[@class="item-other-info"]//span[contains(text(),'快递')]/following-sibling

【上书时间】XPath:  //div[@class="add-time-box"]/span[1][not(text()='上书')]

 

步骤四、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

特别说明:

a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解

 

2、采集完成后,选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。数据示例:

 

 

 

作者:Tom

编辑:Aisling