采集场景

在Amazon首页(https://www.amazon.com)输入关键词搜索,采集搜索后得到的商品列表数据。实例网址   https://www.amazon.com/s?k=Apple&ref=nb_sb_noss_2,是搜索关键词 Apple后得到的商品列表页。

 

采集字段

商品标题、图片URL、商品链接、商品价格、商品评分、评论数等字段。

 

 

鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

 

采集结果

采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:

 

 

教程说明

本篇更新时间:2020/5/9   八爪鱼版本:V8.1.8

如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。

 

采集步骤

步骤一、打开网页

步骤二、选择配送地区

步骤三、输入1个关键词并搜索,然后使用【自动识别】,识别搜索结果列表和翻页

步骤四、批量输入多个关键词

步骤五、优化采集规则

步骤六、启动采集

 

以下为具体步骤:

 

步骤一、打开网页

 

1、在首页点击左上角  按钮,选择【自定义任务】,输入示例网址 https://www.amazon.com,然后点【开始采集】,八爪鱼自动打开网页。

 

 

步骤二、选择配送地区

 

在Amazon中,选择不同的配送地址,输入关键词搜索后得到的商品列表是不一样的。

示例中打开网页后,默认的配送地址为【中国大陆】。如果默认配送地址满足采集需求,可跳过此步骤。

如果需要修改配送地址,Amazon支持通过【登录账户并确认地址簿】、【输入美国邮政编码】和【选择美国境外其他国家】修改配送地址。

本文以【输入美国邮政编码】为例,输入 California (CA)的邮政编码:95136。具体操作如下:

 

1、在页面中选中【中国大陆】,在操作提示框中点击【点击该元素】,页面弹出位置输入框

2、选中位置输入框,在操作提示框中点击【输入文本】

3、在操作提示框中输入【95136】后保存

4、选中【设置】按钮,在操作提示框中点击【点击该元素】

5、选中【完成】,在操作提示框中选择【点击该按钮】,完成配送地址的修改。

 

 

特别说明:

a. 【登录账户并确认地址簿】和【选择美国境外其他国家】来修改配送地址的方法,本文未讲解。如有需要请联系客服指导。

b. 示例中输入的是California (CA)的邮政编码:95136,可按需求更换成美国其他州的邮政编码。

 

步骤三、输入1个关键词并搜索,然后使用【自动识别】,识别搜索结果列表和翻页

 

1、选中页面中的搜索框,在黄色操作提示框中,选择【输入文本】,输入关键词【Apple】后点击确定。

2、选中【搜索】按钮,在操作提示框中点击【点击该按钮】,出现关键词的搜索结果列表页。

3、点击【自动识别网页】,成功识别了文章列表中的数据和翻页。

4、点击【生成采集设置】,将自动识别出的列表数据和翻页,生成为采集流程,方便我们使用和修改。

 

 

特别说明:

a. 本文使用【自动识别】,自动识别网页上的列表、滚动和翻页。识别成功后会生成采集规则,再对采集规则调整,以采集目标数据。如果【自动识别】的结果与以上图片不同,可点击【取消识别】自行配置采集流程或联系客服反馈。详情点击查看 【自动识别】教程

 

步骤四、批量输入多个关键词

  

1、创建【文本列表循环】,存储多个关键词

在【打开网页】步骤后,添加一个【循环】。

进入【循环】设置页面。选择循环方式为【文本列表】,点击   按钮,将我们准备好的关键字输进去(可同时输入多个关键字,一行一个即可)后保存。

 

 

特别说明:

a. 示例中输入的关键词是【Apple】、【Huawei】和【Xiaomi】,可根据自身需求进行替换。

b. 一次最多输入2W个关键字。可先准备一个包含多个关键字的文档,然后将其复制粘贴进八爪鱼中。

 

2、将【输入文本】并与【文本列表循环】联动,以输入多个关键词

将【输入文本1】、【点击元素3】和【循环翻页】步骤拖入【循环】中。

然后进入【输入文本】设置页面,勾选【使用当前循环里的文本来填充输入框】后保存。

 

 

步骤五、优化采集规则

 

以上步骤可以完成基本的数据采集。但Amazon有防采集,如需稳定采集大量数据,需对采集规则进行优化。常见的优化方法如下:

 

1、设置执行前等待 + 调整Ajax超时时间

双击进入【点击元素1】、【点击元素2】、【点击元素3】和【输入文本1】步骤的设置页面,设置【执行前等待】3s,【Ajax超时】15s。

 

 

特别说明:

a. 使用了Ajax技术的网页,八爪鱼会自动判断并设置一定的【Ajax超时】。如果系统自动设置的【Ajax超时】过短,可根据采集需求和网页加载情况进行调整,详情点击查看 Ajax教程 

b. 执行前等待,即在执行此步骤前等待一段时间,可有效避免因网页未加载完全导致的漏数据,详情点击查看 执行前等待使用场景与设置方法

 

2、修改【循环列表】XPath

 

为了精准定位到所有关键词搜索结果列表,需修改一下【循环列表】的XPath。

进入【循环列表】设置页面,选择循环方式为【不固定元素列表循环】,然后填入XPath://li[@data-asin]|//div[contains(@class,'result')]/div[@data-asin]  并保存。

 

 

特别说明:

a. 在搜索关键词后,出现的搜索结果排列方式会不同,属于amazon 防采集形式的一种。默认生成的【循环列表】XPath,无法精准定位到所有关键词搜索结果列表链接,所以我们需要手动修改XPath,使之定位到所有的搜索结果列表。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 

 

3、修改字段的XPath

 

为了精准定位到所有字段,需修改一下【循环列表】的XPath。

进入【提取列表数据】设置页面,点击要修改的字段后的   按钮,然后填入XPath和 备用位置的XPath。

 

【标题】字段的XPath://h5/a ;备用XPath://h2/a 

【商品链接】字段的XPath://h5/a ;备用XPath://h2/a

 

 

特别说明:

a. 【标题】和【商品链接】字段自动生成的XPath,无法精准定位到所有搜索结果列表中的数据,所以我们需要手动修改XPath。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 

 

4、提取ASIN编码

每个商品具有唯一的ASIN编码,将其提取下来,可便于后续采集商品详情和商品评论数据。如果无需ASIN编码,可跳过此步骤。

ASIN编码在当前商品链接中,先采集商品链接,然后对商品链接进行格式化处理,得到ASIN编码。

 

提取商品链接:选中任意一个商品标题,在操作提示框中点击【A】标签,然后点击【采集该链接地址】,随后修改该字段的XPath://h5/a,备用XPath://h2/a 。

将商品链接格式化:点击【链接地址】字段后的【...】→【格式化数据】→【添加步骤】→【正则表达式匹配】,输入正则表达式  (?<=(dp/|dp%2F))(.+?){10} ,然后点击【应用】保存。

再次双击【提取数据】进入字段列表,ASIN编码从【链接地址】中提取出来。最后将【链接地址】字段改名为【ASIN】。

 

 

特别说明:

a. 什么是数据格式化?数据采集下来之后,有时候格式不是我们想要的,或者只想从一段数据里提取特定数据,可通过八爪鱼的【格式化数据】功能实现。详情点击查看 数据格式化教程 。

b. 正则表达式是什么?怎么写?正则表达式是对字符串(包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,用来从文本中匹配/过滤信息。正则表达式有其特定写法,需要系统学习才能掌握,点击查看 正则表达式 教程 。

 

5、设置重试条件

 

如果是初次采集,可以跳过此步骤,直接启动采集获取数据。

如果已经采集到一定数据后,发现触发了Amazon的防采集,出现验证码,可以通过设置重试条件解决。

验证码一般在打开新页面后出现。在这个规则中,【打开网页】、【点击元素3】和【点击翻页】后都会打开新页面。因此需对这3个步骤设置重试,重试时以新的IP和浏览器版本打开网页,以跳过验证码。

 

以【打开网页】为例。

进入【打开网页】设置步骤:勾选【当如下条件满足时重试】,重试条件为 当前页面的【元素XPath】不包含 //DIV[@id="glow-ingress-block"]/SPAN[2] (【打开网页】的后一个步骤【循环列表】的XPath) ,重试次数为5-10次,每次间隔0-3秒。

勾选【重试时同时切换代理IP】,选择【随机伪造IP】

勾选【重试时同时切换浏览器版本】,点击【浏览器列表】,将除手机端外的浏览器列表都勾选上。

 

 

特别说明:

a. 如何设置重试条件?如果网页按预期正常打开,那当前步骤的下一个步骤的定位XPath肯定存在,如果未正常打开,则不存在。可以此来设置重试条件。本示例中,【打开网页】后是【点击元素】,那我们就用【点击元素】的定位XPath来作为重试的条件。本示例中【点击元素】的定位XPath为: //DIV[@id="glow-ingress-block"]/SPAN[2] 。详情点击查看 重试、重试同时切换代理IP/UA 教程

b. 【重试时同时切换代理IP】是什么?网页未正常打开时,使用新的代理IP重新打开网页,可有效突破防采集。代理IP分为【优质代理IP】和【随机伪造IP】。【优质代理IP】质量高,需额外付费购买。随机伪造IP质量较低,免费使用。详情点击查看 重试、重试同时切换代理IP/UA 教程

c. 【重试时同时切换浏览器版本】是什么?在不同的浏览器版本中,网页可能有不同的显示结果。如果用默认浏览器无法正常打开网页, 可尝试【重试时同时切换浏览器版本】,用不同的浏览器版本打开网页。详情点击查看 重试、重试同时切换代理IP/UA 教程

d. 【点击元素3】【点击翻页】也需要进行重试条件设置,设置方法类似,不再赘述。

 

步骤六、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。 

 

 

特别说明:

a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解

 

2、采集完成后,选择合适的导出方式来导出数据。支持导出为Excel,CSV,HTML,数据库等。这里导出为Excel。

 

 

示例数据:

 

 

作者:Bin

编辑:Aisling