免费下载

八爪鱼采集器 - 最好用的网页数据采集器,超过40万用户首选网页采集软件

  1. 软件版本:V6.4
  2. 支持系统:32/64位 XP / Vista / Win7 / Win8 / Win8.1 / Win10
  3. 更新日期:12月9日 (新版功能)
免费下载
官方论坛解答
(优先处理)
点击提问
八爪鱼采集器QQ群
6群:453842433 点击加入
21群:451754429 点击加入
13群:471815573 群已满
14群:123134988 群已满
24群:544166822 群已满
23群:534947023 群已满
26群:545719478 群已满
6群:453842433 群已满
25群:545320887 群已满
28群:106739425 群已满
27群:145803152 群已满
22群:519441479 群已满
21群:451754429 群已满
20群:437959025 群已满
19群:553777636 群已满
18群:290699979 群已满
17群:199766880 群已满
16群:254764602 群已满
15群:159956780 群已满
14群:123134988 群已满
13群:471815573 群已满
12群:148686415 群已满
11群:131796370 群已满
10群:333975079 群已满
9群:135632351 群已满
8群:431013573 群已满
7群:498193915 群已满
5群:470619317 群已满
4群:257583266 群已满
1群:61570666 群已满
专业版QQ群
3群:135071723 限专业版用户
2群:385161018 群已满
1群:475423041 限专业版用户
旗舰版QQ群
2群:286777906 限旗舰版用户
1群:130849246 群已满
站长采集交流群QQ群
2群:304456535 点击加入
1群:492396817点击加入
down

史上最实用规则排错教程Ⅰ 【收藏帖】

作者:keven 发布时间:2016/10/10 19:27:58

摘要:聪明人一定会把教程收藏起来,它可以指导你日后许多规则操作

 

制作规则一直都是各位爪子的痛点,深知你们的苦,小编使用糖衣炮弹+美色诱惑,在软磨硬泡之下终于攻破我们的规则排错大神——Black。Black哥答应来给我们上几期史上最全面最实用的规则排错教程,来指导各位大神自行进行规则排错。

就问你是不是很给力!

甜馨

 

Miko温馨提示,聪明人一定会把教程收藏起来,它可以指导你日后许多规则操作,以后遇到什么规则难题也不必心急,翻出教程自己就可以轻松解决,想想就觉得自己很强大有木有!
第一期课程,我们先从采不到数据漏采数据讲起。


首先。。。

官网详细的图文教程你看了吗?

单机采集出现问题大都是因为规则中某个步骤没有执行,网页加载完全或者步骤的高级选项设置不当。官网中提供了很实用的排错教程,教程中详细说明了在八爪鱼中配置规则时,如何手动执行各步骤进行排查,这个是排错中很重要的一步,这里就不再重复。大家可以直接进入教程中心搜索“规则制作排错教程“哦


规则排错主要思路

在手动执行基本没问题后(说明流程基本没有问题),进行单机采集。然后观察单机采集界面中的网页变化,看网页是否按照每个步骤执行。如果有步骤没有执行,则该步骤出现问题。例如没有点击到详情页,没有循环翻页。重新编辑规则,在规则中对应步骤重新调试。

 


1、 单机运行,采集不到数据?

(1)打开网页后,直接提示采集完成

主要原因:有些网站的加载会很慢,网页还没有完全加载出来,八爪鱼就执行下一个步骤,当八爪鱼找不到相应的位置时,步骤无法执行,最终导致提取不到数据。

解决方法:可以将网页的超时时间加长,或者在下一个步骤设置执行前等待。让网页有足够长的时间加载。

 1

 

(2)网页一直在加载

主要原因:主要是网站的问题,有些网站的加载会很慢。想要采集的数据没有出现。

解决方法:如果当前步骤是打开网页步骤,可以将网页的超时时间加长。如果是点击元素步骤,而且要采集的数据已经加载出来的时候,可以在点击元素步骤设置ajax延时,


(3)网页没有进入采集页面


该问题常常是出现在点击元素步骤。有些网页中含有ajax链接时,根据点击位置判断是否需要设置。如果没有设置,在单机采集时会一直卡在前一个步骤,采集不到数据。

主要原因:当网页为异步加载时,没有设置ajax延时的话,操作一般不会正确执行,导致规则无法进行下一步,提取不到数据。

解决方法:在相应步骤设置ajax延时,一般是2-3S,如果网页加载时间较长,可以适当增加延时时长。点击元素,循环下一页、移动鼠标到元素上,这三个步骤中都有ajax设置 

例子:下图是采集京东网站下的一个手机商品的评论数据,需要点击商品评价,进入相应的评论页面。单机运行时,网页一直卡在评论页面,没有评论数据出现。原因就在于点击元素没有设置ajax延时,导致网页没有进入相应的采集界面。

 

2

3

 

 

2.   单机运行,漏采数据

(1)部分字段没有数据


主要原因:单机采集时,发现有些字段信息为空,这时候就应该找到相应的采集页面,查看想要的采集的数据是否存在,有时并不是每个网页都含有所有字段信息。如果没有,字段为空是正常的。如果有的话,基本就是xpath定位问题,这时需要修改xpath,准确定位到相应字段。

解决方法:重新打开规则,手动执行验证。如需修改xpath,可以找xpath教程。

例子:下图中预约人数和预约时间出现空值,重新打开规则,手动执行,发现,页面是可以采集到数据(图二)。说明这个主要是网页加载问题,可以在下一个步骤前设置等待时长。第二条数据为空,是因为在第二个详情页原本就没有数据,属于正常。


4

5

 

(2)采集数据条数不对


主要原因:采集数据条数不对,一般是循环翻页或者网页加载的问题。有些网页数据需要向下滚动才会加载数据,如果在打开网页时,没有设置足够的向下滚动字数,网页加载出来的数据量也没有手动执行规则时的多。如果翻页不正确,导致一部分页面的数据无法采集。比如出现不规则翻页,导致部分页面没有打开,数据无法采集。
解决方法:如果是翻页问题,修改翻页循环的xpath;如果是网页加载问题,则在打开网页的高级选项中设置滚动次数

例子:在制作规则时,循环选项是80条,而单机采集的时候,只采集了16条。其中主要的原因是网页没有设置向下滚动加载,导致加载的条数变少。

 6

 

 7

 

下一期的课程,我们将推出数据错乱、数据重复、云采集的规则排错教程,欢迎各位爪子前来强势围观。哦还有!发现问题远比解决问题重要,你们在规则制作时曾出现过什么棘手的错误,大声说出来,说不定我们的排错大神Black哥分分钟帮你解决。等着你们!

 

二维码图片

分享到: 更多
立即下载,体验更高效简单的数据收集吧! 免费下载
规则市场
联系 我们
官方联系方式 0755-86522010
商务合作QQ 1982043845
客服咨询QQ群 106739425
点击我加入