请输入
菜单

云采集日志查看

云采集日志主要有两个方面的应用:

 
 
 

1、查看任务云采集运行的运行情况,判断任务在云端是否正常运行采集

 
 
 
2、确定云采集遇到的问题

 
 
 
在启动云采集之前,需要设置一下自动截屏,这样云采集出错的时候我们可以看到出错时候页面显示的情况。

 

 
 

在任务配置界面,点击右上角的【采集配置】按钮,进入任务配置页面,勾选【启动云采集错误日志自动截屏】,点击【保存配置】。


(如果不勾选【启动云采集错误日志自动截屏】,则任务开始启动的时候获取一个页面截图,此时任进入日志可以看到这个截图。当任务结束时,会再获取一个页面截图;此时的页面截图会覆盖掉任务开始时的页面截图。如果勾选了【启动云采集错误日志自动截屏】,就会在出现错误日志的时候自动获取页面截图。错误日志对应的页面截图均会保存。)

 
 
 
 

一、查看任务云采集运行的运行情况,判断任务在云端是否正常运行采集

 
云采集日志查看方法

 
①启动云采集后,会弹出云采集窗口。
 

点击采集窗口这里的任务运行信息,可以看到整个任务的子任务拆分情况,以及每个子任务的运行状态,鼠标移动到状态为‘运行中’‘已完成’子任务上,点击右侧出现的详情,就可以查看该子任务的运行日志,以及云采集任务网页页面的截图

 

 
 

②如果启动了多个云采集任务,那么只有最后启动的任务的云采集窗口会显示出来,如果要查看其他任务的云采集日志,可以在任务列表找到要查看的任务,点击采集状态里面的打开云采集主面板按钮,就可以打开该任务的云采集窗口(此操作会自动关闭其他任务的云采集窗口)。

 

点击采集窗口这里的任务运行信息,可以看到整个任务的子任务拆分情况,以及每个子任务的运行状态,鼠标移动到状态为‘运行中’‘已完成’子任务上,点击右侧出现的详情,就可以查看该子任务的运行日志,以及云采集任务网页页面的截图

 

 
 
 
 

以这个任务为例,我们启动云采集,可以看到任务执行的步骤
 

窗口的上半部分是云端网页的打开情况,网页正常打开,加载出了数据。

 

窗口的下半部分是任务的运行日志,日志是按照时间顺序从前往后显示的,时间早的日志在最下面,新的日志在上面不断的更新。


 

 

日志的格式,左边是执行的日期和时间,右边是执行的具体步骤。

 
最开始的一条是开始采集,然后就是我们任务流程里面的打开网页,循环翻页,循环列表提取数据步骤,和我们的任务的流程是完全匹配的。

 
 


 
 
再看一个采集完成的子任务的日志,可以看到,最后的橘黄色日志内容()是:

[点击加载更多按钮] 没有找到目标元素 //P[normalize-space(text())='点击加载更多'][not(@disabled)][contains(string(),'点击加载更多')][not(contains(@style,'display: none;'))]

 
后面的日志是循环结束退出循环。


 
 
 

一般地,错误日志会以橘黄色文本突出显示,但是橘黄色日志并不一定能确定该步骤有问题,确定该步骤是否有问题,要结合任务的流程配置和网页的实际加载情况来判断。

 

比如这里的橘黄色日志,首先,我们看一下这个任务的流程,是循环点击加载更多采集点击后加载出来的数据的,结合页面截图,我们发现,页面上显示已无更多内容,也就是数据已经加载完成,所以没有了加载更多按钮,任务就完成采集,自己结束了。符合我们配置的流程和我们的需求,任务执行正常,没有错误。

 


 
 
 

二、确定云采集遇到的问题

 

主要针对本地采集正常,云采集有问题的情况,如果本地采集有问题,请先参考本地采集排错教程排查https://www.bazhuayu.com/tutorial8/bdcjpc
 

如果本地采集可以正常采集,而云采集采集不到数据,或者只能采集少量数据,可以借助云采集日志和截图排查原因
 


比如,云采集boss直聘的职位数据时,采集了一部分数据任务显示完成,我们打开云采集日志发现,云采集页面截图显示“403,当前IP存在多次违规访问行为,已暂时被禁止访问”,说明云采集过程中触发了网站的防采集,导致无法正常打开网页,从而不能继续采集数据。

 
 

比如,云采集lazada列表数据时,没有采集到数据,云采集就显示已完成,查看截图发现,页面出现了滑动验证,导致无法正常打开网页,从而不能继续采集数据。

 
 

由于云采集日志和云采集页面截图需从云服务器下载。查看的时候加载出来会需要一些时间,请耐心等待。


 
 
最后提醒一下:

 
 

某个任务如果启动了多次采集,只能查看该任务最后一次云采集的云采集运行日志和云采集截屏,日志和截屏在任务结束后最多保留48小时。每个账号的截屏容量大小是10G。截屏总大小超过10G也会自动清除之前的截屏。
最近修改: 2024-01-24