> ## Documentation Index
> Fetch the complete documentation index at: https://www.bazhuayu.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 云采集日志

> 介绍八爪鱼采集器高版本功能：云采集日志。

云采集日志主要有两个方面的应用：

\\

 

 

 

\\

1、查看任务云采集运行的运行情况，判断任务在云端是否正常运行采集

\\

 

 

 

2、确定云采集遇到的问题

\\

 

 

 

在启动云采集之前，需要设置一下自动截屏，这样云采集出错的时候我们可以看到出错时候页面显示的情况。

\\

 

\\

 

 

\\

在任务配置界面，点击右上角的【采集配置】按钮，进入任务配置页面，勾选【启动云采集错误日志自动截屏】，点击【保存配置】。

\
\\

（如果不勾选【启动云采集错误日志自动截屏】，则任务开始启动的时候获取一个页面截图，此时任进入日志可以看到这个截图。当任务结束时，会再获取一个页面截图；此时的页面截图会覆盖掉任务开始时的页面截图。如果勾选了【启动云采集错误日志自动截屏】，就会在出现错误日志的时候自动获取页面截图。错误日志对应的页面截图均会保存。）

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/01-65361c2ab6022.gif?s=eddbcb27fda90b705aaf53489e403141" alt="" width="1200" height="800" data-path="assets/academy/premium-features/cloud-extraction-logs/01-65361c2ab6022.gif" />

 

 

 

\\

**一、查看任务云采集运行的运行情况，判断任务在云端是否正常运行采集**

\\

 

云采集日志查看方法

\\

 

①启动云采集后，会弹出云采集窗口。

 

\\

点击采集窗口这里的任务运行信息，可以看到整个任务的子任务拆分情况，以及每个子任务的运行状态，鼠标移动到状态为**‘运行中’**或**‘已完成’**子任务上，点击右侧出现的详情，就可以查看该子任务的运行日志，以及云采集任务网页页面的截图

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/02-65361c2abb722.gif?s=4bda9cd186c5229d0ec6c640b7ddfd4f" alt="" width="1200" height="800" data-path="assets/academy/premium-features/cloud-extraction-logs/02-65361c2abb722.gif" />

\\

 

 

\\

②如果启动了多个云采集任务，那么只有最后启动的任务的云采集窗口会显示出来，如果要查看其他任务的云采集日志，可以在任务列表找到要查看的任务，点击采集状态里面的打开云采集主面板按钮，就可以打开该任务的云采集窗口（此操作会自动关闭其他任务的云采集窗口）。

\\

 

\\

点击采集窗口这里的任务运行信息，可以看到整个任务的子任务拆分情况，以及每个子任务的运行状态，鼠标移动到状态为**‘运行中’**或**‘已完成’**子任务上，点击右侧出现的详情，就可以查看该子任务的运行日志，以及云采集任务网页页面的截图

\\

 

\\

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/03-65361c2abfd21.gif?s=b655ad590db061a7f07c5db5c6932603" alt="" width="1200" height="800" data-path="assets/academy/premium-features/cloud-extraction-logs/03-65361c2abfd21.gif" />

 

 

 

 

\\

以这个任务为例，我们启动云采集，可以看到任务执行的步骤

 

\\

窗口的上半部分是云端网页的打开情况，网页正常打开，加载出了数据。

\\

 

\\

窗口的下半部分是任务的运行日志，日志是按照时间顺序从前往后显示的，时间早的日志在最下面，新的日志在上面不断的更新。

\\

 

\\

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/04-65361c2a61e43.png?fit=max&auto=format&n=GgJ7zDhsrC9ub_dc&q=85&s=0b7d4073ba559b61e97690f0e70d6f8b" alt="" width="1200" height="734" data-path="assets/academy/premium-features/cloud-extraction-logs/04-65361c2a61e43.png" />

 

\\

日志的格式，左边是执行的日期和时间，右边是执行的具体步骤。

\\

 

最开始的一条是开始采集，然后就是我们任务流程里面的打开网页，循环翻页，循环列表提取数据步骤，和我们的任务的流程是完全匹配的。

\\

 

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/05-65361c2a70d0a.png?fit=max&auto=format&n=GgJ7zDhsrC9ub_dc&q=85&s=fd41d75b1eaca6f640e6d1722c9578d0" alt="" width="1032" height="827" data-path="assets/academy/premium-features/cloud-extraction-logs/05-65361c2a70d0a.png" />

\
\\

 

 

再看一个采集完成的子任务的日志，可以看到，最后的橘黄色日志内容（）是:

\\

\[点击加载更多按钮] 没有找到目标元素 //P\[normalize-space(text())='点击加载更多']\[not(@disabled)]\[contains(string(),'点击加载更多')]\[not(contains(@style,'display: none;'))]

\\

 

后面的日志是循环结束退出循环。

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/06-65361c2a6d8d3.png?fit=max&auto=format&n=GgJ7zDhsrC9ub_dc&q=85&s=9d6e2e19049666fb5b3390175a208189" alt="" width="1204" height="716" data-path="assets/academy/premium-features/cloud-extraction-logs/06-65361c2a6d8d3.png" />

 

 

\\

一般地，错误日志会以橘黄色文本突出显示，但是橘黄色日志并不一定能确定该步骤有问题，确定该步骤是否有问题，要结合任务的流程配置和网页的实际加载情况来判断。

\\

 

\\

比如这里的橘黄色日志，首先，我们看一下这个任务的流程，是循环点击加载更多采集点击后加载出来的数据的，结合页面截图，我们发现，页面上显示已无更多内容，也就是数据已经加载完成，所以没有了加载更多按钮，任务就完成采集，自己结束了。符合我们配置的流程和我们的需求，任务执行正常，没有错误。

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/07-65361c2c67af3.gif?s=e9a11518bdbf4cf1481a9d3067c1bc45" alt="" width="1200" height="800" data-path="assets/academy/premium-features/cloud-extraction-logs/07-65361c2c67af3.gif" />

\\

 

 

 

\\

**二、确定云采集遇到的问题**

\\

 

\\

主要针对本地采集正常，云采集有问题的情况，如果本地采集有问题，请先参考本地采集排错教程排查https\://[www.bazhuayu.com/tutorial8/bdcjpc](http://www.bazhuayu.com/tutorial8/bdcjpc)

 

\\

如果本地采集可以正常采集，而云采集采集不到数据，或者只能采集少量数据，可以借助云采集日志和截图排查原因

 

\
\\

比如，云采集boss直聘的职位数据时，采集了一部分数据任务显示完成，我们打开云采集日志发现，云采集页面截图显示“403，当前IP存在多次违规访问行为，已暂时被禁止访问”，说明云采集过程中触发了网站的防采集，导致无法正常打开网页，从而不能继续采集数据。

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/08-65361c2bc84d0.png?fit=max&auto=format&n=GgJ7zDhsrC9ub_dc&q=85&s=9dda2e2b3a9581b2fc1692c959046e0e" alt="" width="1201" height="734" data-path="assets/academy/premium-features/cloud-extraction-logs/08-65361c2bc84d0.png" />

 

\\

比如，云采集lazada列表数据时，没有采集到数据，云采集就显示已完成，查看截图发现，页面出现了滑动验证，导致无法正常打开网页，从而不能继续采集数据。

\\

 

<img src="https://mintcdn.com/bazhuayu/GgJ7zDhsrC9ub_dc/assets/academy/premium-features/cloud-extraction-logs/09-65361c2bb203b.png?fit=max&auto=format&n=GgJ7zDhsrC9ub_dc&q=85&s=5accaee8f4836578d71cb5e69472e549" alt="" width="1201" height="734" data-path="assets/academy/premium-features/cloud-extraction-logs/09-65361c2bb203b.png" />

 

\\

由于云采集日志和云采集页面截图需从云服务器下载。查看的时候加载出来会需要一些时间，请耐心等待。

\
\\

 

 

最后提醒一下：

\\

 

 

\\

某个任务如果启动了多次采集，只能查看该任务最后一次云采集的云采集运行日志和云采集截屏，日志和截屏在任务结束后最多保留48小时。每个账号的截屏容量大小是10G。截屏总大小超过10G也会自动清除之前的截屏。
