有很多网站,需要向下滚动页面,才能加载出新数据。那相对应的,在八爪鱼中也需设置【页面滚动】。
适用场景:将滚动条直接下来到网页底部,出现类似【加载中】字样,稍后马上有新数据出现,且滚动条变短回弹。
常见的网页:澎湃新闻首页、今日头条首页、百度图片搜索、新浪微博首页,都是这种情况。
以澎湃新闻首页为例。https://www.thepaper.cn/,我们需采集新闻列表数据。就需要在打开网页后不断向下滚动,加载新数据。
在八爪鱼中怎么实现呢?以下为具体操作步骤。
步骤一、进入自定义任务编辑页面
把网址https://www.thepaper.cn/复制到八爪鱼客户端首页的输入框中,点击开始采集进入自定义任务配置页面。
步骤二、配置采集参数
设置滚动方式,调整滚动次数、每次间隔时间
点击打开网页步骤,在下方步骤设置区域点击高级设置,找到页面滚动,点击勾选页面滚动。此网页是无限滚动的,八爪鱼默认设置的【滚动方式】是滚动到底部,默认【滚动次数】100次、默认【每次间隔】1秒。大家可根据实际需求进行调整。【每次间隔】时间需稍大于网页上数据加载的时间(网页上数据加载的时间又跟网速等因素有关)。
结合这个网站的加载特征,这里修改【滚动方式】为滚动到底部(一般情况滚动方式都建议大家选择滚动到底部);为方便演示,在这里,设置【滚动次数】5次。
步骤三:配置采集规则
用 第3课:采集列表数据 中学到的方法,配置列表数据采集。