一、从本地文件导入网址
新建【自定义任务】,选择从【文件导入】,再选择已有的网址文件,就可以大批量导入。导入之后,可以预览前100条网址。 再点击【保存设置】,即可开始任务配置。
注意: ① 支持csv、xls、xlsx、txt文件格式批量导入网址 ② 支持100w以内网址 ,超过的自动删除
二、批量生成网址
网址中一般有很多参数,根据网址参数的变化规律,可批量生成网址。 1、网址参数中出现数字变化,常见于翻页 示例网址:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T 第1页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T 第2页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=20&type=T 第3页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=40&type=T 我们发现,第1页【start=】后面的值为0, 每递增一页,【start=】后面的值递增20,根据这个规律,可批量生成网址。 如下图所示:选中【start=】后面的值,点击【添加参数】,选择参数类型为【数字变更】,【开始值】为0,【每次动作递增】20,共10项,共批量生成10条网址。 第1页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T 第2页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=20&type=T 第3页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=40&type=T … 第9页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=160&type=T 第10页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=180&type=T 再点击【保存设置】,即可开始任务配置。



注意: ① 支持100W以内网址批量生成,超过100W部分自动去掉。 ② 批量生成的网址,前100条存储在本地,显示在界面上;>100条的网址存储在云端,不显示在界面上,本地采集或云采集的时候,直接调用存储在云端的网址采集数据。 ③ 如果复制此规则,复制后得到的规则仅包含前100条网址,仅采集前100条网址的数据。
三、从已有任务导入网址(适用于云采集)
云采集为团队版以上才有的功能。升级团队版 常用场景: A任务和B任务都在云上进行采集,A任务采集列表数据(含链接,可点击进入详情页),B任务调用A任务已采集到的链接,采集详情页数据。 B任务跟随A任务启动,A任务不断采集到新链接,B任务不断调用A任务中的链接,采集详情页数据。配合云采集拆分,多节点同时采集,极大提高采集效率。 A任务采集到网址:

请注意:跟随任务是调用源任务的云采集采集到的网址进行采集的。只有源任务的云采集有一定数据后,跟随任务才能启动并采集到数据。也可以在【我的任务】列表里,设置跟随启动。

